Method Article

Automatische chirurgie bij transkatheter aortaklepvervanging met behulp van augmented reality

DOI:

10.3791/67096

⸱

August 9th, 2024

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit artikel presenteert het ontwerp en de implementatie van een automatische chirurgiemodule op basis van 3D-reconstructie op basis van augmented reality (AR). Het systeem maakt chirurgie op afstand mogelijk door chirurgen in staat te stellen gereconstrueerde kenmerken te inspecteren en chirurgische handbewegingen na te bootsen alsof ze de operatie in de buurt uitvoeren.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Er is veel vraag naar Augmented Reality (AR) in medische toepassingen. Het doel van het artikel is om automatische chirurgie te bieden met behulp van AR voor de transkatheter aortaklepvervanging (TAVR). TAVR is de alternatieve medische procedure voor openhartchirurgie. TAVR vervangt de beschadigde klep door de nieuwe met behulp van een katheter. In het bestaande model wordt begeleiding op afstand gegeven, terwijl de operatie niet geautomatiseerd is op basis van AR. In dit artikel hebben we een ruimtelijk uitgelijnde camera ingezet die is aangesloten op een motor voor de automatisering van het vastleggen van beelden in de chirurgische omgeving. De camera volgt het 2D-beeld met hoge resolutie van het hart van de patiënt, samen met het kathetertestbed. Deze vastgelegde beelden worden met behulp van de mobiele app geüpload naar een chirurg op afstand die cardiologie-expert is. Dit beeld wordt gebruikt voor de 3D-reconstructie van 2D-beeldtracking. Dit wordt in een HoloLens bekeken als een emulator in een laptop. De chirurg kan de 3D-gereconstrueerde beelden op afstand inspecteren met extra transformatiefuncties zoals rotatie en schaalvergroting. Deze transformatiefuncties worden ingeschakeld door middel van handgebaren. De begeleiding van de chirurg wordt doorgegeven aan de chirurgische omgeving om het proces in realtime scenario's te automatiseren. Het kathetertestbed in het chirurgische veld wordt bestuurd door de handgebarenbegeleiding van de chirurg op afstand. Het ontwikkelde prototypemodel demonstreert de effectiviteit van chirurgische geleiding op afstand door middel van AR.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

AR kan het 3D-model over elkaar heen leggen in een echte omgeving. De technologische ontwikkeling in de richting van AR heeft op veel gebieden een paradigmaverschuiving teweeggebracht, namelijk onderwijs1, medisch2, productie3 en entertainment4. AR-technologie, samen met ultrabetrouwbare communicatie met lage latentie, bewijst zijn onvermijdelijke rol in de medische sector. Van de leerfase van de menselijke anatomie tot chirurgische begeleiding, de leerfasen kunnen worden gevisualiseerd met AR-aangedreven software 5,6 en hardware. AR biedt een cruciale en betrouwbare oplossing voor de arts in een chirurgische omgeving 7,8.

Aortaklepstenose is de hartklepaandoening, die het meest voorkomt bij de mensheid9. De hoofdoorzaak van de ziekte zijn slechte voedingsgewoonten en onregelmatige routines in het dagelijks leven. Het symptoom en resultaat van de ziekte is de vernauwing van de hartklep, gevolgd door een vermindering van de bloedstroom. Dit probleem moet worden aangepakt voordat er schade aan het menselijk hart wordt toegebracht. Het hart wordt dus overbelast om de bloedstroom te verwerken. Voordat er schade optreedt, moet dus een operatie worden uitgevoerd, die vanwege de technologische ontwikkelingen van de afgelopen dagen ook kan worden gedaan met behulp van de TAVR-procedure. De procedure kan worden toegepast op basis van de toestand van het hart en andere lichaamsdelen van patiënten. Bij deze TAVR10,11 wordt de katheter ingebracht om de beschadigde klep in het hart te vervangen. Het plaatsen van de katheterpositie12 om de klep te vervangen is echter vervelend voor de behandelaar. Dit idee motiveerde ons om een geautomatiseerd operatiemodel te ontwerpen op basis van AR13,14, dat de chirurg helpt om de klep nauwkeurig te positioneren tijdens het vervangingsproces. Bovendien kan de operatie worden uitgevoerd door een motion mapping-algoritme, dat de beweging van de chirurg die vanaf een afgelegen locatie is vastgelegd, in kaart brengt op de robotarm.

In het bestaande werk 15,16,17 wordt de visualisatie van de TAVR 18-procedure bewaakt door middel van fluoroscopie. Daarom is het moeilijk om de hartklep te analyseren en vervelend om de vervangende locatie te vinden. Dit vormt een barrière voor het positioneren van de katheter in het menselijk hart. Bovendien wordt de beweging op afstand in kaart gebracht op het operatieveld om het proces te automatiseren. Om de onderzoekskloof te overbruggen, stellen we echter een geautomatiseerde robotgebaseerde operatie voor klepvervanging voor met behulp van AR-ondersteunde technologie.

Het protocol is een generiek model dat kan worden toegepast op alle chirurgische omgevingen. In de beginfase van het werk worden 2D-beelden vastgelegd rondom de chirurgische omgeving met de meest volledige ruimtelijke resolutie van de grootste mate van vrijheid. Dit betekent dat er voldoende beelden worden vastgelegd voor 3D-reconstructie19 , gevolgd door motion mapping door middel van handgebaartracking20.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Chirurgische omgeving

  1. Ontwerp een operatieomgeving zoals weergegeven in figuur 1. Zorg ervoor dat de omgeving een objectdragend plateau, een robotarm en twee aan de zijkant hangende armen heeft, één om een tijdelijke aanduiding voor een camera vast te houden en de andere om een consistente witte achtergrond te hebben, samen met de weegmodule voor balans.
  2. Ontwikkel twee stuurprogramma's, één voor de momentopname van de live operatieomgeving, zoals vermeld in stap 2.1 tot 2.10, en de andere om het draaiende mechanisme te besturen dat 360°-bewaking ondersteunt, zoals vermeld in stappen 3.1 tot 3.4.
  3. Voordat u de bovenstaande twee modules implementeert, schakelt u Bluetooth in van het mobiele apparaat en de laptop, die dienen als de HoloLens-emulator van de chirurg.
  4. Koppel de apparaten voor een ononderbroken beeldoverdracht.

2. De driver instellen om de twee ophangarmen te bedienen

  1. Zorg ervoor dat de ophangarmen worden bestuurd door een stappenmotor met de opstelling zoals weergegeven in afbeelding 2 voor een vlekkeloze omwenteling van 360°.
  2. Sluit de motor aan op de microcontrollerkaart met behulp van de TB 6600-driver. Om de motor te laten draaien, installeert u de microcontroller-IDE vanuit de browser.
  3. Klik op de knop Downloaden om de software te downloaden. Ga vervolgens in de IDE van de microcontroller naar Bestand > Open een nieuwe schets om de code te schrijven.
  4. Zorg ervoor dat u de microcontrollerkaart aansluit op de interface met de nieuwe schets via een speciale verbindingspoort, zeg COM 4. Controleer de Com-poort en controleer of het microcontrollerbord wordt weergegeven.
  5. Controleer de instellingen van de hardwareschakelaar van de stappenmotordriver TB 6600. Zorg ervoor dat de instellingen zodanig zijn dat de stroomsterkte 2 A is, wat kan worden bereikt door SW4 AAN en SW5 en SW6 UIT in te stellen.
  6. Zorg ervoor dat de schakelaarposities van SW1, SW2 en SW3 zo zijn ingesteld dat de microstap 1/8 stappen is om de omwentelingsstappen te bereiken volgens de vereiste. Zorg ervoor dat de instellingen SW1 UIT, SW2 AAN en SW3 UIT zijn in TB6600.
  7. Verbind RTC 3231 met de microcontroller om real-global time synchronisatie te hebben. Zorg ervoor dat de grootte van de omwentelingsstap 12° is en dat de stap van de motor alleen wordt geactiveerd wanneer de real-time eenheid, d.w.z. de seconden die van de RTC-module worden afgelezen, oneven in aantal is.
  8. Sluit de 5 V-pin van de microcontrollerkaart aan op de RTC VCC en de GND van de microcontroller op de GND van de RTC.
  9. Sluit de SCL-pin van RTC aan op de A0-pin en de SDA op de A1-pin van de microcontroller. Deze module kan zorgen voor een stapgrootte van 12°, waardoor 30 stappen in één omwenteling worden gemaakt. Zorg ervoor dat de stapstap elke oneven seconde plaatsvindt. Laat deze softwaremodule de stappenmotor21 aandrijven.
  10. Controleer of de installatie correct werkt door de code uit te voeren, die beschikbaar is op de GitHub-pagina: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. Download Android Studio om de automatische camera-app te ontwikkelen. Zorg ervoor dat aan de systeemvereisten wordt voldaan en download vervolgens de software van de website.

3. Ontwikkeling van een driver voor mobiele scènebewaking en beeldoverdracht als clientmodule

  1. Ontwikkel een camera-applicatie in het Android-besturingssysteem die elke 2 s snapshots kan maken, vooral als de seconden oneven getallen zijn.
  2. Verbind de mobiele telefoon met het systeem. Klik in Android Studio op Nieuw > Nieuw project en kies Activiteit Weergaven leegmaken. Klik op Volgende om een Android-code te ontwikkelen, die beschikbaar is op https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. Zorg ervoor dat de app de afbeeldingen automatisch vastlegt en ze consequent naar een extern apparaat stuurt.
  4. Verzend snapshots vanuit de mobiele app onmiddellijk na het maken van de snapshot naar het gekoppelde apparaat, d.w.z. naar het systeem van de chirurg op afstand, via Bluetooth.
    OPMERKING: Zorg ervoor dat de modules die in secties 2 en 3 worden genoemd, in tijdsynchronisatie worden uitgevoerd, één voor elk even aantal seconden en de andere voor elk oneven aantal seconden.

4. Ontwikkelen van een cliëntmodule voor het ontvangen en verwerken van bewakingsbeelden

  1. Open de servermodule, een grafische gebruikersinterface.
  2. Voer het VVID-poortnummer in het tekstveld VVID in, waarvan de standaardwaarde 94f39d29 7d6d 437d 973b fba39e49d4ee is.
  3. Klik op Socket maken om de socket te maken en te binden. Klik op Verbinden om verbinding te maken met de mobiele app.
  4. Klik op Vastleggen om de bewakingsbeelden van de scène vast te leggen en op te slaan in de lokale map
  5. Voer de naam van de lokale map in het veld in als deze een andere naam moet zijn dan de standaard die wordt vermeld.

5. Bediening van de robotarm

  1. Laat de clientmodule ook een robotarm bevatten. Ontwerp de arm zo dat deze een roterende beweging heeft in de basis, schouder, elleboog, pols en vingers.
  2. Zorg ervoor dat MG 996R-servo's worden gebruikt voor het regelen van de rotatiebeweging aan de basis, schouder en elleboog. Zorg ervoor dat de SG 90 servomotor wordt gebruikt om de rotatiebeweging bij de elleboog en vingers te regelen.
  3. Stel de code samen die in https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR in de microcontroller IDE wordt gegeven om de robotarm te besturen op basis van de commando's die u van de chirurg op afstand ontvangt.

6. 3D reconstructie voor augmented reality

  1. Lees twee afbeeldingen tegelijk in een volgorde, één voor één, uit de lokale map om de mogelijke overlapping te verkrijgen (aangezien de afbeeldingen dicht bij elkaar worden verzameld, zal er een overlapping zijn tussen de opeenvolgende afbeeldingen) tussen hen.
  2. Ontwerp een tertiair filter volgens de vereisten van de Directional Intensified Feature Description met behulp van het Tertiary Filtering22 (DITF)-algoritme om de gradiënt en oriëntatie te verkrijgen.
  3. Extraheer de objecten met behulp van de DITF-methode22, zoals weergegeven in figuur 3.
  4. Reconstrueer 3D-beelden van de verzamelde objecten met behulp van SFM23.

7. Handgebarenherkenning op de locatie van de chirurg

  1. Help de chirurg om de 3D-gereconstrueerde beeldkenmerken te inspecteren door hem/haar in staat te stellen de omgeving vanuit alle perspectieven te visualiseren door op handgebaren gebaseerde rotatie te bieden en in / uit te zoomen op gereconstrueerde functies.
  2. Normaliseer en breng de afstand tussen het topje van de duim van de chirurg en de wijsvinger van de rechterhand in kaart in een overeenkomstige rotatiehoek. Laat de normalisatie zo zijn dat de absolute minimale afstand overeenkomt met 0° en het maximum met 180°.
  3. Verzend de handgebarenbediening, via Bluetooth, ook naar de operatieomgeving op afstand voor de rotatie van het objectplateau, waardoor het om zijn as draait terwijl de 3D-gereconstrueerde kenmerken aan het einde van de chirurg draaien.
  4. Zoek de afstand tussen de punt en duim van de linkerhand van de chirurg om de beweging van de vingers van de robotarm te regelen.
  5. Meet de elevatiehoek vanaf de ruimtelijke afstand tussen het topje van de duim en de wijsvingers van de linkerhand van de chirurg ten opzichte van een denkbeeldig x-y-grondvlak om de elevatiehoek te bepalen. Breng deze hoek in kaart in een elevatiehoek die de robotarm kan maken met het x-y-vlak.
  6. Zoek de azimuthoek die de hand van de chirurg maakt met die van het virtuele y-z-vlak. Identificeer deze hoeken door middel van herkenning op basis van handgebaren.
  7. Breng de afstand, elevatie en azimuthoeken in kaart om de vingerbeweging en armrotatie van de robot te regelen, die beide overeenkomen met elevatie- en azimuthoeken.
  8. Laat de chirurg de gereconstrueerde kenmerken inspecteren door in te zoomen en te draaien. Laat de chirurg commando's doorgeven aan de robotarm om een operatie uit te voeren vanaf een externe locatie.
  9. Zorg ervoor dat de operatiecommando's worden verzonden als een controlereeks van een reeks, te beginnen met een samenloop van tekenreeksen, gevolgd door de waarden om de rotatie van het plateau en de robotarmcontroller te regelen. Laat [θb, θs, θe, θw, θf] de hoek van de vector zijn die bestaat uit waarden, die elk overeenkomen met het stuursignaal dat overeenkomt met de basis, schouder, elleboog, pols en vinger van de robotarm.
    OPMERKING: De GitHub-link biedt de code om handgebarenbediening in het chirurgische veld in te schakelen. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het protocol werd getest met het hartfantoommodel. Figuur 2 toont de verwachte opstelling voor de live bewaking van het operatieveld met behulp van ruimtelijk verdeelde camera's. De gedistribueerde camera's, zoals weergegeven in figuur 2, helpen de ruimtelijke resolutie van het veld te verhogen voor een effectieve 3D-reconstructie. Het realiseren van de fysieke plaatsing van die camera's op verschillende ruimtelijke locaties brengt echter complexiteit met zich mee. Daarom hebben we het ontwerp van de opstelling geoptimaliseerd en komen we met de oplossing van een ruimtelijk zelfgeoriënteerde camera-opstelling die wordt aangedreven door een NEMA-motor die wordt aangedreven door een TB6600-driver. Deze structuur is haalbaar en is geïmplementeerd in het model en hetzelfde is weergegeven in figuur 1.

In afbeelding 1 worden de automatische camerasnapshots gevolgd door hun verzending via het Bluetooth-protocol beheerd door een Android-code. De module is zo georganiseerd dat de opname eenmaal in elke oneven seconde plaatsvindt en de overdracht ervan eenmaal in elke even seconde gebeurt, zoals vermeld in sectie 3. De microcontrollermodule die de NEMA-motor koppelt, zorgt ervoor dat de structuur eenmaal per even seconde wordt gedraaid, zodat er voldoende tijd is voor het onscherp vastleggen van foto's. In totaal worden er dus 30 foto's gemaakt over 360° rotatie en ze worden verzonden via Bluetooth.

In figuur 1 wordt ook de 3D-gereconstrueerde weergave van DITF-descriptoren van de chirurgische omgeving weergegeven. Opgemerkt moet worden dat deze op descriptoren gebaseerde reconstructies door de chirurgen kunnen worden geïnspecteerd door in te zoomen en te roteren door middel van handbewegingsmapping. Ook worden deze bewegingen naar de operatieomgeving gestuurd om de operatie na te bootsen, zodat de katheter in het echte veld kan worden ingebracht. De motion mapping wordt op zo'n manier gedaan dat ze in zes verschillende hoeken worden in kaart gebracht om de robotonderdelen te besturen, namelijk basis, schouder, elleboog, pols, grijper en vinger. Deze hoeken worden in vectorvorm aangeduid als [θb, θs, θe, θw, θf]. In de gegeven vector komt de waarde θpovereen met motion mapping om het plateau van het menselijke object te draaien. Dezelfde θpwordt gebruikt om de descriptor die wordt weergegeven in de HoloLens-emulator ook aan de zijde van de chirurg te oriënteren.

Figuur 3 toont de DITF-kenmerken van het fantoommodel, de essentiële stap voor 3D-reconstructie. Op basis van de geëxtraheerde kenmerken worden de overeenkomsten geïdentificeerd in beeldmatching. De overeenkomst tussen de referentiebeelden en verschillende resultaten van een rotatie van 45° is weergegeven in figuur 4. De overeenkomst met verschillende kleuren geeft duidelijk de effectiviteit aan van het identificeren en matchen van vergelijkbare kenmerken, zelfs wanneer de afbeeldingen zich in verschillende weergaverichtingen bevinden. In figuur 5 is de nauwkeurigheid van motion mapping opgenomen, wat aangeeft dat wanneer de afstand tussen de twee vingers laag is, de nauwkeurigheid hoog is. Wanneer de afstand tussen de vingers echter toeneemt, begint de nauwkeurigheid af te nemen.

Aan de andere kant is de tijd die het model nodig heeft om de gegevens te verwerken essentieel bij AR. Daarom is deze parameter opgenomen voor de validatie van het voorgestelde model, wordt de vertraging bij het verwerken van het beeld gemeten en worden de resultaten geverifieerd met bestaande algoritmen zoals Oriented FAST and rotated BRIEF (ORB)24 en Boosted Efficient Binary Local Image Descriptor (BEBLID)25. De resultaten laten zien dat de DITF de bestaande modellen, zoals ORB en BEBLID, overtreft in termen van latentie, zoals weergegeven in figuur 6. Daarnaast wordt het 3D-reconstructiemodel gevalideerd met de reconstructiefout, en de figuur in figuur 7 geeft aan dat het histogram smal is, wat impliceert dat de reconstructiefout minimaal is; Het laat zien dat de reconstructie van het voorgestelde algoritme is geverifieerd en gevalideerd. Figuur 8 toont de output van de 3D-reconstructie voor het voorgestelde model. Het weerspiegelt de helderheid in visualisatie en de kwantitatieve resultaten van het beeld worden ook geverifieerd met behulp van de plots. Deze resultaten bewijzen dat het voorgestelde model alle noodzakelijke kenmerken heeft geëxtraheerd met de rotatietransformatie om het 3D-model te reconstrueren. Daarom kan de expert op afstand nauwkeurige visualisatie en controle van het chirurgische veld hebben.

figure-results-1
Afbeelding 1: Implementatie van hardware-installatie voor geautomatiseerde chirurgie van transkatheter-aortaklepvervanging met behulp van augmented reality. (A) Chirurgisch veld met een live monitoringsysteem. (b) Visualisatie op basis van augmented reality. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: Verwacht model van de operatieomgeving. Het getoonde model is uitgerust met live bewaking van de operatieomgeving met behulp van ruimtelijk verdeelde camerasensoren. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Model van een menselijk hart dat in een operatietestbed is geplaatst en de geëxtraheerde kenmerken ervan met behulp van het algoritme voor functiebeschrijving. (A) Voer het hartfantoommodel in. (B) Directionele geïntensiveerde functiebeschrijving met behulp van tertiaire filtering functie-extractie van hartfantoommodel. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-4
Figuur 4: Afstemming van kenmerken tussen twee beeldkenmerken. (A) Directionele geïntensiveerde functiebeschrijving met behulp van tertiaire filterfunctie-extractie voor hartfantoommodel. (B) Directionele geïntensiveerde functiebeschrijving met behulp van tertiaire filterfunctie-extractie van 45° geroteerd hartfantoommodel. De lijnen geven de overeenkomst aan tussen de kenmerken van vergelijkbare afbeeldingen in twee verschillende oriëntaties. De lijnkleur geeft de verschillende gekozen kenmerken aan. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-5
Figuur 5: Nauwkeurigheid van het volgen van handgebaren. De afbeelding toont de procentuele nauwkeurigheid. Het steekproefnummer (N) is gekozen om 500 te zijn. De motion mapping wordt 500 keer gedaan, waaruit het aantal juiste kaarten wordt gevonden. Vervolgens wordt de nauwkeurigheid berekend als de verhouding tussen de juiste mapping en het totale aantal monsters. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-6
Figuur 6: Latentie van directionele geïntensiveerde functiebeschrijving met behulp van tertiaire filtering met georiënteerd FAST en geroteerd BRIEF en versterkt efficiënt binair lokaal beelddescriptoralgoritme. De latentie, de tijd die nodig is om de kenmerken uit een afbeelding te extraheren, wordt uitgezet. We hebben N gekozen als 500, wat betekent dat de berekening van de vertraging meer dan 500 keer wordt gedaan en vervolgens wordt gemiddeld. De procedure wordt uitgevoerd voor drie algoritmen en uitgezet. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-7
Figuur 7: Reconstructiefoutverdeling van het voorgestelde model. Reconstructiefout is de fout tussen het gereconstrueerde 3D-beeld van zijn functie en het originele beeld. De foutplot is een histogram dat het aantal keren dat een bepaalde gebeurtenis voorkomt, aangeeft. De telling is maximaal wanneer de fout nul is en aan beide zijden vervalt. Dit is het gewenste resultaat. De figuur geeft aan dat de variantie van het histogram (normale dichtheid) kleiner is, dus de fout van het gemiddelde (0) is niet erg verspreid in beide richtingen. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-8
Figuur 8: 3D reconstructie van het hartmodel. Elke gekleurde stip geeft het 3D-gereconstrueerde punt van het bijbehorende object aan. Vanaf nu normaliseert het algoritme voor functiereconstructie de kleur en daarmee worden andere functies gekleurd. Klik hier om een grotere versie van deze figuur te bekijken.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In een bestaand werk15 worden röntgen- en CT-scans onderzocht om de katheter in het hart te lokaliseren. Vervanging van AR TAVR creëert echter een nieuwe mogelijkheid in de TAVR18-chirurgische ingreep door de implementatie van een geautomatiseerd model met behulp van 3D-reconstructie. Zoals vermeld in het protocolgedeelte, heeft dit werk vijf fasen om te ontwerpen. De eerste fase van DITF22, genoemd in hoofdstuk 6, die we in ons vorige werk22 hebben voorgesteld, wordt verbeterd op een manier die het model inbedding in medische toepassingen inbedt. De tweede fase van 3D-reconstructie is de uitdagende taak om het 3D-model op te bouwen vanuit 2D-punten. We hebben het model getest met verschillende invoerafbeeldingen om het model te valideren. SFM23 wordt gebruikt om de beelden te reconstrueren. De overeenstemming van het beeld wordt gemeten met behulp van DITF22, samen met een kalibratiematrix. De volgende fase is het volgen van handgebaren; de interface van de handgebarenbediening in 3D-reconstructie is een andere uitdagende taak in realtime. De schaalregeling en rotatievariatie zijn ingebed met handgebaren voor gemakkelijke toegang tot de 3D-modellen door de expert op afstand. De vierde fase is het maken van een mobiele app, die wordt vermeld in sectie 3 voor het automatisch vastleggen van afbeeldingen. Deze app laadt de gegevens als 3D-model naar de expert op afstand. De laatste fase is de hardware-installatie, die wordt gedemonstreerd met behulp van het hartfantoommodel met een robotarm, die geautomatiseerd is om de katheter in te brengen om de gewonde klep van het hart te vervangen, zoals weergegeven in figuur 1.

De ontwikkelde methode is gericht op het uitvoeren van de operatie op afstand vanuit de scènebewaking van de chirurgische omgeving met behulp van augmented reality en functie-extractie. De belangrijke bijdragen die in dit artikel worden voorgesteld, worden voor zover wij weten niet in de literatuur gezien. De ontwikkelde methode heeft een lage latentie om het 3D-beeld te reconstrueren uit de functies. Ook heeft de methode een zeer lage fout tussen de gereconstrueerde kenmerken en de originele afbeelding. Deze latentie en de fout worden weergegeven in respectievelijk Figuur 6 en Figuur 7. Uit de cijfers blijkt ook dat de andere algoritmen, namelijk ORB24 en BEBLID25 , ondermaats zijn dan de voorgestelde methode.

De uitdagingen waarmee we bij de ontwikkeling van de methode werden geconfronteerd, is de op het Bluetooth-protocol gebaseerde overdracht tussen de mobiele app en de externe server. Omdat het vastleggen en verzenden van de scène elke 2 seconden moet worden voltooid, vereiste het ultrasnelle communicatie. Het belandde vaak in een kapotte socket en het vereiste veel afhandeling van uitzonderingen en parallel routinebeheer voor een vlotte verwerking. Daarnaast liepen we tegen een aantal problemen aan tijdens de ontwikkeling en implementatie van de methode.

Er zijn echter enkele technieken voor probleemoplossing om ze op te lossen. Bluetooth-communicatie omvat het kiezen van het juiste kanaal of VVID-poortnummer. Ook moet ervoor worden gezorgd dat het Bluetooth-apparaat aan beide uiteinden wordt geschakeld voordat u verder gaat. Met betrekking tot de op microprocessors gebaseerde routine om de robotarm en de hangende rotatiearm aan te drijven, moeten de poortnummers voor seriële communicatie worden gegarandeerd. De aansluiting van de motordriver, aangezien de NEMA en de servomotor goed moeten worden gewaarborgd. Als het niet goed wordt gedaan, draait de NEMA-motor op een ongewenste manier, zelfs als alleen de verbinding met de driver verkeerd is gemaakt. De draden van twee spoelen van de NEMA-motor moeten goed worden geïdentificeerd; Anders kan de verbinding met de bestuurder op een ongewenste manier gaan draaien of zelfs de motor beschadigen. Het ontwerp van een koppeling ter ondersteuning van het ophangen van een roterende arm, die ongeveer 1 kg weegt, was een uitdaging. Om het probleem aan te pakken, hebben we een gat met een diameter van 1 mm in de as van de motor geboord. Het balanceren van beide zijden van de arm, inclusief het gewicht van een mobiel apparaat, is ook een uitdaging; Anders kan de constructie over het grondoppervlak slepen, wat zal leiden tot het afbreken of naar beneden trekken van de constructie van de motoras. Er moet voor worden gezorgd dat de basis, schouder, elleboog, pols en vingers van de robotarm correct worden vastgeschroefd; Als dit niet het geval is, kunnen de onderdelen vallen wanneer het draait en het gewicht optilt. Het parallel draaien van twee modules moet worden verzorgd door een geschikte Python-omgeving in te stellen, met verschillende threads die parallel lopen voor een soepele werking.

De resultaten concluderen dat het voorgestelde Automatic TAVR18-model een effectieve methode is voor chirurgische begeleiding bij AR. Dit voorgestelde model is flexibel om dit prototype toe te passen op elke operatie op medisch gebied volgens de richtlijnen van medische experts. Op leren gebaseerde modellen kunnen de 3D-reconstructie verbeteren. Om het 3D-model te reconstrueren, moeten meerdere weergaven met goede belichtingsbeelden als input worden gegeven; Dit kan echter in de toekomst worden aangepakt. Bovendien willen we in de toekomst een op 5G-communicatie gebaseerde transmissie ontwikkelen om een lage latentie en ultrabetrouwbare communicatie te garanderen voor een foutloze en soepele werking. Ook willen we graag ons eigen AR-apparaat ontwikkelen in plaats van een emulator die momenteel wordt gebruikt. Dit kan de visualisatie van het 3D-model in een live chirurgische omgeving verbeteren.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs verklaren geen belangenconflicten.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs erkennen dat er geen financiering is voor dit onderzoek.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
android IDEsoftwarehttps://developer.android.com/studiosoftware kan worden gedownload via deze link
Arduino BoardArdunio UnoArdunio UnoMicrocontroller voor verwerking
arduino softwaresoftwarehttps://www.arduino.cc/en/software.software kan worden gedownload via deze link
Human Heart phantom modelBiology Lab Equipment Manufacturer and ExporterB071YBLX2V(8B-ZB2Q-H3MS-1)lichtgewicht model met 3 onderdelen voor diepgaande analyse van het hart.
mobile holderHumble universal monopoad holderB07S9KNGVSOm de mobiele telefoon in chirurgisch gebied te dragen
pycharm IDEsoftwarehttps://www.jetbrains.com/pycharm/software kan worden gedownload via deze link
Robot armPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)arm kan worden bestuurd via controlesignaal. Het heeft 5 graden van vrijheid om toegang te krijgen.
servo motorKollmorgen Co-Engineers MotorsMG-966Rhoge-torque servomotor, servo pulsen variërend van 500 tot 2500 microseconden (µs), met een frequentie van 50Hz tot 333Hz. 
servomotorKollmorgen Co-Engineers MotorsSG-90R1,8 kg-cm tot 2,5 kg-cm belasting kan worden toegepast op SG-90R servo.
Stepper Motor28BYJ-4828BYJ-48Stepper motor, 5V DC, 100 Hz frequentie, koppel 1200 Gf.cm
Stepper MotorNema 23NemaStepper motor, 9V - 42 V DC, 100 Hz frequentie

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Augmented Reality SurgeryTranscatheter Aortic ValveRemote Surgical Guidance3D ReconstructionRobotic Arm ControlHand Gesture ControlReal Time SynchronizationFeature ExtractionCatheter TestbedTelemedicine Surgery

Related Articles