Automatische Chirurgie beim Transkatheter-Aortenklappenersatz mit Augmented Reality

Summary

In diesem Artikel wird das Design und die Implementierung eines Moduls für die automatische Chirurgie vorgestellt, das auf Augmented Reality (AR)-basierter 3D-Rekonstruktion basiert. Das System ermöglicht die Fernchirurgie, indem es Chirurgen ermöglicht, rekonstruierte Merkmale zu inspizieren und chirurgische Handbewegungen zu replizieren, als ob sie die Operation in unmittelbarer Nähe durchführen würden.

Abstract

Augmented Reality (AR) ist in medizinischen Anwendungen sehr gefragt. Das Ziel der Arbeit ist es, die automatische Chirurgie mit AR für den Transkatheter-Aortenklappenersatz (TAVR) bereitzustellen. TAVR ist das alternative medizinische Verfahren für Operationen am offenen Herzen. TAVR ersetzt die verletzte Klappe mit Hilfe eines Katheters durch die neue. Im bestehenden Modell ist eine Fernführung gegeben, während die Operation nicht auf Basis von AR automatisiert wird. In diesem Artikel haben wir eine räumlich ausgerichtete Kamera eingesetzt, die mit einem Motor verbunden ist, um die Bilderfassung im chirurgischen Umfeld zu automatisieren. Die Kamera verfolgt das hochauflösende 2D-Bild des Herzens des Patienten zusammen mit dem Katheterprüfstand. Diese aufgenommenen Bilder werden über die mobile App an einen entfernten Chirurgen hochgeladen, der ein Kardiologieexperte ist. Dieses Bild wird für die 3D-Rekonstruktion aus der 2D-Bildverfolgung verwendet. Dies wird in einer HoloLens wie ein Emulator auf einem Laptop angezeigt. Der Chirurg kann die rekonstruierten 3D-Bilder mit zusätzlichen Transformationsfunktionen wie Rotation und Skalierung aus der Ferne inspizieren. Diese Transformationsfunktionen werden durch Handgesten aktiviert. Die Anweisungen des Chirurgen werden an die chirurgische Umgebung übertragen, um den Prozess in Echtzeitszenarien zu automatisieren. Der Katheterprüfstand im Operationsfeld wird durch die Handgestenführung des Remote-Chirurgen gesteuert. Das entwickelte Prototypmodell demonstriert die Wirksamkeit der chirurgischen Fernführung durch AR.

Introduction

AR kann das 3D-Modell in einer realen Umgebung überlagern. Die technologische Entwicklung hin zu AR hat in vielen Bereichen einen Paradigmenwechsel vollzogen, nämlich in der Bildung¹, in der Medizin², in der Fertigung³ und in der Unterhaltung⁴. Die AR-Technologie erweist sich zusammen mit der äußerst zuverlässigen Kommunikation mit geringer Latenz als unvermeidlich im medizinischen Bereich. Von der Lernphase der menschlichen Anatomie bis hin zur chirurgischen Anleitung können die Lernphasen mit AR-gestützter Software ^5,6 und Hardware visualisiert werden. AR bietet dem Arzt in einer chirurgischen Umgebung eine entscheidende und zuverlässige Lösung ^7,8.

Die Aortenklappenstenose ist die Herzklappenerkrankung, die bei der Menschheit am häufigsten auftritt⁹. Die Hauptursache der Krankheit sind schlechte Ernährungsgewohnheiten und unregelmäßige Routinen des täglichen Lebens. Symptom und Folge der Erkrankung ist die Verengung der Herzklappe, gefolgt von einer Verminderung des Blutflusses. Dieses Problem muss angegangen werden, bevor das menschliche Herz geschädigt wird. Somit ist das Herz überlastet, um den Blutfluss zu verarbeiten. Bevor also ein Schaden entsteht, muss eine Operation durchgeführt werden, die aufgrund der technologischen Entwicklungen in den letzten Tagen auch mit dem TAVR-Verfahren durchgeführt werden kann. Das Verfahren kann je nach Zustand des Herzens und anderer Körperteile des Patienten angewendet werden. Bei diesem TAVR^10,11 wird der Katheter eingeführt, um die beschädigte Klappe im Herzen zu ersetzen. Das Platzieren des Katheters in Position¹² zum Austausch der Klappe ist für den Behandler jedoch mühsam. Diese Idee motivierte uns, ein automatisiertes Operationsmodell auf Basis von AR^13,14 zu entwickeln, das dem Chirurgen hilft, die Klappe während des Wechselprozesses präzise zu positionieren. Darüber hinaus kann die Operation mit einem Motion-Mapping-Algorithmus durchgeführt werden, der die Bewegung des Chirurgen, die von einem entfernten Ort aus erfasst wird, auf den Roboterarm abbildet.

In der bestehenden Arbeit 15,16,17 wird die Visualisierung des TAVR ^{18-Verfahrens} durch Fluoroskopie überwacht. Daher ist es schwierig, die Herzklappe zu analysieren und mühsam, die Ersatzstelle zu finden. Dies stellt eine Barriere für die Positionierung des Katheters im menschlichen Herzen dar. Darüber hinaus wird die Fernbewegung auf das Operationsfeld abgebildet, um den Prozess zu automatisieren. Um die Forschungslücke zu schließen, schlagen wir jedoch eine automatisierte roboterbasierte Chirurgie für den Klappenersatz mit Hilfe von AR-gestützter Technologie vor.

Das Protokoll ist ein generisches Modell, das auf alle chirurgischen Umgebungen angewendet werden kann. In der Anfangsphase der Arbeit werden 2D-Bilder rund um die chirurgische Umgebung mit der vollsten räumlichen Auflösung und dem größten Freiheitsgrad aufgenommen. Dies bedeutet, dass genügend Bilder für die 3D-Rekonstruktion¹⁹ aufgenommen werden, gefolgt von Motion Mapping durch Handgestenverfolgung²⁰.

Protocol

1. Chirurgische Umgebung

1. Entwerfen Sie eine Operationsumgebung, wie in Abbildung 1 dargestellt. Stellen Sie sicher, dass die Umgebung über eine Platte für den Objekttransport, einen Roboterarm und zwei seitlich hängende Arme verfügt, von denen einer einen Platzhalter für die Kamera und der andere einen einheitlichen weißen Hintergrund hat, zusammen mit dem Wägemodul für das Gleichgewicht.
2. Entwickeln Sie zwei Treiber, einen für den Snapshot der chirurgischen Live-Umgebung, wie in den Schritten 2.1 bis 2.10 beschrieben, und den anderen für die Steuerung des revolvierenden Mechanismus, der die 360°-Überwachung unterstützt, wie in den Schritten 3.1 bis 3.4 beschrieben.
3. Aktivieren Sie vor der Implementierung der beiden oben genannten Module Bluetooth des mobilen Geräts und des Laptops, die als HoloLens-Emulator des Chirurgen dienen.
4. Koppeln Sie die Geräte für eine ununterbrochene Bildübertragung.

2. Einrichten des Treibers zur Steuerung der beiden hängenden Arme

1. Stellen Sie sicher, dass die Aufhängearme von einem Schrittmotor mit der in Abbildung 2 gezeigten Anordnung gesteuert werden, um eine einwandfreie Drehung von 360° zu gewährleisten.
2. Verbinden Sie den Motor mit dem Treiber TB 6600 mit der Mikrocontroller-Platine. Um den Motor auszuführen, installieren Sie die Mikrocontroller-IDE über den Browser.
3. Klicken Sie auf die Schaltfläche Download , um die Software herunterzuladen. Wechseln Sie dann in der Mikrocontroller-IDE zu Datei > Öffnen Sie einen neuen Sketch , um den Code zu schreiben.
4. Stellen Sie sicher, dass Sie die Mikrocontrollerplatine so anschließen, dass sie über einen dedizierten Verbindungsport, z. B. COM 4, mit dem neuen Sketch verbunden ist. Überprüfen Sie den Com-Port, und stellen Sie sicher, dass die Mikrocontroller-Platine angezeigt wird.
5. Überprüfen Sie die Hardware-Switch-Einstellungen des Schrittmotortreibers TB 6600. Stellen Sie sicher, dass die Einstellungen so sind, dass der Stromfluss 2 A beträgt, was durch Einstellen von SW4 ON und SW5 und SW6 OFF erreicht werden kann.
6. Stellen Sie sicher, dass die Schaltpositionen von SW1, SW2 und SW3 so eingestellt sind, dass der Mikroschritt 1/8 Schritte beträgt, um die erforderlichen Umdrehungsschritte zu erreichen. Stellen Sie sicher, dass die Einstellungen in TB6600 SW1 OFF, SW2 ON und SW3 OFF sind.
7. Verbinden Sie die RTC 3231 mit dem Mikrocontroller, um eine globale Zeitsynchronisation in Echtzeit zu erhalten. Stellen Sie sicher, dass die Drehzahlschrittweite 12° beträgt und dass das Motorschrittinkrement nur ausgelöst wird, wenn die Echtzeiteinheit, d. h. die vom RTC-Modul gelesenen Sekunden, ungerade ist.
8. Verbinden Sie den 5-V-Pin der Mikrocontrollerplatine mit der RTC VCC und den GND des Mikrocontrollers mit dem GND der RTC.
9. Verbinden Sie den SCL-Pin der RTC mit dem A0-Pin und den SDA mit dem A1-Pin des Mikrocontrollers. Dieses Modul kann eine Schrittweite von 12° gewährleisten und 30 Schritte in einer Umdrehung ausführen. Stellen Sie sicher, dass das Schrittinkrement jede ungerade Sekunde erfolgt. Lassen Sie dieses Softwaremodul den Schrittmotor²¹ antreiben.
10. Stellen Sie sicher, dass das Setup ordnungsgemäß funktioniert, indem Sie den Code ausführen, der auf der GitHub-Seite https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR verfügbar ist.
11. Laden Sie Android Studio herunter, um die automatische Kamera-App zu entwickeln. Stellen Sie sicher, dass die Systemanforderungen erfüllt sind, und laden Sie dann die Software von der Website herunter.

3. Entwicklung eines Treibers für die mobile Szenenüberwachung und Bildübertragung als Client-Modul

1. Entwickeln Sie eine Kameraanwendung im Android-Betriebssystem, die alle 2 s Schnappschüsse machen kann, insbesondere wenn es sich bei den Sekunden um ungerade Zahlen handelt.
2. Verbinden Sie das Mobiltelefon mit dem System. Klicken Sie in Android Studio auf Neu > Neues Projekt und wählen Sie Aktivität "Leere Ansichten" aus. Klicken Sie auf Weiter , um einen Android-Code zu entwickeln, der unter https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR verfügbar ist.
3. Stellen Sie sicher, dass die App die Bilder automatisch erfasst und konsistent an ein Remotegerät sendet.
4. Übertragen Sie Schnappschüsse aus der mobilen App sofort nach der Aufnahme des Schnappschusses über Bluetooth an das gekoppelte Gerät, d. h. an das System des entfernten Chirurgen.
   HINWEIS: Stellen Sie sicher, dass die in den Abschnitten 2 und 3 erwähnten Module in Zeitsynchronisation ausgeführt werden, eines für jede gerade Anzahl von Sekunden und das andere für jede ungerade Anzahl von Sekunden.

4. Entwicklung eines Client-Moduls zum Empfangen und Bearbeiten von Überwachungsbildern

1. Öffnen Sie das Servermodul, bei dem es sich um eine grafische Benutzeroberfläche handelt.
2. Geben Sie die VVID-Portnummer in das Textfeld VVID ein, deren Standardwert 94f39d29 7d6d 437d 973b fba39e49d4ee ist.
3. Klicken Sie auf Create Socket , um den Socket zu erstellen und zu binden. Klicken Sie auf Verbinden , um eine Verbindung mit der mobilen App herzustellen.
4. Klicken Sie auf Aufnehmen , um die Szenenüberwachungsbilder aufzunehmen und im lokalen Ordner zu speichern
5. Geben Sie den Namen des lokalen Ordners in das Feld Ordnername ein, wenn er ein anderer als der angegebene Standardname sein muss.

5. Bedienung des Roboterarms

1. Lassen Sie das Client-Modul auch einen Roboterarm enthalten. Gestalten Sie den Arm so, dass er eine Rotationsbewegung in der Basis, der Schulter, dem Ellbogen, dem Handgelenk und den Fingern hat.
2. Stellen Sie sicher, dass MG 996R Servos verwendet werden, um die Rotationsbewegung an der Basis, der Schulter und dem Ellbogen zu steuern. Stellen Sie sicher, dass der Servomotor SG 90 verwendet wird, um die Drehbewegung an Ellenbogen und Fingern zu steuern.
3. Kompilieren Sie den in https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR angegebenen Code in der Mikrocontroller-IDE, um den Roboterarm basierend auf den vom entfernten Chirurgen empfangenen Befehlen zu steuern.

6. 3D Rekonstruktion für Augmented Reality

1. Lesen Sie jeweils zwei Bilder in einer Sequenz nacheinander aus dem lokalen Ordner, um die mögliche Überlappung (da die Bilder in unmittelbarer Nähe gesammelt werden, kommt es zu einer Überlappung zwischen den aufeinanderfolgenden Bildern) zwischen ihnen zu erhalten.
2. Entwerfen Sie einen Tertiärfilter gemäß den Anforderungen der Beschreibung des gerichteten verstärkten Merkmals unter Verwendung des DITF-Algorithmus (Tertiary Filtering²² ), um den Gradienten und die Ausrichtung zu erhalten.
3. Extrahieren Sie die Features mit der DITF-Methode²², wie in Abbildung 3 dargestellt.
4. Rekonstruieren Sie 3D-Bilder aus den erfassten Features mit SFM²³.

7. Erkennung von Handgesten am Standort des Chirurgen

1. Erleichtern Sie dem Chirurgen die Inspektion der rekonstruierten 3D-Bildmerkmale, indem Sie ihm ermöglichen, die Umgebung aus allen Perspektiven zu visualisieren, indem Sie eine auf Handgesten basierende Drehung und das Vergrößern/Verkleinern von rekonstruierten Merkmalen ermöglichen.
2. Normalisieren Sie den Abstand zwischen der Daumenspitze des Chirurgen und dem Zeigefinger der rechten Hand und ordnen Sie ihn in einen entsprechenden Drehwinkel ein. Die Normalisierung sei so, dass der minimale Abstand 0° und der maximale 180° entspricht.
3. Übertragen Sie die Handgestensteuerung über Bluetooth auch an die Remote-Operationsumgebung für die Drehung der Objektplatte, wodurch sie sich um ihre Achse dreht, während sich die 3D-rekonstruierten Merkmale am Ende des Chirurgen drehen.
4. Ermitteln Sie den Abstand zwischen der Spitze und dem Daumen der linken Hand des Chirurgen, um die Bewegung der Finger des Roboterarms zu steuern.
5. Messen Sie den Höhenwinkel aus dem räumlichen Abstand zwischen der Daumenspitze und dem Zeigefinger der linken Hand des Chirurgen in Bezug auf eine imaginäre x-y-Grundebene, um den Höhenwinkel zu bestimmen. Ordnen Sie diesen Winkel einem Höhenwinkel zu, den der Roboterarm mit der x-y-Ebene erstellen kann.
6. Ermitteln Sie den Azimutwinkel, den die Hand des Chirurgen mit der der virtuellen y-z-Ebene bildet. Identifizieren Sie diese Winkel durch handgestenbasierte Erkennung.
7. Ordnen Sie den Abstand, die Höhe und die Azimutwinkel zu, um die Fingerbewegung des Roboters und die Armdrehung zu steuern, die beide dem Höhen- und Azimutwinkel entsprechen.
8. Lassen Sie den Chirurgen die rekonstruierten Merkmale durch Zoomen und Drehen untersuchen. Lassen Sie den Chirurgen Befehle an den Roboterarm senden, um die Operation von einem entfernten Ort aus durchzuführen.
9. Stellen Sie sicher, dass die Operationsbefehle als Steuerzeichenfolge der Sequenz übertragen werden, die mit einer Zeichenfolgenübereinstimmung beginnt, gefolgt von den Werten zur Steuerung der Plattentellerdrehung und der Roboterarmsteuerung. Sei [θ_b, θ_s, θ_e, θ_w, θ_f] der Winkel des Vektors, der aus Werten besteht, die jeweils dem Steuersignal entsprechen, das der Basis, der Schulter, dem Ellbogen, dem Handgelenk und dem Finger des Roboterarms entspricht.
   HINWEIS: Der GitHub-Link enthält den Code zum Aktivieren der Handgestensteuerung im chirurgischen Bereich. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

Das Protokoll wurde mit dem Herzphantom-Modell getestet. Abbildung 2 zeigt den zu erwartenden Aufbau für die Live-Überwachung des Operationsfeldes mit Hilfe von räumlich verteilten Kameras. Die verteilten Kameras, wie in Abbildung 2 gezeigt, tragen dazu bei, die räumliche Auflösung des Feldes für eine effektive 3D-Rekonstruktion zu erhöhen. Die physische Platzierung dieser Kameras an verschiedenen räumlichen Orten ist jedoch mit Komplexität verbunden. Daher haben wir das Setup-Design optimiert und die Lösung für eine räumlich selbstorientierte Kameraanordnung gefunden, die von einem NEMA-Motor gedreht wird, der von einem TB6600-Treiber angetrieben wird. Diese Struktur ist machbar und wird im Modell implementiert und ist in Abbildung 1 dargestellt.

In Abbildung 1 werden die automatischen Kamera-Schnappschüsse, gefolgt von ihrer Übertragung über das Bluetooth-Protokoll, durch einen Android-Code gesteuert. Das Modul ist so organisiert, dass die Erfassung einmal in jeder ungeraden Sekunde stattfindet und ihre Übertragung einmal in jeder geraden Sekunde erfolgt, wie in Abschnitt 3 erwähnt. Das Mikrocontroller-Modul, das mit dem NEMA-Motor verbunden ist, sorgt dafür, dass sich die Struktur einmal pro Sekunde dreht, so dass genügend Zeit für unscharfe Fotoaufnahmen gewährleistet ist. Insgesamt werden also 30 Fotos über 360° Drehung aufgenommen und per Bluetooth übertragen.

In Abbildung 1 ist auch die 3D-rekonstruierte Ansicht der DITF-Deskriptoren der chirurgischen Umgebung dargestellt. Es ist zu beachten, dass diese deskriptorbasierten Rekonstruktionen von den Chirurgen durch Zoomen und Drehen durch Handbewegungsmapping inspiziert werden können. Außerdem werden diese Bewegungen in die chirurgische Umgebung gesendet, um die Operation zu imitieren, so dass der Katheter in das reale Feld eingeführt werden kann. Das Motion Mapping erfolgt so, dass sie in sechs verschiedenen Winkeln abgebildet werden, um die Roboterteile zu steuern, nämlich Basis, Schulter, Ellbogen, Handgelenk, Greifer und Finger. Diese Winkel werden in Vektorform als [θ_b, θ_s, θ_e, θ_w, θ_f] bezeichnet. Im gegebenen Vektor entspricht der Wert θ_pdem Motion-Mapping, um die Platte des menschlichen Objekts zu drehen. Derselbe θ_pwird auch verwendet, um den Deskriptor auszurichten, der im HoloLens-Emulator an der Seite des Chirurgen angezeigt wird.

Abbildung 3 zeigt die DITF-Merkmale des Phantommodells, das den wesentlichen Schritt für die 3D-Rekonstruktion darstellt. Anhand der extrahierten Merkmale werden die Entsprechungen im Bildabgleich identifiziert. Die Übereinstimmung zwischen den Referenzbildern und den verschiedenen Ergebnissen der 45°-Drehung ist in Abbildung 4 dargestellt. Die Entsprechung mit unterschiedlichen Farben zeigt deutlich, wie effektiv es ist, ähnliche Merkmale zu identifizieren und abzugleichen, selbst wenn sich die Bilder in unterschiedlichen Ansichtsausrichtungen befinden. In Abbildung 5 ist die Genauigkeit des Motion Mapping enthalten, was darauf hinweist, dass die Genauigkeit hoch ist, wenn der Abstand zwischen den beiden Fingern gering ist. Wenn jedoch der Abstand zwischen den Fingern zunimmt, beginnt die Genauigkeit abzunehmen.

Auf der anderen Seite ist die Zeit, die das Modell benötigt, um die Daten zu verarbeiten, in AR entscheidend. Daher wird dieser Parameter für die Validierung des vorgeschlagenen Modells einbezogen, die Zeitverzögerung für die Verarbeitung des Bildes wird gemessen und die Ergebnisse werden mit bestehenden Algorithmen wie Oriented FAST und Rotated BRIEF (ORB)²⁴ und Boosted Efficient Binary Local Image Descriptor (BEBLID)²⁵ verifiziert. Die Ergebnisse zeigen, dass die DITF die bestehenden Modelle wie ORB und BEBLID in Bezug auf die Latenz übertrifft, wie in Abbildung 6 dargestellt. Darüber hinaus wird das 3D-Rekonstruktionsmodell mit dem Rekonstruktionsfehler validiert, und die in Abbildung 7 gezeigte Abbildung zeigt, dass das Histogramm schmal ist, was bedeutet, dass der Rekonstruktionsfehler minimal ist. Es zeigt, dass die Rekonstruktion des vorgeschlagenen Algorithmus verifiziert und validiert ist. Abbildung 8 zeigt die Ausgabe der 3D-Rekonstruktion für das vorgeschlagene Modell. Es spiegelt die Klarheit in der Visualisierung wider, und die quantitativen Ergebnisse des Bildes werden auch anhand der Diagramme überprüft. Diese Ergebnisse beweisen, dass das vorgeschlagene Modell mit der Rotationstransformation alle notwendigen Merkmale extrahiert hat, um das 3D-Modell zu rekonstruieren. Daher kann der Remote-Experte das Operationsfeld präzise visualisieren und steuern.

Abbildung 1: Implementierung des Hardware-Setups für die automatisierte Chirurgie des Transkatheter-Aortenklappenersatzes mittels Augmented Reality. (A) Operationsfeld mit einem Live-Monitoring-System. (b) Augmented Reality-basierte Visualisierung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Erwartetes Modell der chirurgischen Umgebung. Das gezeigte Modell ist mit einer Live-Überwachung der chirurgischen Umgebung mittels räumlich verteilter Kamerasensoren ausgestattet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Modell eines menschlichen Herzens, das in einem chirurgischen Prüfstand platziert wurde, und seine extrahierten Merkmale unter Verwendung des Merkmalsdeskriptor-Algorithmus. (A) Eingabe des Herzphantommodells. (B) Richtungsverstärkte Merkmalsbeschreibung unter Verwendung der tertiären Filtermerkmalsextraktion des Herzphantommodells. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: Merkmalsabgleich zwischen zwei Bildmerkmalen. (A) Richtungsverstärkte Merkmalsbeschreibung unter Verwendung der tertiären Filtermerkmalsextraktion für das Herzphantommodell. (B) Richtungsverstärkte Merkmalsbeschreibung unter Verwendung der tertiären Filtermerkmalsextraktion eines um 45° gedrehten Herzphantommodells. Die Linien zeigen die Entsprechung zwischen den Merkmalen ähnlicher Bilder in zwei unterschiedlichen Ausrichtungen an. Die Linienfarbe zeigt die verschiedenen ausgewählten Features an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 5: Genauigkeit der Verfolgung von Handgesten. Die Abbildung zeigt die prozentuale Genauigkeit. Die Probennummer (N) wird auf 500 gewählt. Das Motion Mapping wird 500 Mal durchgeführt, wobei die Anzahl der richtigen Maps gefunden wird. Dann wird die Genauigkeit als Verhältnis zwischen der korrekten Kartierung und der Gesamtzahl der Stichproben berechnet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 6: Latenz der direktional intensivierten Merkmalsbeschreibung unter Verwendung der tertiären Filterung mit Oriented FAST und rotated BRIEF und Boosted Efficient Binary Local Image Descriptor Algorithmus. Die Latenz, d. h. die Zeit, die benötigt wird, um die Features aus einem Bild zu extrahieren, wird grafisch dargestellt. Wir haben N als 500 gewählt, was bedeutet, dass die Berechnung der Zeitverzögerung über 500 Mal durchgeführt und dann gemittelt wird. Das Verfahren wird für drei Algorithmen durchgeführt und grafisch dargestellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 7: Verteilung der Rekonstruktionsfehler des vorgeschlagenen Modells. Der Rekonstruktionsfehler ist der Fehler zwischen dem rekonstruierten 3D-Bild aus seinem Merkmal und dem Originalbild. Das Fehlerdiagramm ist ein Histogramm, das die Anzahl der Vorkommen eines bestimmten Ereignisses angibt. Die Anzahl ist maximal, wenn der Fehler Null ist, und er zerfällt auf beiden Seiten. Das ist das gewünschte Ergebnis. Die Abbildung zeigt, dass die Varianz des Histogramms (Normale Dichte) geringer ist, so dass der Fehler vom Mittelwert (0) nicht sehr stark in beide Richtungen gestreut ist. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 8: 3D-Rekonstruktion des Herzmodells. Jeder farbige Punkt zeigt den 3D-rekonstruierten Punkt aus dem entsprechenden Feature an. Ab sofort normalisiert der Merkmalsrekonstruktionsalgorithmus die Farbe, und damit werden andere Merkmale eingefärbt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Discussion

In einer bestehenden Arbeit¹⁵ werden Röntgen- und CT-Scans untersucht, um den Katheter im Herzen zu lokalisieren. Der AR-TAVR-Ersatz schafft jedoch eine neue Möglichkeit im chirurgischen Eingriff von TAVR¹⁸ durch die Implementierung eines automatisierten Modells unter Verwendung der 3D-Rekonstruktion. Wie im Protokoll-Abschnitt erwähnt, besteht diese Arbeit aus fünf Phasen, die es zu entwerfen gilt. Die erste Stufe von DITF²², die in Abschnitt 6 erwähnt wurde und die wir in unserer vorherigen Arbeit²² vorgeschlagen haben, wird so erweitert, dass das Modell in medizinische Anwendungen eingebettet wird. Die zweite Stufe der 3D-Rekonstruktion ist die anspruchsvolle Aufgabe, das 3D-Modell aus 2D-Punkten zu konstruieren. Wir haben das Modell mit verschiedenen Eingabebildern getestet, um das Modell zu validieren. SFM²³ wird verwendet, um die Bilder zu rekonstruieren. Die Korrespondenz des Bildes wird mit Hilfe von DITF²² zusammen mit einer Kalibriermatrix gemessen. Die nächste Stufe ist die Verfolgung von Handgesten; Das Interface der Handgestensteuerung in der 3D-Rekonstruktion ist eine weitere herausfordernde Aufgabe in Echtzeit. Die Skalierungssteuerung und die Rotationsvariation sind mit Handgesten eingebettet, um dem Remote-Experten einen einfachen Zugriff auf die 3D-Modelle zu ermöglichen. Die vierte Phase ist die Erstellung mobiler Apps, die in Abschnitt 3 für die automatische Bildaufnahme angegeben ist. Diese App lädt die Daten als 3D-Modell in den Remote-Experten. Die letzte Phase ist die Hardware-Einrichtung, die am Beispiel des Herzphantommodells mit einem Roboterarm demonstriert wird, der automatisiert den Katheter einführt, um die verletzte Herzklappe zu ersetzen, wie in Abbildung 1 gezeigt.

Das entwickelte Verfahren zielt darauf ab, die Fernoperation von der Szenenüberwachung der chirurgischen Umgebung aus mit Hilfe von Augmented Reality und Merkmalsextraktion durchzuführen. Die in diesem Artikel vorgeschlagenen wesentlichen Beiträge werden nach bestem Wissen und Gewissen in der Literatur nicht berücksichtigt. Die entwickelte Methode hat eine geringe Latenz, um das 3D-Bild aus den Merkmalen zu rekonstruieren. Außerdem weist die Methode einen sehr geringen Fehler zwischen den rekonstruierten Features und dem Originalbild auf. Diese Latenz und der Fehler sind in Abbildung 6 bzw. Abbildung 7 dargestellt. Die Zahlen zeigen auch, dass die anderen Algorithmen, nämlich ORB²⁴ und BEBLID²⁵ , minderwertig sind als die vorgeschlagene Methode.

Die Herausforderung, mit der wir bei der Entwicklung des Verfahrens konfrontiert waren, ist die auf dem Bluetooth-Protokoll basierende Übertragung zwischen der mobilen App und dem Remote-Server. Da die Szenenerfassung und -übertragung alle 2 Sekunden abgeschlossen werden muss, war eine Ultrahochgeschwindigkeitskommunikation erforderlich. Es endete oft in einem defekten Sockel und erforderte eine Menge Ausnahmebehandlung und paralleles Routinemanagement für eine reibungslose Verarbeitung. Darüber hinaus hatten wir bei der Entwicklung und Implementierung der Methode einige Probleme.

Es gibt jedoch einige Techniken zur Fehlerbehebung, um sie zu lösen. Bei der Bluetooth-Kommunikation müssen Sie den richtigen Kanal oder die richtige VVID-Portnummer auswählen. Außerdem muss sichergestellt werden, dass das Bluetooth-Gerät an beiden Enden umgeschaltet wird, bevor Sie fortfahren. Hinsichtlich der mikroprozessorbasierten Routine zur Ansteuerung des Roboterarms und des hängenden Rotationsarms sind die Portnummern für die serielle Kommunikation sicherzustellen. Der Anschluss des Motortreibers unter Berücksichtigung des NEMA- und Servomotors ist ordnungsgemäß sicherzustellen. Wenn es nicht richtig gemacht wird, dreht sich der NEMA-Motor auf unerwünschte Weise, auch wenn nur die Verbindung zum Fahrer falsch gemacht wird. Die Leitungen von zwei Spulen des NEMA-Motors müssen korrekt identifiziert werden. Andernfalls kann es passieren, dass sich die Verbindung mit dem Treiber unerwünscht dreht oder sogar der Motor beschädigt wird. Die Konstruktion einer Kupplung zur Unterstützung des Aufhängens eines rotierenden Arms, der etwa 1 kg wiegt, war eine Herausforderung. Um das Problem zu lösen, haben wir ein Loch mit einem Durchmesser von 1 mm in die Welle des Motors gebohrt. Das Ausbalancieren beider Seiten des Arms, einschließlich des Gewichts eines mobilen Geräts, ist ebenfalls eine Herausforderung. Andernfalls kann die Struktur an der Bodenoberfläche schleifen, was dazu führt, dass die Struktur von der Motorwelle abgerissen oder heruntergezogen wird. Das ordnungsgemäße Einschrauben der Basis, der Schulter, des Ellbogens, des Handgelenks und der Finger des Roboterarms muss sichergestellt werden. Ist dies nicht der Fall, können die Teile herunterfallen, wenn er sich dreht und das Gewicht anhebt. Der parallele Betrieb von zwei Modulen sollte durch das Einrichten einer geeigneten Python-Umgebung sichergestellt werden, in der verschiedene Threads parallel laufen, um ein reibungsloses Arbeiten zu gewährleisten.

Die Ergebnisse kommen zu dem Schluss, dass das vorgeschlagene Modell Automatic TAVR¹⁸ eine effektive Methode für die chirurgische Führung bei AR ist. Dieses vorgeschlagene Modell ist flexibel, um diesen Prototyp auf jede Operation im medizinischen Bereich gemäß der medizinischen Expertenanleitung anzuwenden. Lernbasierte Modelle können die 3D-Rekonstruktion verbessern. Um das 3D-Modell zu rekonstruieren, müssen mehrere Ansichten mit guten Lichtbildern als Eingabe angegeben werden. Dies kann jedoch in Zukunft behoben werden. Darüber hinaus möchten wir in Zukunft eine auf 5G-Kommunikation basierende Übertragung entwickeln, um eine geringe Latenz und eine äußerst zuverlässige Kommunikation für einen fehlerfreien und reibungslosen Betrieb zu gewährleisten. Außerdem möchten wir ein eigenes AR-Gerät entwickeln, anstatt eines derzeit verwendeten Emulators. Dies kann die Visualisierung des 3D-Modells in einer chirurgischen Live-Umgebung verbessern.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Android IDE-Software		https://developer.android.com/studio	Software kann unter diesem Link heruntergeladen werden
Arduino Board	Ardunio Uno	Ardunio Uno	Mikrocontroller für die Verarbeitung
von Arduino-Software-Software		https://www.arduino.cc/en/software.	Die Software kann unter diesem Link heruntergeladen werden.
Menschliches Herz Phantommodell	Hersteller und Exporteur von Biologie Laborgeräten	B071YBLX2V(8B-ZB2Q-H3MS-1)	leichtes Modell mit 3 Teilen zur tiefen Analyse des Herzens.
Mobiler Halter	Humble Universal Monopoad Halter	B07S9KNGVS	Um das Handy im chirurgischen Bereich zu tragen
, kann die Pycharm IDE-Software		https://www.jetbrains.com/pycharm/	Software kann von diesem Link heruntergeladen werden
Roboterarm	Printed-Bots	B08R2JLKYM(P0-E2UT-JSOU)	Arm kann durch Steuerung gesteuert werden signal.it hat 5 Freiheitsgrade für den Zugang.
Servomotor	Kollmorgen Co-Engineers Motors	MG-966R	Hochleistungs-Servomotor, Servoimpulse von 500 bis 2500 Mikrosekunden (µ s) mit einer Frequenz von 50 Hz bis 333 Hz.
Servomotor	Kollmorgen Co-Ingenieure  Motoren	SG-90R	einer Last von 1,8 kg-cm bis 2,5 kg-cm können auf das Servo SG-90R aufgebracht werden.
Schrittmotor	28BYJ-48	28BYJ-48	Schrittmotor, 5V DC, Frequenz 100 Hz, Drehmoment 1200 Gf.cm
Schrittmotor	Nema 23	Nema	Schrittmotor, 9V - 42 V DC, Frequenz 100 Hz