Name: Technischer Ansatz für Infrarot-Tracking für die Weichgewebsnavigation mit einem holographischen Head-Mounted-Display und präklinischer Validierung (Video) | JoVE Journal
Uploaded: 2025-09-02T14:15:00.000+00:00
Duration: 10 min 25 s
Description: Erfahren Sie, wie Infrarot-Tracking mit holographischem Head-Mounted-Display für die Weichgewebsnavigation entwickelt und präklinisch validiert wird. Diese Methode ermöglicht präzise Hologramm-Ausrichtung bei beweglichen Organen.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<ol><li>Bortot, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image-guided+cancer+surgery%3A+a+narrative+review+on+imaging+modalities+and+emerging+nanotechnology+strategies%5BTitle%5D)+AND+%22J+Nanobiotechnol%22%5BJournal%5D)">Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies.</a> J Nanobiotechnol. 21 (1), 155(2023).</li>
<li>Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Circumferential+resection+margin+as+a+prognostic+factor+after+rectal+cancer+surgery%3A+A+large+population-based+retrospective+study%5BTitle%5D)+AND+%22Cancer+Med%22%5BJournal%5D)">Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study.</a> Cancer Med. 7 (8), 3673-3681 (2018).</li>
<li>Cost, N. G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Pathological+review+of+Wilms+tumor+nephrectomy+specimens+and+potential+implications+for+nephron+sparing+surgery+in+Wilms+tumor%5BTitle%5D)+AND+%22J+Urol%22%5BJournal%5D)">Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor.</a> J Urol. 188 (4 Suppl), 1506-1510 (2012).</li>
<li>Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+rationale+for+nephron-sparing+surgery+in+unilateral+non-syndromic+Wilms+tumour%5BTitle%5D)+AND+%22Pediatr+Nephrol%22%5BJournal%5D)">The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour.</a> Pediatr Nephrol. 39 (4), 1023-1032 (2024).</li>
<li>Mezger, U., Jendrewski, C., Bartels, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Navigation+in+surgery%5BTitle%5D)+AND+%22Langenbecks+Arch+Surg%22%5BJournal%5D)">Navigation in surgery.</a> Langenbecks Arch Surg. 398 (4), 501-514 (2013).</li>
<li>Herrlich, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Instrument-mounted+displays+for+reducing+cognitive+load+during+surgical+navigation%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Instrument-mounted displays for reducing cognitive load during surgical navigation.</a> Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).</li>
<li>Portnoy, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+technologies+in+presurgical+planning+of+bone+surgeries%3A+current+evidence+and+future+perspectives%5BTitle%5D)+AND+%22Int+J+Surg%22%5BJournal%5D)">Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives.</a> Int J Surg. 109 (1), 3-10 (2023).</li>
<li>Meulstee, J. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+Holographic-Guided+Surgery%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">Toward Holographic-Guided Surgery.</a> Surg Innov. 26 (1), 86-94 (2019).</li>
<li>Glas, H. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality+Visualization+for+Image-Guided+Surgery%3A+A+Validation+Study+Using+a+Three-Dimensional+Printed+Phantom%5BTitle%5D)+AND+%22J+Oral+Maxillofacial+Surg%22%5BJournal%5D)">Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom.</a> J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).</li>
<li>Fitski, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((MRI-Based+3-Dimensional+Visualization+Workflow+for+the+Preoperative+Planning+of+Nephron-Sparing+Surgery+in+Wilms%27+Tumor+Surgery%3A+A+Pilot+Study%5BTitle%5D)+AND+%22J+Healthcare+Eng%22%5BJournal%5D)">MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study.</a> J Healthcare Eng. 2020 (1), 8899049(2020).</li>
<li>van der Zee, J. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+Resection%3A+A+New+Tool+for+Preparing+for+Nephron-Sparing+Surgery+in+Wilms+Tumor+Patients%5BTitle%5D)+AND+%22Curr+Oncol%22%5BJournal%5D)">Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients.</a> Curr Oncol. 29 (2), 777-784 (2022).</li>
<li>Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+open+surgery%5BTitle%5D)+AND+%22Updates+Surg%22%5BJournal%5D)">Augmented reality in open surgery.</a> Updates Surg. 70 (3), 389-400 (2018).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthc Technol Lett. 5 (5), 162-166 (2018).</li>
<li>van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Clinical+Accuracy+of+Holographic+Navigation+Using+Point-Based+Registration+on+Augmented-Reality+Glasses%5BTitle%5D)+AND+%22Oper+Neurosurg+%28Hagerstown%29%22%5BJournal%5D)">Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses.</a> Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).</li>
<li>Zhao, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+technology+in+image-guided+therapy%3A+State-of-the-art+review%5BTitle%5D)+AND+%22Proc+Inst+Mech+Eng+H%22%5BJournal%5D)">Augmented reality technology in image-guided therapy: State-of-the-art review.</a> Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).</li>
<li>Doughty, M., Ghugre, N. R., Wright, G. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmenting+Performance%3A+A+Systematic+Review+of+Optical+See-Through+Head-Mounted+Displays+in+Surgery%5BTitle%5D)+AND+%22J+Imaging%22%5BJournal%5D)">Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery.</a> J Imaging. 8 (7), 203(2022).</li>
<li>Vávra, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+Development+of+Augmented+Reality+in+Surgery%3A+A+Review%5BTitle%5D)+AND+%22J+Healthcare+Eng%22%5BJournal%5D)">Recent Development of Augmented Reality in Surgery: A Review.</a> J Healthcare Eng. 2017, 4574172(2017).</li>
<li>Iqbal, H., Baena, F. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semi-Automatic+Infrared+Calibration+for+Augmented+Reality+Systems+in+Surgery%5BTitle%5D)+AND+%222022+IEEE%2FRSJ+Int+Conf+Intelligent+Robots+Syst+%28IROS%29%22%5BJournal%5D)">Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery.</a> 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).</li>
<li>Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multi-Scale+Supervised+3D+U-Net+for+Kidneys+and+Kidney+Tumor+Segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation.</a> arXiv. , (2020).</li>
<li>Elloumi, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+Images+Segmentation+Using+a+Deep+Learning-Based+Approach+for+Preoperative+Projection+of+Human+Organ+Model+Using+Augmented+Reality+Technology%5BTitle%5D)+AND+%22Int+J+Comp+Intel+Appl%22%5BJournal%5D)">CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology.</a> Int J Comp Intel Appl. 22 (02), 2350006(2023).</li>
<li>von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UltrARsound%3A+in+situ+visualization+of+live+ultrasound+images+using+HoloLens+2%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">UltrARsound: in situ visualization of live ultrasound images using HoloLens 2.</a> Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).</li>
<li>Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).</li>
</ol>

<table><tbody><tr><td>3D-Datenschnitt (v5.6.2)</td><td>Schneidemaschine</td><td>N/A</td><td>Software zur Segmentierung medizinischer Bilder und notwendig für die Validierung des elektromagnetischen Trackings</td></tr><tr><td>6,4 mm (1/4") M3 Marker Infrarec Marker</td><td>OptiTrack</td><td>N/A</td><td>Infrarot-reflektierende Kugeln, die zur Verfolgung am Marker befestigt werden sollten&nbsp;</td></tr><tr><td>Autodesk Fusion 360 (v2.0.21508)</td><td>Autodesk</td><td>N/A</td><td>CAD-Software für die Konstruktion von Infrarot-Markierern und Phantomen</td></tr><tr><td>Bambu Studio (v01.09.07.52)</td><td>Bambu Labor</td><td>N/A</td><td>3D-Druck-Slicing-Software für Bambu 3D-Drucker</td></tr><tr><td>Bambu X1 Karbon</td><td>Bambu Labor</td><td>N/A</td><td>3D-Drucker für Infrarot-Marker und Phantommodelle</td></tr><tr><td>HoloLens 2</td><td>Microsoft</td><td>N/A</td><td>Augmented Reality Head-Mounted Display für AR-Visualisierung</td></tr><tr><td>IRTrackingOrgans_HoloLens&nbsp;</td><td>Quelloffen</td><td>N/A</td><td>Unity-basierte Anwendung zur Unterstützung der Verfolgung von IR-Markern</td></tr><tr><td>MeshMixer (v3.5.0)</td><td>Autodesk</td><td>N/A</td><td>Wird für die Netzbearbeitung und die Polygonreduzierung verwendet</td></tr><tr><td>NDI Aurora</td><td>Northern Digital Inc.</td><td>N/A</td><td>Elektromagnetisches Tracking-System zur Validierung</td></tr><tr><td>NDI Aurora 6DOF-Kabelwerkzeug</td><td>Northern Digital Inc.</td><td>N/A</td><td>Sensor zur Registrierung der Bewegung von Phantomorganen</td></tr><tr><td>NDI Aurora 6DOF-Sonde</td><td>Northern Digital Inc.</td><td>N/A</td><td>Wird verwendet, um Orientierungspunkte auf dem Phantom zu identifizieren</td></tr><tr><td>Polymilchsäure-Filament</td><td>Beliebiger Hersteller</td><td>N/A</td><td>Filament zum Drucken von starren Teilen wie Infrarot-Markern</td></tr><tr><td>Thermoplastisches Polyurethan-Filament</td><td>Beliebiger Hersteller</td><td>N/A</td><td>Halbflexibles Filament zum Drucken von verformbaren Nierenphantomen</td></tr><tr><td>Unity Hub (v3.11.1) und Unity (v2019.4.22f1)</td><td>Unity Technologien</td><td>N/A</td><td>Spieleentwicklungssoftware für die Entwicklung und Bereitstellung von AR-Anwendungen</td></tr><tr><td>Visual Studio 2019</td><td>Microsoft</td><td>N/A</td><td>Erforderliche IDE für die Integration und Bereitstellung von Unity</td></tr></tbody></table>

technischer ansatz für infrarot-tracking für die weichgewebsnavigation mit einem holographischen head-mounted-display und präklinischer validierung

Technical Approach for Infrared Tracking for Soft Tissue Navigation with a Holographic Head-Mounted Display and Preclinical Validation

Ein Nierenphantom wurde verwendet, um die Leistungsfähigkeit des Infrarot-Tracking-Systems für die Organverfolgung zu demonstrieren und den holographischen Validierungsaufbau in bewegten Organen zu validieren. Der vollständige Workflow ist in Abbildung 1 dargestellt.
Zunächst wurde die Niere auf der Grundlage von MRT-Daten mit dem Schwellenwert-Tool in 3DSlicer halbautomatisch segmentiert. Das resultierende 3D-Modell wurde exportiert und in eine 3D-CAD-Software importiert, um die Anzahl der Polygone zu reduzieren. Ein zweites Modell wurde gespeichert, und fünf Zielpunkte wurden mit dem Kugelwerkzeug in dieses Modell integriert (Abbildung 2). Dieses Modell wurde für die technische Validierung des holografischen Displays verwendet. Die erste Version des Modells ohne Zielpunkte wurde in Autodesk Fusion importiert. In dieses Modell wurden fünf Drehpunkte integriert, und der Zylinder wurde integriert, um den EM-Sensor zu erleichtern. Mittels 3D-Slicing-Software wurde das 3D-Modell für den 3D-Druck vorbereitet. TPU mit einer Druckdichte von 8% wurde verwendet, um eine minimal flexible Nierenoberfläche zu erzeugen.
Es wurde ein standardisierter Infrarot-Marker entworfen, 3D-gedruckt und mit infrarotreflektierenden Kugeln (6,4 mm Durchmesser) bestückt. Von diesem Infrarotmarker aus wurden die Koordinaten des Infrarotmarkers in Korrelation zum Mittelpunkt gemessen. In der Softwareanwendung für die Spieleentwicklung wurde die JSON-Datei mit den Koordinaten des Infrarot-Markers importiert. Zweitens wurde das 3D-Modell der Niere importiert, mit Zielpunkten zu Validierungszwecken. Zu Visualisierungszwecken wurde außerdem das Infrarot-Marker-Modell importiert und in die Position der Punkte übersetzt, die in der JSON-Datei implementiert sind. Das 3D-Modell wurde in die Mitte des Infrarot-Markers transformiert (Abbildung 3), und es wurden zusätzliche Shader angewendet. Nach der Integration der Patientenmenüszene wurde die Anwendung auf dem HMD bereitgestellt.
Basierend auf der Platzierung der IR-Marker wird das holographische 3D-Modell mit dem HMD an der Niere in einem pädiatrischen abdominalen Phantom visualisiert (Abbildung 4). Er hatte eine Nachführrate von 11,6 Hz. Bei Entfernungen von mehr als 60 cm verliert das HMD jedoch die Fähigkeit, die Infrarotmarkierungen zu verfolgen. Zweitens führt die kontinuierliche Verfolgung und das Rauschen bei der Infrarotmarkierungsverfolgung dazu, dass die holografische Überlagerung flackert, was zu einer ungenauen Visualisierung führt.
Zu Validierungszwecken wurde das EM-Tracking-System über den Plus Server mit dem 3D Slicer verbunden. Zur Verfolgung wurde ein EM-Sensor auf der Phantomniere platziert (Abbildung 2). Nach der punktbasierten Registrierung wurde das 3D-Modell mit einer Mediangenauigkeit von 0,59 mm registriert, was sich als genaue Methode zur Validierung der holographischen Genauigkeit erwies (Abbildung 5). Der mediane Punktlokalisationsfehler betrug 8,74 mm (Interquartilsabstand: 6,38 - 10,85), basierend auf den Eingaben von drei Chirurgen (Tabelle 1).
Die Implementierung dieses AR-Tracking- und Visualisierungssystems umfasst ein Protokoll, das sich über ca. 45-60 Minuten erstreckt. Ein erfahrener Facharzt mit 2 Jahren Erfahrung führte das gesamte Protokoll einmal aus, um die Dauer der einzelnen Schritte des Protokolls zu bestimmen. Bemerkenswert ist, dass bestimmte Schritte nur einmal ausgeführt werden müssen. Zu den wesentlichen Schritten für jeden Patienten gehören die Segmentierung, die Modellintegration in die Spieleentwicklungssoftware und die Szenenkonfiguration. Die Segmentierung anatomischer Strukturen in patientenspezifischen Fällen erfordert aufgrund der multiplen anatomischen Strukturen relativ viel Zeit, aber die Segmentierung des Nierenparenchyms und des Tumors kann innerhalb von 30 Minuten abgeschlossen werden. Die Integration der segmentierten 3D-Modelle in die Anwendung und deren Ausrichtung auf den Infrarot-Marker erfordert ca. 5 Minuten manuelle Anpassungen. Das Verbinden der richtigen Szene dauert nicht länger als 5 Minuten. Die Buildzeit für das Spielentwicklungsprojekt variiert je nach Hardwarespezifikationen, dauert jedoch in der Regel etwa 3 Minuten, gefolgt von etwa 10 Minuten für die Bereitstellung auf der HoloLens 2. Insgesamt demonstriert dieses Protokoll, abgesehen vom Validierungsaufbau, eine Methode zur Verlagerung der Organverfolgung in präklinischen Umgebungen.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/68607/68607fig1.jpg"> 
Abbildung 1: Schematische Übersicht des Workflows. Der Workflow zeigt Schritte, die pro Patient in einer Phantomeinstellung erforderlich sind, einschließlich der präoperativen Phase, der holografischen und der intraoperativen Phase. Die präoperative Phase besteht aus der Segmentierung (siehe Schritt 3) der präoperativen medizinischen Bildgebung. Die Vorbereitung der holographischen Anwendung besteht darin, die Platzierung des Infrarot-Markers auf dem 3D-Modell virtuell zu planen (siehe Schritt 4). In der intraoperativen Phase können die Chirurgen den richtigen Patienten auswählen und den Infrarotmarker für die holografische Visualisierung und das kontinuierliche Tracking fixieren. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig1large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/68607/68607fig2.jpg"> 
Abbildung 2: Überblick über die Nierenphantome, die in der Validierungsmethodik verwendet werden. Links: ein 3D-Hologramm der Niere mit den Zielpunkten und der virtuellen Platzierung des Infrarotmarkers. Mitte: 3D-Phantom mit integriertem EM-Sensor und Drehpunkten zur Registrierung. Rechts: 3D-gedrucktes Phantom mit dem Infrarot-Marker und dem Zylinder für den EM-Sensor, der für das Validierungsverfahren verwendet wird. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig2large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/68607/68607fig3.jpg"> 
Abbildung 3: Vorbereitung der holografischen Anwendung in der Spieleentwicklungssoftware. Das Nierenmodell wird in einen Infrarot-Marker umgewandelt. Zweitens werden Shader auf die Niere und auf die Zielpunkte aufgebracht. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig3large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/68607/68607fig4.jpg"> 
Abbildung 4: Holographische Visualisierung des Phantomexperiments. Links: Platzierung des Infrarotmarkers auf der Niere. Rechts: Holografische Visualisierung von Zielpunkten in der richtigen Reihenfolge (1 bis 5). Die Verschiebung der holografischen Visualisierung wird durch den Jitter in der Infrarot-Markerverfolgung verursacht. <a href="https://www.jove.com/files/ftp_upload/68607/68607fig4large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/68607/68607fig5.jpg"> 
Abbildung 5: Aufbau des EM-Tracking-Validierungsprotokolls für die holographische Visualisierung von bewegten Organen. Grün, Rot und Blau visualisieren die Transformation der notwendigen EM-Tools für die Validierung. Gelb und Grün visualisieren die Transformation bezüglich des Head-Mounted Displays (HMD). <a href="https://www.jove.com/files/ftp_upload/68607/68607fig5large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Teilnehmer</td>
			<td>Messung</td>
			<td>GT-X (mm)</td>
			<td>GT-Y (mm)</td>
			<td>GT-Z (mm)</td>
			<td>Punkt-X (mm)</td>
			<td>Punkt-Y (mm)</td>
			<td>Punkt-Z (mm)</td>
			<td>PLE (mm)</td>
		</tr>
		<tr>
			<td>Chirurg 1</td>
			<td>1</td>
			<td>-67.02</td>
			<td>7.88</td>
			<td>297.50</td>
			<td>-76.72</td>
			<td>8.97</td>
			<td>295.49</td>
			<td>9.97</td>
		</tr>
		<tr>
			<td></td>
			<td>2</td>
			<td>-46.77</td>
			<td>4.78</td>
			<td>249.67</td>
			<td>-55.71</td>
			<td>-0.26</td>
			<td>243.61</td>
			<td>11.91</td>
		</tr>
		<tr>
			<td></td>
			<td>3</td>
			<td>-3.21</td>
			<td>-12.36</td>
			<td>244.46</td>
			<td>-9.99</td>
			<td>-3.03</td>
			<td>244.83</td>
			<td>11.54</td>
		</tr>
		<tr>
			<td></td>
			<td>4</td>
			<td>-15.06</td>
			<td>1.16</td>
			<td>273.72</td>
			<td>-20.00</td>
			<td>2.71</td>
			<td>272.70</td>
			<td>5.27</td>
		</tr>
		<tr>
			<td></td>
			<td>5</td>
			<td>-39.00</td>
			<td>5.40</td>
			<td>281.25</td>
			<td>-46.82</td>
			<td>6.91</td>
			<td>277.75</td>
			<td>8.70</td>
		</tr>
		<tr>
			<td>Chirurg 2</td>
			<td>1</td>
			<td>-67.02</td>
			<td>7.88</td>
			<td>297.50</td>
			<td>-63.60</td>
			<td>8.02</td>
			<td>292.12</td>
			<td>6.38</td>
		</tr>
		<tr>
			<td></td>
			<td>2</td>
			<td>-46.77</td>
			<td>4.78</td>
			<td>249.67</td>
			<td>-45.94</td>
			<td>2.73</td>
			<td>246.98</td>
			<td>3.48</td>
		</tr>
		<tr>
			<td></td>
			<td>3</td>
			<td>-3.21</td>
			<td>-12.36</td>
			<td>244.46</td>
			<td>-5.43</td>
			<td>-10.70</td>
			<td>244.27</td>
			<td>2.78</td>
		</tr>
		<tr>
			<td></td>
			<td>4</td>
			<td>-15.06</td>
			<td>1.16</td>
			<td>273.72</td>
			<td>-11.87</td>
			<td>0.80</td>
			<td>267.51</td>
			<td>7.00</td>
		</tr>
		<tr>
			<td></td>
			<td>5</td>
			<td>-39.00</td>
			<td>5.40</td>
			<td>281.25</td>
			<td>-35.54</td>
			<td>5.82</td>
			<td>273.28</td>
			<td>8.70</td>
		</tr>
		<tr>
			<td>Chirurg 3</td>
			<td>1</td>
			<td>-67.02</td>
			<td>7.88</td>
			<td>297.50</td>
			<td>-62.97</td>
			<td>7.87</td>
			<td>287.43</td>
			<td>10.85</td>
		</tr>
		<tr>
			<td></td>
			<td>2</td>
			<td>-46.77</td>
			<td>4.78</td>
			<td>249.67</td>
			<td>-44.59</td>
			<td>-0.42</td>
			<td>242.70</td>
			<td>8.96</td>
		</tr>
		<tr>
			<td></td>
			<td>3</td>
			<td>-3.21</td>
			<td>-12.36</td>
			<td>244.46</td>
			<td>2.23</td>
			<td>-20.32</td>
			<td>253.48</td>
			<td>13.20</td>
		</tr>
		<tr>
			<td></td>
			<td>4</td>
			<td>-15.06</td>
			<td>1.16</td>
			<td>273.72</td>
			<td>-10.73</td>
			<td>1.33</td>
			<td>266.14</td>
			<td>8.74</td>
		</tr>
		<tr>
			<td></td>
			<td>5</td>
			<td>-39.00</td>
			<td>5.40</td>
			<td>281.25</td>
			<td>-34.95</td>
			<td>5.93</td>
			<td>271.74</td>
			<td>10.35</td>
		</tr>
	</tbody>
</table>
Tabelle 1: Für jede Messung werden die Ground-Truth-Koordinaten (GT) der Ziel-Landmarken, die entsprechenden Punktpositionskoordinaten und die für alle Chirurgen gemessene PLE bereitgestellt.

Technischer Ansatz für Infrarot-Tracking für die Weichgewebsnavigation mit einem holographischen Head-Mounted-Display und präklinischer Validierung

Augmented Reality (AR) has the potential to enhance surgical guidance by superimposing three-dimensional (3D) anatomical information directly onto the ...

technical-approach-for-infrared-tracking-for-soft-tissue-navigation

Research

Forschung

JoVE Journal

Medicine

Medizin

Dieses Video demonstriert die Verwendung von Augmented Reality (AR) für die Tumorresektion, bei der eine 3D-gescannte Tumorprobe als Hologramm auf einem Head-Mounted-Display visualisiert wird. Chirurgen können das Hologramm manipulieren und fixieren, um eine präzise Tumorentfernung zu gewährleisten.

Augmented Reality-basierte Visualisierung einer resezierten Tumorprobe

Quelle: Kato, D. et. al., Bewertung und Manipulation der neuronalen Aktivität mit Hilfe der holographischen Zwei-Photonen-Mikroskopie. J. Vis. Exp. (2022)Dieses Video zeigt die Zwei-Photonen-Bildgebungstechnik in Kombination mit der Optogenetik mittels holographischer Mikroskopie. Unter Verwendung eines räumlichen Lichtmodulators ermöglicht diese Technik eine präzise neuronale Stimulation, die die rotlichtempfindliche Protein- und Kalziumbildgebung mit minimalem Lichtschaden exprimiert. Dieser...

Holographische Zwei-Photonen-Mikroskopie zur Untersuchung der neuronalen Aktivität und Konnektivität in einem Mausmodell

Nahinfrarot-Fluoreszenzbildgebung (NIRF) kann das therapeutische Ergebnis von Brustkrebsoperationen verbessern, indem sie die intraoperative Tumorlokalisierung und die Bewertung des chirurgischen Randstatus ermöglicht. Unter Verwendung von gewebesimulierenden Brustphantomen, die fluoreszierende tumorsimulierende Einschlüsse enthalten, können potenzielle klinische Anwendungen der NIRF-Bildgebung bei Brustkrebspatientinnen zu Standardisierungs- und Schulungszwecken bewertet werden.

Gewebe-Simulation Phantoms zur Bestimmung der potentiellen Near-Infrarot-Fluoreszenz-Imaging-Anwendungen in Brustkrebschirurgie

Wir bieten hierin eine detaillierte Beschreibung des experimentellen Protokolls für die Bildgebung mit einem neu entwickelten tragbaren optoakustischen (photoakustischen) System für dreidimensionale funktionelle und molekulare Bildgebung in Echtzeit. Die demonstrierte Leistungsfähigkeit und Vielseitigkeit kann neue Anwendungsbereiche der optoakustischen Technologie in der präklinischen Forschung und klinischen Praxis definieren.

Universal-Hand Dreidimensionale Optoakustische Bildgebung Sonde für Deep Tissue Menschen Angiographie und Funktions präklinischen Studien in Echtzeit

Präzise und effiziente Visualisierung von invasiven Medizinprodukten ist extrem wichtig in vielen Ultraschall-geführte minimal-invasive Verfahren. Hier ist eine Methode zur Lokalisierung der räumlichen Lage der Nadelspitze im Vergleich zu bildgebenden Ultraschallsonde präsentiert.

Dreidimensionale Ultraschall Nadel Tipp Tracking mit einem Glasfaser-Ultraschall-Empfänger

Wir haben ein holographisches Zwei-Photonen-Mikroskop entwickelt, das neuronale Aktivität mit hoher räumlich-zeitlicher Auflösung visualisieren, beurteilen und manipulieren kann, mit dem Ziel, die Pathogenese neuropsychiatrischer Erkrankungen aufzuklären, die mit abnormaler neuronaler Aktivität assoziiert sind.

Auswertung und Manipulation neuronaler Aktivität mittels holographischer Zwei-Photonen-Mikroskopie

Das Augmented-Reality-Head-Mounted-Display Magic Leap wurde in Kombination mit einem herkömmlichen Navigationssystem verwendet, um Pedikelschrauben in einem Schweinemodell zu platzieren, indem ein neuartiger Workflow eingehalten wurde. Mit einer mittleren Einfügezeit von &lt;2,5 min wurden nach Gertzbein eine technische Genauigkeit im Submillimeterbereich und eine klinische Genauigkeit von 100 % erreicht.

Platzierung von Pedikelschrauben mit einem Augmented-Reality-Head-Mounted-Display in einem Schweinemodell

Die transkranielle Ultraschallstimulation (TUS) ist eine aufstrebende nicht-invasive Neuromodulationstechnik, die eine sorgfältige Planung von akustischen und thermischen Simulationen erfordert. Die Methodik beschreibt eine Bildverarbeitungs- und Ultraschallsimulationspipeline für eine effiziente, benutzerfreundliche und optimierte Planung von TUS-Experimenten am Menschen.

Pipeline für die Planung und Durchführung von transkraniellen Ultraschall-Neuromodulationsexperimenten am Menschen

Dieses Protokoll beschreibt die Methode der neuronavigierten Elektrodenplatzierung für die fokale, transkranielle Gleichstromstimulation (tDCS), die während der funktionellen Magnetresonanztomographie (fMRT) verabreicht wird.

Neuronavigierte fokalisierte transkranielle Gleichstromstimulation während der funktionellen Magnetresonanztomographie

Hier beschreiben wir ein standardisiertes Protokoll für die motorische Kartierung mit nTMS in Kombination mit der Diffusions-Tensorbildgebung (DTI)-basierter Rekonstruktion des kortikospinalen Trakts (CST). Das Protokoll ist reproduzierbar, klinisch machbar und leicht in routinemäßige klinische Arbeitsabläufe integriert und bietet einen robusten und wertvollen Rahmen für die Bewertung der motorischen Bahnen, die Forschung zur Neuroplastizität und die Rehabilitationsplanung.

Ein standardisiertes Protokoll für funktionelle motorische Kartierung unter Verwendung navigierter transkranialer magnetischer Stimulation

Erfahren Sie, wie Infrarot-Tracking mit holographischem Head-Mounted-Display für die Weichgewebsnavigation entwickelt und präklinisch validiert wird. Diese Methode ermöglicht präzise Hologramm-Ausrichtung bei beweglichen Organen.

Technischer Ansatz für Infrarot-Tracking für die Weichgewebsnavigation mit einem holographischen Head-Mounted-Display und präklinischer Validierung (Video) | JoVE Journal

Technischer Ansatz für Infrarot-Tracking für die Weichgewebsnavigation mit einem holographischen Head-Mounted-Display und präklinischer Validierung

Weitere Videos entdecken