Name: Połączenie rzeczywistości rozszerzonej i druku 3D w celu wyświetlania modeli pacjentów na smartfonie (Wideo) | JoVE Journal
Uploaded: 2020-01-02T13:00:00.000+00:00
Duration: 9 min 26 s
Description: Poznaj metodę tworzenia aplikacji rzeczywistości rozszerzonej na smartfon do wizualizacji anatomicznych modeli 3D z wykorzystaniem drukowanych znaczników referencyjnych. Protokół jest dostępny dla użytkowników bez doświadczenia w obrazowaniu medycznym.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Ten raport był wspierany przez projekty PI18/01625 i PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III i Europejski Fundusz Rozwoju Regionalnego "Una manera de hacer Europa") oraz IND2018/TIC-9753 (Comunidad de Madrid).

<ol><li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Haptics%22%5BJournal%5D)">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li>
<li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery%5BTitle%5D)+AND+%22Journal+of+Clinical+Neuroscience%22%5BJournal%5D)">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li>
<li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+for+Planning+Tumour+Resection%3A+Augmented+Reality+and+Human+Factors%5BTitle%5D)+AND+%22IEEE+Transactions+on+Biomedical+Engineering%22%5BJournal%5D)">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li>
<li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training%2C+Communication%2C+and+Clinical+Care%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210(2019).</li>
<li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Through+the+HoloLensTM+looking+glass%3A+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels%5BTitle%5D)+AND+%22European+Radiology+Experimental%22%5BJournal%5D)">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2(2018).</li>
<li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery%5BTitle%5D)+AND+%22The+Laryngoscope%22%5BJournal%5D)">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li>
<li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality%3A+Preliminary+Results+on+Clinical+Animal+Experiment%5BTitle%5D)+AND+%22Aesthetic+Plastic+Surgery%22%5BJournal%5D)">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li>
<li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion%5BTitle%5D)+AND+%22IEEE+Transactions+on+Visualization+and+Computer+Graphics%22%5BJournal%5D)">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1(2019).</li>
<li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC%5BTitle%5D)+AND+%22Stereotactic+and+Functional+Neurosurgery%22%5BJournal%5D)">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li>
<li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Biomedical+Informatics%22%5BJournal%5D)">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li>
<li>Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy%3A+Do+it+yourself%5BTitle%5D)+AND+%22The+Knee%22%5BJournal%5D)">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li>
<li>Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+%28HTO%29+-+do+it+yourself%5BTitle%5D)+AND+%22Revue+de+Chirurgie+Orthop%C3%A9dique+et+Traumatologique%22%5BJournal%5D)">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131(2016).</li>
<li>De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model%3A+a+case+report%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li>
<li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+%22one-stop+3D+printing+lab%22+for+oral+and+maxillofacial+surgery+and+dentistry+fields%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li>
<li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+3D+models+in+orthopedic+oncology%3A+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li>
<li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models%3A+impact+on+patient+education%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li>
<li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality%2C+Surgical+Navigation%2C+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex%5BTitle%5D)+AND+%22OTO+Open%3A+The+Official+Open+Access+Journal+of+the+American+Academy+of+Otolaryngology-Head+and+Neck+Surgery+Foundation%22%5BJournal%5D)">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li>
<li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries%5BTitle%5D)+AND+%22Quantitative+Imaging+in+Medicine+and+Surgery%22%5BJournal%5D)">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li>
<li>Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference%5BTitle%5D)+AND+%22Healthcare+Technology+Letters%22%5BJournal%5D)">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

AR ma ogromny potencjał w edukacji, szkoleniach i poradnictwie chirurgicznym w dziedzinie medycyny. Jego połączenie z drukiem 3D otwiera nowe możliwości w zastosowaniach klinicznych. Protokół ten opisuje metodologię, która umożliwia niedoświadczonym użytkownikom stworzenie aplikacji na smartfony łączącej AR i 3DP do wizualizacji anatomicznych modeli 3D pacjentów za pomocą wydrukowanych w 3D markerów referencyjnych.
Ogólnie rzecz biorąc, jednym z najciekawszych zastosowań klinicznych AR i 3DP jest poprawa komunikacji między pacjentem a lekarzem poprzez danie pacjentowi innej perspektywy przypadku, poprawę wyjaśnień konkretnych schorzeń lub leczenia. Inne możliwe zastosowanie obejmuje wskazówki chirurgiczne dotyczące lokalizacji docelowej, w której wydrukowane w 3D narzędzia specyficzne dla pacjenta (z dołączonym referencyjnym markerem AR) mogą być umieszczane na sztywnych strukturach (tj. Kości) i wykorzystywane jako odniesienie do nawigacji. Ta aplikacja jest szczególnie przydatna w zabiegach ortopedycznych i chirurgii szczękowo-twarzowej, w których powierzchnia tkanki kostnej jest łatwo dostępna podczas operacji.
Protokół rozpoczyna się od sekcji 1, opisującej konfigurację stacji roboczej i niezbędne narzędzia programowe. W sekcji 2 opisano, jak korzystać z oprogramowania 3D Slicer w celu łatwej segmentacji docelowych anatomii pacjenta z dowolnej metody obrazowania medycznego w celu uzyskania modeli 3D. Ten krok jest kluczowy, ponieważ tworzone wirtualne modele 3D są wyświetlane w końcowej aplikacji AR.
W sekcji 3 3D Slicer służy do rejestrowania modeli 3D utworzonych w poprzedniej sekcji za pomocą znacznika AR. Podczas tej procedury rejestracji modele 3D pacjenta są sprawnie i prosto pozycjonowane w stosunku do markera AR. Pozycja zdefiniowana w tej sekcji określi względną pozycję hologramu w końcowej aplikacji. Uważa się, że rozwiązanie to zmniejsza złożoność i zwielokrotnia możliwe zastosowania. W rozdziale 3 opisano dwie różne opcje definiowania relacji przestrzennych między modelami a znacznikami AR: tryb "wizualizacji" i "rejestracji". Pierwsza opcja, tryb "wizualizacji", pozwala na umieszczenie modeli 3D w dowolnym miejscu względem znacznika i wyświetlenie ich jako całego biomodelu. Ten tryb zapewnia realistyczną, trójwymiarową perspektywę anatomii pacjenta i umożliwia poruszanie się i obracanie biomodeli poprzez przesuwanie śledzonego znacznika AR. Druga opcja, tryb "rejestracji", umożliwia zamocowanie i połączenie adaptera markera do dowolnej części biomodelu, oferując automatyczny proces rejestracji. Dzięki tej opcji niewielka część modelu 3D, w tym adapter markera, może zostać wydrukowana w 3D, a aplikacja może wyświetlić resztę modelu jako hologram.
Sekcja 4 zawiera wytyczne dotyczące procesu drukowania 3D. Po pierwsze, użytkownik może wybrać jeden z dwóch różnych markerów: "dwukolorowy marker" i "marker naklejkowy". Cały "dwukolorowy marker" można wydrukować w 3D, ale wymaga to drukarki 3D z podwójnym ekstruderem. W przypadku, gdy ta drukarka nie jest dostępna, proponowany jest "znacznik naklejek". Jest to prostszy marker, który można uzyskać, drukując strukturę sześcienną w 3D, a następnie wklejając obrazy sześcianu za pomocą papieru do naklejek lub kleju do naklejek. Co więcej, oba markery zostały zaprojektowane z wysuwanymi sekcjami, aby idealnie pasowały do konkretnego adaptera. Dzięki temu marker może być ponownie użyty w kilku przypadkach.
Sekcja 5 opisuje proces tworzenia projektu Unity dla AR przy użyciu zestawu do tworzenia oprogramowania Vuforia. Ten krok może być najtrudniejszy dla użytkowników bez doświadczenia w programowaniu, ale dzięki tym wskazówkom powinno być łatwiej uzyskać ostateczną aplikację, która jest przedstawiona w sekcji 6. Aplikacja wyświetla wirtualne modele pacjenta na ekranie smartfona, gdy kamera rozpozna marker wydrukowany w 3D. Aby aplikacja mogła wykryć znacznik 3D, wymagana jest minimalna odległość około 40 cm lub mniejsza od telefonu do znacznika, a także dobre warunki oświetleniowe.
Ostateczne zastosowanie tego protokołu pozwala użytkownikowi wybrać konkretne biomodele do wizualizacji i w jakich pozycjach. Dodatkowo aplikacja może przeprowadzać automatyczną rejestrację hologramu pacjenta za pomocą wydrukowanego w 3D markera i adaptera dołączonego do biomodelu. Rozwiązuje to problem rejestracji modeli wirtualnych w środowisku w bezpośredni i wygodny sposób. Co więcej, metodologia ta nie wymaga szerokiej wiedzy z zakresu obrazowania medycznego ani tworzenia oprogramowania, nie zależy od skomplikowanego sprzętu i drogiego oprogramowania oraz może być wdrożona w krótkim czasie. Oczekuje się, że metoda ta pomoże przyspieszyć przyjęcie technologii AR i 3DP przez lekarzy.

AR i 3DP to technologie, które zapewniają coraz większą liczbę zastosowań w medycynie. W przypadku AR jego interakcja z wirtualnymi modelami 3D i rzeczywistym środowiskiem przynosi korzyści lekarzom w zakresie edukacji i szkoleń1,2,3, komunikacja i interakcje z innymi lekarzami4, oraz wskazówki podczas interwencji klinicznych5,6,7,8,9,10. Podobnie, 3DP stał się potężnym rozwiązaniem dla lekarzy podczas opracowywania narzędzi dostosowanych do potrzeb pacjenta11,12,13 lub tworzenia modeli 3D anatomii pacjenta, które mogą pomóc w usprawnieniu planowania przedoperacyjnego i interwencji klinicznych14,15.
Zarówno technologie AR, jak i 3DP pomagają poprawić orientację, wskazówki i umiejętności przestrzenne w procedurach medycznych; dlatego ich połączenie jest kolejnym logicznym krokiem. Wcześniejsze prace wykazały, że ich wspólne stosowanie może zwiększyć wartość w edukacji pacjentów16, ułatwiając wyjaśnienie schorzeń i proponowanego leczenia, optymalizując przepływ pracy w chirurgii17,18 i poprawiając rejestrację pacjenta do modelu19. Chociaż technologie te rozrosły się wykładniczo w ostatnich latach, ich przyjęcie przez lekarzy jest nadal ograniczone, ponieważ wymagają rozległej wiedzy z zakresu inżynierii i tworzenia oprogramowania. Dlatego celem niniejszej pracy jest opisanie krok po kroku metodologii, która umożliwia korzystanie z AR i 3DP przez niedoświadczonych użytkowników bez konieczności posiadania szerokiej wiedzy technicznej.
Ten protokół opisuje, jak stworzyć aplikację AR na smartfony, która pozwala na nałożenie dowolnego modelu 3D pacjenta na rzeczywiste środowisko za pomocą wydrukowanego w 3D markera śledzonego przez kamerę smartfona. Ponadto opisano alternatywne podejście zapewniające automatyczną rejestrację między biomodelem wydrukowanym w 3D (tj. modelem 3D utworzonym na podstawie anatomii pacjenta) a wyświetlanymi hologramami. Opisany protokół jest w całości oparty na darmowym i wieloplatformowym oprogramowaniu.
W poprzedniej pracy rejestracja pacjenta w AR na obraz była obliczana ręcznie5 z algorytmami rozpoznawania powierzchni10 lub była niedostępna2. Metody te zostały uznane za nieco ograniczone, gdy wymagana jest dokładna rejestracja19. Aby przezwyciężyć te ograniczenia, prace te dostarczają narzędzi do wykonywania dokładnej i prostej rejestracji pacjenta do obrazu w procedurach AR poprzez połączenie technologii AR i 3DP.
Protokół jest ogólny i może być stosowany do dowolnej metody obrazowania medycznego lub pacjenta. Jako przykład podano rzeczywisty przypadek kliniczny pacjenta cierpiącego na mięsaka dystalnej części nogi w celu zilustrowania metodologii. W pierwszym kroku opisano, jak łatwo podzielić chorą anatomię na podstawie obrazów medycznych tomografii komputerowej (CT) w celu wygenerowania wirtualnych modeli 3D. Następnie wykonywane jest pozycjonowanie modeli 3D, a następnie wymagane narzędzia i modele są drukowane w 3D. Na koniec wdrażana jest żądana aplikacja AR. Aplikacja ta pozwala na wizualizację modeli 3D pacjenta nałożonych na kamerę smartfona w czasie rzeczywistym.

<table><tbody><tr><td>Materiał do druku 3D: Akrylonitrylo-butadien-styren (ABS)</td><td></td><td></td><td>Termoplastyczny materiał polimerowy zwykle stosowany w domowych drukarkach 3D.</td></tr><tr><td>Materiał do druku 3D: Kwas polimlekowy (PLA)</td><td></td><td></td> <td>Bioplastik zwykle stosowany w domowych drukarkach 3D.</td></tr><tr><td>3D Slicer</td><td></td><td></td><td>Platforma oprogramowania typu open source do informatyki obrazów medycznych, przetwarzania obrazów i wizualizacji trójwymiarowej</td></tr><tr><td>Android</td><td>Alphabet, Inc.</td><td></td><td>Android to mobilny system operacyjny opracowany przez Google. Jest oparty na zmodyfikowanej wersji jądra Linuksa i innego oprogramowania typu open source i jest przeznaczony głównie dla urządzeń mobilnych z ekranem dotykowym, takich jak smartfony i tablety.</td></tr><tr><td>Autodesk Meshmixer</td><td>Autodesk, Inc.</td><td></td><td>Meshmixer to najnowocześniejsze oprogramowanie do pracy z siatkami trójkątów. Wolne oprogramowanie.</td></tr><tr><td>System operacyjny iPhone'a</td><td>Apple, Inc.</td><td></td><td>iPhone OS to mobilny system operacyjny stworzony i opracowany przez Apple Inc. wyłącznie dla swojego sprzętu.</td></tr><tr><td>Ultimaker 3 Extended</td><td>Ultimaker BV</td><td></td><td>Drukarka 3D do modelowania osadzania z topionym tokiem.</td></tr><tr><td>Jedność</td><td>Unity Technologies</td><td></td><td>Unity to platforma programistyczna w czasie rzeczywistym do tworzenia 3D, 2D VR i Wizualizacje AR dla gier, motoryzacji, transportu, filmu, animacji, architektury, inżynierii i więcej. Wolne oprogramowanie.</td></tr><tr><td>Xcode</td><td>Apple, Inc.</td><td></td><td>Xcode to kompletny zestaw narzędzi programistycznych do tworzenia aplikacji na komputery Mac, iPhone, iPad, Apple Watch i Apple TV. Wolne oprogramowanie.</td></tr></tbody></table>

połączenie rzeczywistości rozszerzonej i druku 3d w celu wyświetlania modeli pacjentów na smartfonie

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

Rozszerzona rzeczywistość (AR) ma ogromny potencjał w edukacji, szkoleniach i poradnictwie chirurgicznym w dziedzinie medycyny. Jego połączenie z drukiem trójwymiarowym (3D) (3DP) otwiera nowe możliwości w zastosowaniach klinicznych. Chociaż technologie te rozrosły się wykładniczo w ostatnich latach, ich przyjęcie przez lekarzy jest nadal ograniczone, ponieważ wymagają rozległej wiedzy z zakresu inżynierii i tworzenia oprogramowania. Dlatego celem tego protokołu jest opisanie krok po kroku metodologii umożliwiającej niedoświadczonym użytkownikom stworzenie aplikacji na smartfony, która łączy AR i 3DP do wizualizacji anatomicznych modeli 3D pacjentów za pomocą wydrukowanego w 3D markera referencyjnego. Protokół opisuje, w jaki sposób tworzyć wirtualne modele 3D anatomii pacjenta pochodzące z obrazów medycznych 3D. Następnie wyjaśniono, w jaki sposób wykonać pozycjonowanie modeli 3D względem odniesień do znaczników. Znajdują się tam również instrukcje dotyczące drukowania 3D wymaganych narzędzi i modeli. Na koniec podano kroki wdrażania aplikacji. Protokół jest oparty na darmowym i wieloplatformowym oprogramowaniu i może być stosowany do dowolnej metody obrazowania medycznego lub pacjenta. Opisano alternatywne podejście zapewniające automatyczną rejestrację między wydrukowanym w 3D modelem utworzonym na podstawie anatomii pacjenta a wyświetlanymi hologramami. Jako przykład podano przypadek kliniczny pacjenta cierpiącego na mięsaka dystalnej części nogi w celu zilustrowania metodologii. Oczekuje się, że protokół ten przyspieszy przyjęcie technologii AR i 3DP przez lekarzy.

Protokół zastosowano do danych pacjenta cierpiącego na mięsak kończyny dolnej w celu wizualizacji objętego zmianami obszaru anatomicznego w perspektywie 3D. Wykorzystując metodę opisaną w sekcji 2, z tomografii komputerowej (CT) pacjenta wysegmentowano fragment zajętej kości (w tym przypadku kości piszczelowej i strzałkowej) oraz guz. Następnie, przy użyciu narzędzi segmentacyjnych programu 3D Slicer, utworzono dwa biomodele: kości (fragment kości piszczelowej i strzałkowej) (Rysunek 1A) oraz guza (Rysunek 1B).
Następnie dwa modele 3D zostały ustawione wirtualnie względem markera w celu optymalizacji wizualizacji. W tym przykładzie zastosowano oba tryby opisane w sekcji 3. W trybie wizualizacji modele wycentrowano na górnej powierzchni markera (Rysunek 2). W trybie rejestracji adapter markera został umieszczony w kości (konkretnie w kości piszczelowej [Rysunek 3]). Następnie wybrano niewielki odcinek kości piszczelowej do wydruku 3D wraz z adapterem markera 3D (Rysunek 4). Do stworzenia wydrukowanych markerów 3D (Rysunek 5A, B), podstawy uchwytu markera (Rysunek 5C) dla trybu „wizualizacji” oraz odcinka kości piszczelowej dla trybu „rejestracji” (Rysunek 5D) wykorzystano drukarkę 3D Ultimaker 3 extended z materiałem PLA. Rysunek 5E przedstawia sposób przymocowania markera do wydrukowanej w 3D podstawy w trybie „wizualizacji”. Rysunek 5F pokazuje mocowanie z wydrukowanym w 3D biomodelem w trybie „rejestracji”. Na koniec wykorzystano środowisko Unity do stworzenia aplikacji i wdrożenia jej na smartfonie.
Rysunek 6 przedstawia działanie aplikacji w trybie „wizualizacji”. Hologram został precyzyjnie umieszczony w górnej części sześcianu, zgodnie z wcześniejszą definicją. Rysunek 7 pokazuje zastosowanie trybu „rejestracji”, w którym aplikacja nałożyła pełny model kości na wydrukowaną w 3D sekcję. Końcowa wizualizacja hologramów była wyraźna i realistyczna, zachowywała rzeczywiste rozmiary biomodeli oraz była precyzyjnie rozmieszczona. Podczas korzystania z aplikacji na smartfonie marker AR musi być widoczny dla kamery, aby aplikacja mogła prawidłowo wyświetlić hologramy. Ponadto warunki oświetleniowe w scenie muszą być dobre i stałe, aby zapewnić właściwe wykrywanie markera. Złe warunki oświetleniowe lub odblaski na powierzchni markera utrudniają śledzenie markera AR i powodują nieprawidłowe działanie aplikacji.
Czas wymagany na stworzenie aplikacji zależy od kilku czynników. Czas trwania etapu 1 jest ograniczony prędkością pobierania danych. W przypadku segmentacji anatomicznej (etap 2), czynniki wpływające na czas segmentacji obejmują złożoność regionu oraz zastosowaną metodę obrazowania medycznego (np. tomografia komputerowa (CT) jest łatwiejsza do segmentacji, podczas gdy rezonans magnetyczny (MRI) jest bardziej wymagający). W reprezentatywnym przykładzie kości piszczelowej wygenerowanie obu modeli 3D ze skanu CT zajęło około 10 min. Pozycjonowanie biomodelu (etap 3) jest proste i bezpośrednie. W tym przypadku zdefiniowanie pozycji biomodelu względem znacznika AR zajęło około 5 min. W przypadku etapu druku 3D czas trwania jest w dużym stopniu zależny od wybranego trybu. „Marker dwukolorowy” został wykonany w wysokiej jakości w czasie 5 h i 20 min. „Marker naklejkowy” został wykonany w czasie 1 h i 30 min, plus czas wymagany na naklejenie naklejek. Ostatni krok opracowania aplikacji może być czasochłonny dla osób bez wcześniejszego doświadczenia w Unity, ale można go łatwo zrealizować, postępując zgodnie z krokami protokołu. Po wydrukowaniu markerów AR w technologii 3D opracowanie całkowicie nowej aplikacji AR może zostać wykonane w mniej niż 1 h. Czas ten może zostać dodatkowo skrócony wraz z nabywanym doświadczeniem.
<img alt="Analiza struktury kości, model 3D podkreślający lokalizację złamania i gojenie, schemat edukacyjny." class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg" data-altupdatedat="1788282455000" data-alt="Rysunek 1"> 
Rysunek 1: Przedstawienie modeli 3D stworzonych z obrazu CT pacjenta cierpiącego na chrzęstniak dystalnej części nogi. (A) Tkanka kostna zaznaczona kolorem białym (kość piszczelowa i strzałkowa). (B) Guz zaznaczony kolorem czerwonym. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<img alt="Schemat 3D kości przedramienia i zielonego kształtu, z podpisami, przedstawiający analizę orientacji przestrzennej." class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg" data-altupdatedat="1788282455000" data-alt="Rycina 2"> 
Rycina 2: Wyniki pokazujące, w jaki sposób tryb „wizualizacji” w programie 3D Slicer pozycjonuje wirtualne modele 3D kości i guza względem wydrukowanego w 3D znacznika referencyjnego. Modele 3D pacjenta (A) są rozmieszczone nad górną powierzchnią sześcianu znacznika (B). <a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Diagram statycznej równowagi; pozycjonowanie kości udowej i piszczeli; analiza wektora siły; model mechaniczny." class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg" data-altupdatedat="1788282455000" data-alt="Rycina 3"> 
Rycina 3: Wyniki pokazujące, w jaki sposób tryb „rejestracji” w programie 3D Slicer pozycjonuje wirtualne modele 3D kości i guza (A) względem wydrukowanego w 3D znacznika referencyjnego (B). Adaptor znacznika jest przymocowany do modelu tkanki kostnej. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">Aby wyświetlić powiększoną wersję tej ryciny, kliknij tutaj.</a>
<img alt="3D model kości z urządzeniem do stabilizacji, schemat inżynierii ortopedycznej, stabilizacja złamania." class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg" data-altupdatedat="1788282455000" data-alt="Rycina 4"> 
Rycina 4: Mały fragment tkanki kostnej i adaptor markera 3D. Oba komponenty zostają połączone, a następnie wydrukowane w technologii 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Drukowane w 3D znaczniki orientacyjne na sześcianach do precyzyjnej nawigacji; sześć konfiguracji." class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg" data-altupdatedat="1788282455000" data-alt="Rycina 5"> 
Rycina 5: Narzędzia drukowane w 3D wymagane do końcowego zastosowania. (A) „Dwukolorowy znacznik sześciany” wydrukowany w 3D z materiałów w dwóch kolorach. (B) „Znacznik sześciany z naklejkami” wydrukowany w 3D, z naklejonymi naklejkami. (C) Adaptor sześciana podstawy znacznika. (D) Fragment modelu 3D tkanki kostnej pacjenta i adaptor sześciana znacznika. (E) „Znacznik sześciany z naklejkami” umieszczony w adaptorze sześciana podstawy znacznika. (F) „Dwukolorowy znacznik sześciany” umieszczony w adaptorze znacznika przymocowanym do anatomii pacjenta. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Wizualizacja struktury kości w rzeczywistości rozszerzonej na smartfonie, konfiguracja eksperymentalna badania anatomicznego." class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg" data-altupdatedat="1788282455000" data-alt="Rysunek 6"> 
Rysunek 6: Wyświetlacz aplikacji podczas korzystania z trybu „wizualizacji”. Trójwymiarowe modele objętej zmianami anatomii pacjenta są umieszczone nad górną ścianką wydrukowanego w 3D sześcianu. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<img alt="Aplikacja rozszerzonej rzeczywistości wyświetlająca nakładkę modelu 3D na fizycznym obiekcie, demonstracja edukacyjna." class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg" data-altupdatedat="1788282455000" data-alt="Rycina 7"> 
Rycina 7: Wizualizacja AR podczas korzystania z trybu „rejestracji”. Wydrukowany w 3D marker umożliwia rejestrację wydrukowanego w 3D biomodelu z wirtualnymi modelami 3D. <a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>

Przedstawiona tutaj jest metoda projektowania aplikacji na smartfony z rozszerzoną rzeczywistością do wizualizacji anatomicznych trójwymiarowych modeli pacjentów za pomocą wydrukowanego w 3D markera referencyjnego.

Połączenie rzeczywistości rozszerzonej i druku 3D w celu wyświetlania modeli pacjentów na smartfonie

Augmented reality (AR) has great potential in education, training, and surgical guidance in the medical field. Its combination with three-dimensional (3D) ...

Protokół ten daje niedoświadczonym użytkownikom narzędzia do wprowadzania rozwiązań rzeczywistości rozszerzonej do dziedziny medycyny poprzez tworzenie własnej aplikacji na smartfony. Metoda ta łączy rzeczywistość rozszerzoną i druk 3D, umożliwiając szybką i łatwą wizualizację modeli 3D utworzonych na podstawie danych na wydrukowanym w 3D znaczniku referencyjnym. Technika ta może być zastosowana do każdego scenariusza medycznego, w którym wydrukowane w 3D odniesienie może być sztywno przymocowane do pacjenta.Wizualizacja wizualnych modeli 3D utworzonych na podstawie lokalizacji danych, która jest ukierunkowana i może również poprawić pacjenta Protokół ten został specjalnie zaprojektowany dla użytkowników bez wcześniejszej wiedzy na temat obrazowania medycznego lub tworzenia oprogramowania, aby pomóc w wykorzystaniu rzeczywistości rozszerzonej w medycynie. Aby utworzyć modele 3D anatomii pacjenta, najpierw śledź plik obrazu medycznego w oknie oprogramowania 3D Slicer i kliknij OK.To segmentować anatomię pacjenta, przejdź do modułu edytora segmentów w 3D Slicer. Element segmentacji zostanie utworzony automatycznie po wejściu do modułu.Wybierz żądany wolumin w sekcji woluminu głównego i kliknij prawym przyciskiem myszy poniżej obrazu, aby wybrać opcję dodaj, aby utworzyć segment. W panelu efektów wybierz najwygodniejsze narzędzie dla celu i podziel obraz medyczny pacjenta na segmenty. Aby wyeksportować segmentację w formacie pliku modelu 3D, otwórz moduł segmentacji.W eksport/import modeli i map etykiet wybierz eksport i modele, a następnie kliknij przycisk eksportuj, aby utworzyć model 3D z segmentowanego obszaru. Kliknij Zapisz i wybierz elementy, które chcesz zapisać. Następnie zmień format pliku modelu 3D na OBJ.Segmentację można powtarzać w celu stworzenia dodatkowych modeli 3D różnych obszarów anatomicznych. Aby ustawić model pacjenta 3D w dowolnej pozycji w stosunku do markera rzeczywistości rozszerzonej, otwórz moduł pozycji modelu AR Health i wybierz tryb wizualizacji. Kliknij przycisk Wczytaj model znacznika, aby załadować znacznik dla tej opcji, przycisk wielokropka, aby wybrać ścieżkę zapisanego modelu 3D, a następnie załaduj model, aby wczytać model do fragmentatora 3D.Kliknij przycisk Zakończ i wyśrodkuj, aby wyśrodkować wszystkie modele w obrębie znacznika. Użyj suwaków, aby dostosować pozycję, orientację i skalowanie modeli 3D w odniesieniu do znacznika zgodnie z potrzebami. Następnie wybierz ścieżkę do przechowywania plików i kliknij przycisk Zapisz modele, aby zapisać modele w tej pozycji.Aby połączyć marker rzeczywistości rozszerzonej z biomodelem 3D w dowolnym miejscu, otwórz moduł pozycji modelu AR Health i w sekcji inicjalizacji wybierz tryb rejestracji. Kliknij przycisk Wczytaj model znacznika, aby wczytać znacznik dla tej opcji i przesuwaj modele 3D do momentu, aż przetną się ze strukturą nośną znacznika sześcianu, modyfikując w razie potrzeby wysokość podstawy znacznika. Aby zapisać model w tym miejscu, wybierz ścieżkę do przechowywania plików i kliknij przycisk Zapisz modele.Jeśli model anatomiczny jest zbyt duży, załaduj biomodel i strukturę nośną modelu znacznika sześciennego do oprogramowania mieszalnika siatki. Wybierz oba modele w oknie przeglądarki obiektów, aby połączyć modele i użyj narzędzia do wycinania zwykłego z menu edycji, aby usunąć wszelkie niechciane sekcje modelu, które nie zostaną wydrukowane w 3D. Aby zapisać model do druku 3D, wybierz Plik i Eksport oraz wybierz żądany format.Aby wydrukować modele fizyczne 3D wymagane do ostatecznej aplikacji rzeczywistości rozszerzonej, w oprogramowaniu do drukowania 3D wybierz materiał w kolorze białym dla pliku TwoColorCuebMarker_white. obj i materiał w kolorze czarnym dla pliku TwoColorCubeMarker_white. obj.Następnie użyj drukarki 3D z podwójnym ekstruderem, aby wydrukować 3D sześcienny marker w czerni i bieli w trybie wysokiej jakości z niewielką wysokością warstwy. Aby zaprojektować aplikację na smartfony w Unity Engine, która zawiera modele 3D, otwórz Vuforia Developer i utwórz konto. Wybierz opcję Pobierz klucz deweloperski, aby uzyskać bezpłatny klucz licencji deweloperskiej, a następnie w menu menedżera licencji wybierz i skopiuj klucz.Aby skonfigurować smartfon, w aplikacji Unity w wersji 2019, w ustawieniach kompilacji w menu plików wybierz odpowiednią platformę dla urządzenia. Aby włączyć Vuforia do projektu, wybierz edytuj, ustawienia projektu, ustawienia odtwarzacza i ustawienia XR, a następnie zaznacz pole oznaczone Vuforia Augmented Reality Support. Aby utworzyć kamerę rzeczywistości rozszerzonej, wybierz pasek menu, obiekt gry, silnik Vuforia i kamerę AR, a następnie zaimportuj komponenty Vuforia po wyświetleniu monitu.Aby dodać klucz licencyjny Vuforia do ustawień konfiguracyjnych Vuforia, wybierz folder zasobów, kliknij Konfiguracja Vuforia i wklej klucz licencyjny w sekcji klucza licencyjnego aplikacji. Zaimportuj plik docelowy Vuforia zawierający pliki, których Vuforia wymaga do wykrycia znaczników do Unity i wybierz pasek menu, obiekt gry, silnik Vuforia i wiele obrazów, aby utworzyć wiele celów Vuforia. Kliknij wiele obiektów docelowych, aby wybrać typ znacznika, który będzie używany do wykrywania, a następnie w opcji bazy danych w obszarze Zachowanie wielu obiektów docelowych wybierz opcję ARHealth_3dPrintedCube_30x30x30.W opcji wiele obiektów docelowych w obszarze zachowanie wielu obiektów docelowych wybierz opcję TwoColorCubeMarker lub StickerCubeMarker w zależności od znacznika. Przeciągnij modele 3D do folderu models i przeciągnij folder pod elementem z wieloma obiektami docelowymi. Modele powinny stać się widoczne w scenie widoku 3D aparatu Unity.Aby zmienić kolory modeli 3D, utwórz nowe materiały i przypisz nowe materiały do modeli. Jeśli kamera internetowa jest dostępna, kliknij przycisk odtwarzania, aby przetestować aplikację na komputerze. Jeśli znacznik jest widoczny dla kamery internetowej, powinien zostać wykryty, a modele 3D powinny pojawić się w scenie.Jeśli do tworzenia aplikacji będzie używany smartfon z systemem Android, wybierz ustawienia kompilacji w środowisku Unity i wybierz podłączony telefon z listy. Następnie zapisz plik z rozszerzeniem apk i poczekaj, aż proces się zakończy. Jeśli aplikacja zostanie wdrożona na urządzeniu z systemem iOS, wybierz plik w ustawieniach kompilacji i zapisz plik.Aby zobrazować aplikację, otwórz ją na smartfonie i użyj aparatu smartfona, aby spojrzeć na znacznik z poziomu aplikacji z odległości co najmniej 40 centymetrów. Gdy aplikacja wykryje marker, wcześniej utworzone modele 3D powinny pojawić się na ekranie smartfona dokładnie w miejscu zdefiniowanym podczas zabiegu. Stosując metodę, jak pokazano, ta część dotkniętej chorobą kości piszczelowej i strzałkowej od pacjenta cierpiącego na mięsaka dystalnej nogi i guz została podzielona na segmenty z tomografii komputerowej pacjenta.Korzystając z narzędzi do segmentacji, stworzono jeden biomodel dla kości i jeden biomodel dla guza. W trybie wizualizacji modele zostały wyśrodkowane w górnej fazie znacznika. W trybie rejestracji adapter markera został umieszczony w kości piszczelowej, a niewielka część kości piszczelowej została wybrana do wydrukowania w 3D za pomocą adaptera markera 3D.Kwas polimlekowy może być używany do tworzenia drukowanych w 3D markerów, podstaw uchwytów do markerów i sekcji kości, jak pokazano. Tutaj znacznik jest dołączony do wydrukowanej w 3D bazy w trybie wizualizacji, a tutaj załącznik jest pokazany z biomodelem wydrukowanym w 3D w trybie rejestracji. Ta reprezentacja pokazuje, jak aplikacja działa w trybie wizualizacji, gdy hologram jest dokładnie umieszczony w górnej części sześcianu, jak wcześniej zdefiniowano.W trybie rejestracji kompletny model kości można umieścić na górze wydrukowanego w 3D przekroju z wyraźną i realistyczną wizualizacją znacznika w miejscu kości. Aby wykorzystać rzeczywistość rozszerzoną do wizualizacji ważnych informacji o pacjencie, potrzebujesz kilku narzędzi programowych, które są swobodnie dostępne, a także dostępu do drukarki 3D i smartfona. Procedurę tę można zastosować do dowolnego modelu uzyskanego z obrazowania medycznego.Jego zastosowanie można rozszerzyć na inne interwencje, takie jak radioterapia, ustawianie wprowadzania igły. Obecnie rozszerzamy zastosowania tego rozwiązania na nowe obszary kliniczne, w tym chirurgię mięśniowo-powięziową lub ortopedyczną. Nasze wstępne badania są obiecujące, a opinie chirurgów są bardzo pozytywne.

combining-augmented-reality-3d-printing-to-display-patient-models-on

Research

JoVE Journal

Medicine

Medycyna

Ten film demonstruje użycie rozszerzonej rzeczywistości (AR) do resekcji guza, gdzie zeskanowana w 3D próbka guza jest wizualizowana jako hologram na wyświetlaczu zamontowanym na głowie. Chirurdzy mogą manipulować i blokować hologram w miejscu, aby zapewnić precyzyjne usunięcie guza.

Wizualizacja wyciętej próbki guza w oparciu o rzeczywistość rozszerzoną

Korzystając z nowoczesnych technologii wytłaczania i drukowania tworzyw sztucznych, teraz można szybko i tanio produkować fizyczne modele danych z tomografii komputerowej wykonanej w laboratorium.  Trójwymiarowe drukowanie danych tomograficznych jest potężnym narzędziem do wizualizacji, badań i edukacji, do którego może teraz uzyskać dostęp społeczność zajmująca się obrazowaniem przedklinicznym.

Druk 3D przedklinicznych zestawów danych tomografii komputerowej rentgenowskiej

Protokół opisuje wytwarzanie w pełni kolorowych, trójwymiarowych odbitek anatomicznych modeli czaszki specyficznych dla pacjenta, które mają być używane do symulacji chirurgicznej. Wyjaśniono kluczowe etapy łączenia różnych modalności obrazowania, segmentacji obrazu, ekstrakcji modelu trójwymiarowego i produkcji odbitek.

Wielokolorowy druk 3D złożonych guzów wewnątrzczaszkowych w neurochirurgii

Ta metoda demonstruje przepływ pracy druku 3D oparty na wokselach, który drukuje bezpośrednio z obrazów medycznych z dokładną wiernością przestrzenną i rozdzielczością przestrzenną/kontrastową. Umożliwia to precyzyjną, stopniowaną kontrolę rozkładu materiałów za pomocą morfologicznie złożonych, stopniowanych materiałów skorelowanych z gęstością promieniotwórczą bez utraty lub zmiany danych.

Anatomia drukowania wokselowego: projektowanie i wytwarzanie realistycznych, przedchirurgicznych modeli planistycznych za pomocą drukowania bitmapowego

Wykonano kompleksową rewizyjną endoprotezoplastykę stawu biodrowego przy użyciu specjalnie wykonanego implantu i technologii rzeczywistości mieszanej. Zgodnie z wiedzą autorów jest to pierwsze opisane w literaturze doniesienie o takim postępowaniu.<br...

Wykorzystanie rzeczywistości mieszanej w niestandardowej rewizyjnej endoprotezoplastyce stawu biodrowego: pierwszy opis przypadku

Wyświetlacz rzeczywistości rozszerzonej, Magic Leap, został użyty w połączeniu z konwencjonalnym systemem nawigacji do umieszczania pedikularnych w modelu świni, stosując nowatorski przepływ pracy. Przy medianie czasu wprowadzania wynoszącej &lt;2,5 min, według Gertzbeina osiągnięto submilimetrową dokładność techniczną i 100% dokładność kliniczną.

Umieszczanie pedikularnych za pomocą wyświetlacza montowanego na głowie w modelu świni

Postęp w leczeniu wewnątrznaczyniowym zastąpił skomplikowane otwarte procedury chirurgiczne minimalnie inwazyjnymi opcjami, takimi jak wymiana zastawki i naprawa tętniaka. W artykule zaproponowano wykorzystanie modelowania trójwymiarowego (3D) i rzeczywistości wirtualnej do pomocy w pozycjonowaniu ramienia C, pomiarach kąta i generowaniu mapy drogowej do planowania procedur w laboratorium cewnikowania neurointerwencyjnego, minimalizując czas zabiegu.

Pionierskie podejścia do precyzyjnej chirurgii dostosowanej do potrzeb pacjenta z wykorzystaniem obrazowania i rzeczywistości wirtualnej

Zaproponowano nowatorską metodę skanowania 3D i wirtualnego mapowania resekcji nowotworów w celu poprawy komunikacji między multidyscyplinarnym zespołem opieki onkologicznej.

Ulepszona komunikacja brzegów guza za pomocą skanowania 3D i mapowania

Ten artykuł przedstawia projekt i implementację modułu automatycznej chirurgii opartej na rekonstrukcji 3D opartej na rzeczywistości rozszerzonej (AR). System umożliwia zdalną operację, umożliwiając chirurgom inspekcję zrekonstruowanych cech i odtworzenie chirurgicznych ruchów ręki tak, jakby wykonywali operację w bliskiej odległości.

Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości

W tym miejscu opisujemy protokół konstruowania modelu serca od podstaw w oparciu o tomografię komputerową i prezentujemy go studentom medycyny przy użyciu druku trójwymiarowego (3D) i technologii rzeczywistości mieszanej do nauki anatomii.

Technologia rzeczywistości mieszanej i druk trójwymiarowy w nauczaniu: anatomia serca jako przykład

Poznaj metodę tworzenia aplikacji rzeczywistości rozszerzonej na smartfon do wizualizacji anatomicznych modeli 3D z wykorzystaniem drukowanych znaczników referencyjnych. Protokół jest dostępny dla użytkowników bez doświadczenia w obrazowaniu medycznym.

Połączenie rzeczywistości rozszerzonej i druku 3D w celu wyświetlania modeli pacjentów na smartfonie

Przeglądaj więcej filmów