Artykuł metodologiczny

Połączenie rzeczywistości rozszerzonej i druku 3D w celu wyświetlania modeli pacjentów na smartfonie

19.6K wyświetleń

⸱

DOI:

10.3791/60618

⸱

2 stycznia 2020

 ,  ,  ,  ,  , 
1Department of Bioengineering and Aerospace Engineering, Universidad Carlos III de Madrid, 2Instituto de Investigación Sanitaria Gregorio Marañón, 3Department of Orthopedic Surgery and Traumatology, Hospital General Universitario Gregorio Marañón, 4Department of Surgery, Faculty of Medicine, Universidad Complutense de Madrid

W tym artykule

Podsumowanie

Przedstawiona tutaj jest metoda projektowania aplikacji na smartfony z rozszerzoną rzeczywistością do wizualizacji anatomicznych trójwymiarowych modeli pacjentów za pomocą wydrukowanego w 3D markera referencyjnego.

Streszczenie

Rozszerzona rzeczywistość (AR) ma ogromny potencjał w edukacji, szkoleniach i poradnictwie chirurgicznym w dziedzinie medycyny. Jego połączenie z drukiem trójwymiarowym (3D) (3DP) otwiera nowe możliwości w zastosowaniach klinicznych. Chociaż technologie te rozrosły się wykładniczo w ostatnich latach, ich przyjęcie przez lekarzy jest nadal ograniczone, ponieważ wymagają rozległej wiedzy z zakresu inżynierii i tworzenia oprogramowania. Dlatego celem tego protokołu jest opisanie krok po kroku metodologii umożliwiającej niedoświadczonym użytkownikom stworzenie aplikacji na smartfony, która łączy AR i 3DP do wizualizacji anatomicznych modeli 3D pacjentów za pomocą wydrukowanego w 3D markera referencyjnego. Protokół opisuje, w jaki sposób tworzyć wirtualne modele 3D anatomii pacjenta pochodzące z obrazów medycznych 3D. Następnie wyjaśniono, w jaki sposób wykonać pozycjonowanie modeli 3D względem odniesień do znaczników. Znajdują się tam również instrukcje dotyczące drukowania 3D wymaganych narzędzi i modeli. Na koniec podano kroki wdrażania aplikacji. Protokół jest oparty na darmowym i wieloplatformowym oprogramowaniu i może być stosowany do dowolnej metody obrazowania medycznego lub pacjenta. Opisano alternatywne podejście zapewniające automatyczną rejestrację między wydrukowanym w 3D modelem utworzonym na podstawie anatomii pacjenta a wyświetlanymi hologramami. Jako przykład podano przypadek kliniczny pacjenta cierpiącego na mięsaka dystalnej części nogi w celu zilustrowania metodologii. Oczekuje się, że protokół ten przyspieszy przyjęcie technologii AR i 3DP przez lekarzy.

Wprowadzenie

AR i 3DP to technologie, które zapewniają coraz większą liczbę zastosowań w medycynie. W przypadku AR jego interakcja z wirtualnymi modelami 3D i rzeczywistym środowiskiem przynosi korzyści lekarzom w zakresie edukacji i szkoleń1,2,3, komunikacja i interakcje z innymi lekarzami4, oraz wskazówki podczas interwencji klinicznych5,6,7,8,9,10. Podobnie, 3DP stał się potężnym rozwiązaniem dla lekarzy podczas opracowywania narzędzi dostosowanych do potrzeb pacjenta11,12,13 lub tworzenia modeli 3D anatomii pacjenta, które mogą pomóc w usprawnieniu planowania przedoperacyjnego i interwencji klinicznych14,15.

Zarówno technologie AR, jak i 3DP pomagają poprawić orientację, wskazówki i umiejętności przestrzenne w procedurach medycznych; dlatego ich połączenie jest kolejnym logicznym krokiem. Wcześniejsze prace wykazały, że ich wspólne stosowanie może zwiększyć wartość w edukacji pacjentów16, ułatwiając wyjaśnienie schorzeń i proponowanego leczenia, optymalizując przepływ pracy w chirurgii17,18 i poprawiając rejestrację pacjenta do modelu19. Chociaż technologie te rozrosły się wykładniczo w ostatnich latach, ich przyjęcie przez lekarzy jest nadal ograniczone, ponieważ wymagają rozległej wiedzy z zakresu inżynierii i tworzenia oprogramowania. Dlatego celem niniejszej pracy jest opisanie krok po kroku metodologii, która umożliwia korzystanie z AR i 3DP przez niedoświadczonych użytkowników bez konieczności posiadania szerokiej wiedzy technicznej.

Ten protokół opisuje, jak stworzyć aplikację AR na smartfony, która pozwala na nałożenie dowolnego modelu 3D pacjenta na rzeczywiste środowisko za pomocą wydrukowanego w 3D markera śledzonego przez kamerę smartfona. Ponadto opisano alternatywne podejście zapewniające automatyczną rejestrację między biomodelem wydrukowanym w 3D (tj. modelem 3D utworzonym na podstawie anatomii pacjenta) a wyświetlanymi hologramami. Opisany protokół jest w całości oparty na darmowym i wieloplatformowym oprogramowaniu.

W poprzedniej pracy rejestracja pacjenta w AR na obraz była obliczana ręcznie5 z algorytmami rozpoznawania powierzchni10 lub była niedostępna2. Metody te zostały uznane za nieco ograniczone, gdy wymagana jest dokładna rejestracja19. Aby przezwyciężyć te ograniczenia, prace te dostarczają narzędzi do wykonywania dokładnej i prostej rejestracji pacjenta do obrazu w procedurach AR poprzez połączenie technologii AR i 3DP.

Protokół jest ogólny i może być stosowany do dowolnej metody obrazowania medycznego lub pacjenta. Jako przykład podano rzeczywisty przypadek kliniczny pacjenta cierpiącego na mięsaka dystalnej części nogi w celu zilustrowania metodologii. W pierwszym kroku opisano, jak łatwo podzielić chorą anatomię na podstawie obrazów medycznych tomografii komputerowej (CT) w celu wygenerowania wirtualnych modeli 3D. Następnie wykonywane jest pozycjonowanie modeli 3D, a następnie wymagane narzędzia i modele są drukowane w 3D. Na koniec wdrażana jest żądana aplikacja AR. Aplikacja ta pozwala na wizualizację modeli 3D pacjenta nałożonych na kamerę smartfona w czasie rzeczywistym.

Protokół

To badanie zostało przeprowadzone zgodnie z zasadami Deklaracji Helsińskiej z 1964 roku, zrewidowanej w 2013 roku. Zanonimizowane dane pacjenta i zdjęcia zawarte w tym artykule są wykorzystywane po uzyskaniu pisemnej świadomej zgody uczestnika i/lub jego przedstawiciela prawnego, w której wyraził on zgodę na wykorzystanie tych danych do działań upowszechniających, w tym publikacji naukowych.

1. Konfiguracja stacji roboczej do segmentacji, ekstrakcji modeli 3D, pozycjonowania i wdrażania aplikacji AR

UWAGA: Ten protokół został przetestowany z konkretną wersją oprogramowania wskazaną dla każdego narzędzia. Prawdopodobnie będzie działać z nowszymi wersjami, chociaż nie jest to gwarantowane.

  1. Użyj komputera z systemem operacyjnym Microsoft Windows 10 lub Mac OS.
  2. Zainstaluj następujące narzędzia z odpowiednich stron internetowych zgodnie z oficjalnymi instrukcjami:
    3D Slicer (v. 4.10.2): https://download.slicer.org/.
    Meshmixer (wersja 3.5): http://www.meshmixer.com/download.html.
    Jedność (wersja 2019): https://unity3d.com/get-unity/download.
    (Tylko w przypadku wdrożenia systemu iOS) Xcode (ostatnia wersja): https://developer.apple.com/xcode/.
    UWAGA: Wszystkie narzędzia programowe wymagane do wypełnienia protokołu można bezpłatnie pobrać do celów osobistych. Oprogramowanie, które ma być używane na każdym etapie, zostanie wyraźnie wskazane.
  3. Pobierz dane z następującego repozytorium GitHub, które znajduje się pod adresem https://github.com/BIIG-UC3M/OpenARHealth.
    UWAGA: Repozytorium zawiera następujące foldery:
    "/3DSlicerModule/": moduł slicera 3D do pozycjonowania modeli 3D względem markera wydrukowanego w 3D. Użyte w sekcji 3. Dodaj moduł do fragmentatora 3D, postępując zgodnie z instrukcjami dostępnymi pod adresem https://github.com/BIIG-UC3M/OpenARHealth.
    "/Data/PatientData/Patient000_CT.nrrd": Tomografia komputerowa pacjenta cierpiącego na mięsaka dystalnej części nogi. Protokół jest opisany przy użyciu tego obrazu jako przykładu.
    "/Dane/Biomodele/": Modele 3D pacjenta (kości i guza).
    "/Data/Markers/": Znaczniki, które zostaną wydrukowane w 3D, które zostaną wykryte przez aplikację AR w celu ustawienia wirtualnych modeli 3D. Dostępne są dwa znaczniki.

2. Tworzenie biomodelu

UWAGA: Celem tej sekcji jest stworzenie modeli 3D anatomii pacjenta. Zostaną one uzyskane poprzez zastosowanie metod segmentacji do obrazu medycznego (w tym przypadku za pomocą obrazu TK). Proces składa się z trzech różnych etapów: 1) załadowanie danych pacjenta do oprogramowania 3D slicer, 2) segmentacja objętości anatomii docelowej oraz 3) eksport segmentacji jako modeli 3D w formacie OBJ. Powstałe modele 3D zostaną zwizualizowane w finalnej aplikacji AR.

  1. Załaduj dane pacjenta ("/Data/PatientData/Patient000_CT.nrrd"), przeciągając plik obrazu medycznego do okna oprogramowania slicera 3D. Kliknij przycisk OK. Widoki CT (osiowy, strzałkowy, czołowy) pojawią się w odpowiednich oknach.
    UWAGA: Dane użyte w tym miejscu znajdują się w formacie "prawie surowych danych rastrowych" (NRRD), ale 3D Slicer umożliwia ładowanie plików w formacie obrazu medycznego (DICOM). Przejdź do poniższego linku, aby uzyskać dalsze instrukcje, znajdującego się pod adresem https://www.slicer.org/wiki/Documentation/4.10/Training.
  2. Aby podzielić anatomię pacjenta na segmenty, przejdź do modułu Edytor segmentów we fragmentatorze 3D.
    1. Element "segmentacji" jest tworzony automatycznie po wejściu do modułu. Wybierz żądaną objętość (obraz medyczny pacjenta) w sekcji Objętość główna. Następnie kliknij prawym przyciskiem myszy poniżej przycisk Dodaj, aby utworzyć segment. Zostanie utworzony nowy segment o nazwie "Segment_1".
    2. Istnieje panel o nazwie Efekty, który zawiera różne narzędzia do prawidłowej segmentacji obszaru docelowego obrazu medycznego. Wybierz najwygodniejsze narzędzie dla celu i podziel się na segmenty w obszarze okien obrazu.
      1. Aby podzielić kość na segmenty (w tym przypadku kość piszczelową i strzałkową), użyj narzędzia Próg, aby ustawić minimalne i maksymalne wartości HU z obrazu CT, które odpowiadają tkance kostnej. Za pomocą tego narzędzia usuwane są inne elementy, których HU wykracza poza te wartości progowe, takie jak tkanki miękkie.
      2. Użyj narzędzia Nożyczki, aby usunąć niepożądane obszary, takie jak łóżko lub inne struktury anatomiczne, z maski segmentowej. Podziel mięsaka na segmenty ręcznie za pomocą narzędzi Rysuj i Wymazuj, ponieważ guz jest trudny do konturowania za pomocą narzędzi automatycznych.
        UWAGA: Aby dowiedzieć się więcej o procedurze segmentacji, przejdź do linku znajdującego się pod adresem https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
    3. Kliknij przycisk Pokaż 3D, aby wyświetlić reprezentację 3D segmentacji.
  3. Wyeksportuj segmentację w formacie pliku modelu 3D, przechodząc do modułu Segmentacje we fragmentatorze 3D.
    1. Przejdź do sekcji Eksport/import modeli i map etykiet. Wybierz opcję Eksportuj w sekcji operacji i Modele w sekcji Typ danych wyjściowych. Kliknij przycisk Eksportuj, aby zakończyć i utworzyć model 3D z segmentowanego obszaru.
    2. Wybierz ZAPISZ (w lewym górnym rogu), aby zapisać model. Wybierz elementy, które chcesz zapisać. Następnie zmień format pliku modelu 3D na "OBJ" w kolumnie Format pliku. Wybierz ścieżkę, w której będą przechowywane pliki i kliknij Zapisz.
  4. Powtórz kroki 2.2 i 2.3, aby utworzyć dodatkowe modele 3D różnych obszarów anatomicznych.
    UWAGA: Wstępnie podzielone na segmenty modele z podanego przykładu można znaleźć w danych pobranych wcześniej w kroku 1.3 ("/Dane/Biomodele/").

3. Pozycjonowanie biomodelu

UWAGA: W tej sekcji modele 3D utworzone w sekcji 2 zostaną ustawione względem znacznika do wizualizacji rzeczywistości rozszerzonej. Do tego zadania zostanie wykorzystany moduł ARHealth: Model Position z 3D Slicer. Postępuj zgodnie z instrukcjami podanymi w kroku 1.3, aby dodać moduł do narzędzia 3D Slicer. Istnieją dwie różne alternatywy pozycjonowania modeli 3D: tryb "Wizualizacja" i tryb "Rejestracja".

  1. Tryb wizualizacji
    UWAGA: Tryb wizualizacji umożliwia ustawienie modeli 3D pacjenta w dowolnej pozycji w stosunku do markera AR. Dzięki tej opcji użytkownik może korzystać z aplikacji AR do wizualizacji biomodeli za pomocą wydrukowanego w 3D markera AR jako odniesienia. Ten tryb może być używany, gdy precyzja nie jest wymagana, a wizualizacja wirtualnego modelu może być wyświetlana w dowolnym miejscu w polu widzenia kamery smartfona i markera.
    1. Przejdź do modułu ARHealth: Model Position i (w sekcji inicjalizacji) wybierz Tryb wizualizacji. Kliknij Załaduj model znacznika, aby załadować znacznik dla tej opcji.
    2. Załaduj modele 3D utworzone w sekcji 2, klikając przycisk ..., aby wybrać ścieżkę zapisanych modeli z sekcji 2. Następnie kliknij przycisk Załaduj model, aby załadować go do fragmentatora 3D. Modele muszą być ładowane pojedynczo. Aby usunąć wszystkie wcześniej załadowane modele, kliknij ten model, a następnie przycisk Usuń model lub kliknij Usuń wszystko, aby usunąć wszystkie załadowane modele jednocześnie.
    3. Kliknij przycisk Zakończ i wyśrodkuj, aby wyśrodkować wszystkie modele w obrębie znacznika.
    4. Położenie, orientację i skalowanie modeli 3D można modyfikować w odniesieniu do znacznika za pomocą różnych suwaków (tj. translacja, obrót, skala).
      UWAGA: Istnieje dodatkowy przycisk "Resetuj pozycję", który umożliwia zresetowanie pierwotnej pozycji modeli przed dokonaniem jakichkolwiek zmian w pozycji.
    5. Zapisz modele w tym miejscu, wybierając ścieżkę do przechowywania plików i klikając przycisk Zapisz modele. Modele 3D zostaną zapisane z nazwą rozszerzenia "_registered.obj".
  2. Tryb rejestracji
    UWAGA: Tryb rejestracji umożliwia połączenie markera AR z jednym biomodelem 3D w dowolnie wybranej pozycji. Następnie dowolny przekrój połączonych modeli 3D (w tym marker AR) może zostać wyodrębniony i wydrukowany w 3D. Wszystkie biomodele zostaną wyświetlone w aplikacji AR przy użyciu tego połączonego biomodelu wydrukowanego w 3D jako odniesienia. Tryb ten pozwala użytkownikowi w łatwy sposób zarejestrować pacjenta (w tym przypadku wycinek kości pacjenta) oraz modele wirtualne za pomocą znacznika referencyjnego.
    1. Przejdź do modułu ARHealth: Model Position i (w sekcji inicjalizacji) wybierz Tryb rejestracji. Kliknij Załaduj model znacznika, aby załadować znacznik dla tej opcji.
    2. Załaduj modele tak, jak w kroku 3.1.2.
    3. Przesuń modele 3D i upewnij się, że przecinają się ze strukturą nośną znacznika sześcianu, ponieważ modele te zostaną później połączone i wydrukowane w 3D. Wysokość podstawy znacznika można modyfikować. Położenie, orientacja i skalowanie modeli 3D mogą być modyfikowane w odniesieniu do znacznika za pomocą różnych suwaków (tj. translacja, obrót, skala).
    4. Zapisz modele w tym miejscu, wybierając ścieżkę do przechowywania plików i klikając przycisk Zapisz modele. Modele 3D zostaną zapisane z nazwą rozszerzenia "_registered.obj".
    5. Model anatomiczny może być zbyt duży. Jeśli tak, wytnij model 3D wokół adaptera markera i wydrukuj w 3D tylko fragment kombinacji obu modeli za pomocą oprogramowania Meshmixer.
    6. Otwórz Meshmixer i załaduj biomodel oraz strukturę nośną modelu znacznika sześcianu zapisanego w kroku 3.2.4. Połącz te modele, wybierając oba modele w oknie Przeglądarka obiektów. Kliknij opcję Połącz w oknie narzędzi, które właśnie pojawiło się w lewym górnym rogu.
    7. W Meshmixer użyj narzędzia Plane Cut w menu Edycja, aby usunąć niechciane sekcje modelu, które nie zostaną wydrukowane w 3D.
    8. Aby zapisać model do druku 3D, przejdź do Plik > Eksport i wybierz żądany format.

4. 3D Drukowanie

UWAGA: Celem tego kroku jest wydrukowanie w 3D modeli fizycznych wymaganych do końcowego zastosowania AR. Znacznik, który ma być wykrywany przez aplikację, oraz różne potrzebne obiekty zależą od trybu wybranego w sekcji 3. Do druku 3D na potrzeby tej pracy można użyć dowolnego materiału, przy jednoczesnym przestrzeganiu wymagań dotyczących materiałów kolorowych wymaganych na każdym kroku. Kwas polimlekowy (PLA) lub akrylonitryl-butadien-styren (ABS) są wystarczającym wyborem.

  1. Użyj drukarki 3D, aby wydrukować sześcienny znacznik. Jeśli drukarka 3D z podwójnym ekstruderem nie jest dostępna, przejdź do kroku 4.2. Użyj drukarki 3D z podwójnym ekstruderem, aby wydrukować dwukolorowy znacznik dostarczony w "Dane/Znaczniki/Marker1_TwoColorCubeMarker/". W oprogramowaniu do drukowania 3D wybierz materiał w kolorze białym dla pliku "TwoColorCubeMarker_WHITE.obj" i materiał w kolorze czarnym dla "TwoColorCubeMarker_BLACK.obj".
    UWAGA: Aby uzyskać lepsze wykrywanie znaczników, drukuj w trybie wysokiej jakości z małą wysokością warstwy.
  2. Jeśli drukarka 3D z podwójnym ekstruderem nie jest dostępna, a krok 4.1 nie został wykonany, wykonaj ten krok, aby wydrukować wydrukowany w 3D marker z naklejkami jako alternatywę, wykonując następujące czynności:
    1. Użyj drukarki 3D, aby wydrukować plik "Dane/Markery/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj" z materiałem w kolorze białym.
    2. Użyj konwencjonalnej drukarki, aby wydrukować plik "Dane/Markery/ Marker2_StickerCubeMarker/Stickers.pdf" na papierze samoprzylepnym. Następnie użyj dowolnego narzędzia tnącego, aby precyzyjnie przeciąć obrazy przez czarną ramkę, usuwając czarne linie.
      UWAGA: Zaleca się użycie papieru do naklejek w celu uzyskania markera wyższej jakości. Jednak obrazy można wydrukować na zwykłym papierze, a do wklejenia obrazów na kostce można użyć zwykłego kleju w sztyfcie.
    3. Umieść naklejki w kostce wydrukowanej w 3D uzyskanej w kroku 4.2.1 w odpowiedniej kolejności, postępując zgodnie z instrukcjami z dokumentu "Dane/Markery/ Marker2_StickerCubeMarker/Stickers.pdf".
      UWAGA: Naklejki są mniejsze niż lico sześcianu. Pozostaw ramkę o średnicy 1,5 mm między naklejką a krawędzią twarzy. "Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl" można wydrukować w 3D, aby poprowadzić pozycjonowanie naklejki i dokładnie dopasować się do środka powierzchni sześcianu.
  3. Wydrukuj adaptery w 3D, w zależności od trybu wybranego w sekcji 3.
    1. W przypadku wybrania trybu wizualizacji (sekcja 3.1), druk 3D "Data/3DPrinting/Option1/ MarkerBaseTable.obj", który jest adapterem bazowym służącym do umieszczenia znacznika w pozycji pionowej na poziomej powierzchni.
    2. Jeśli wybrano tryb rejestracji (sekcja 3.2), wydrukuj w 3D model utworzony w kroku 3.2.8 z dołączonym adapterem markera.

UWAGA: Obiekty wydrukowane w 3D z kroku 4.3 mogą być drukowane w dowolnym materiale kolorowym.

5. Wdrażanie aplikacji AR

UWAGA: Celem tej sekcji jest zaprojektowanie aplikacji na smartfony w silniku Unity, która zawiera modele 3D utworzone w poprzednich sekcjach i wdrożenie tej aplikacji na smartfonie. Do tego kroku wymagany jest klucz licencyjny Vuforia Development (bezpłatny do użytku osobistego). Aplikację można wdrożyć na urządzeniach z systemem Android lub iOS.

  1. Utwórz konto programisty Vuforia, aby uzyskać klucz licencyjny do korzystania z ich bibliotek w środowisku Unity. Przejdź do linku znajdującego się pod adresem https://developer.vuforia.com/vui/auth/register i utwórz konto.
    1. Przejdź do linku znajdującego się pod adresem https://developer.vuforia.com/vui/develop/Licenses i wybierz Pobierz klucz deweloperski. Następnie postępuj zgodnie z instrukcjami, aby dodać bezpłatny klucz licencji deweloperskiej do konta użytkownika.
    2. W menu License Manager (Menedżer licencji) wybierz klucz utworzony w poprzednim kroku i skopiuj podany klucz, który będzie używany w kroku 5.3.3.
  2. Skonfiguruj smartfon.
    1. Aby rozpocząć pracę z aparatem Unity i urządzeniami z systemem Android, przejdź do linku znajdującego się pod adresem https://docs.unity3d.com/Manual/android-GettingStarted.html.
    2. Aby rozpocząć pracę z aparatami Unity i urządzeniami z systemem iOS, przejdź do linku znajdującego się pod adresem https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
  3. Skonfiguruj projekt aparatu Unity dla aplikacji AR, najpierw otwierając program Unity w wersji 2019 i tworząc nowy projekt 3D. Następnie w obszarze Ustawienia kompilacji w menu Plik przełącz platformę na urządzenie z systemem Android lub iOS.
    1. Włącz Vuforię do projektu, wybierając Edytuj ustawienia projektu > > Ustawienia odtwarzacza > Ustawienia XR i zaznaczając pole oznaczone Vuforia Augmented Reality Support.
    2. Utwórz "ARCamera" w pasku menu > GameObject > Vuforia Engine > ARCamera i zaimportuj komponenty Vuforia po wyświetleniu monitu.
    3. Dodaj klucz licencyjny Vuforia do ustawień konfiguracji Vuforia, wybierając folder Zasoby i klikając Konfiguracja Vuforia. Następnie w sekcji Klucz licencyjny aplikacji wklej klucz skopiowany w sekcji 5.1.2.
    4. Zaimportuj plik Vuforia Target dostarczony w "/Data/Vuforia/ AR_Cube_3x3x3.unitypackage" do Unity, który zawiera pliki wymagane przez Vuforia do wykrycia znaczników opisanych w sekcji 4.
    5. Utwórz Vuforia MultiTarget w obszarze Pasek menu > GameObject > Vuforia Engine > Multi Image.
    6. Wybierz typ znacznika, który będzie używany do wykrywania, klikając na MultiTarget utworzony w poprzednim kroku. W opcji Baza danych w obszarze Zachowanie wielu celów wybierz opcję ARHealth_3DPrintedCube_30x30x30. W opcji Multi Target w obszarze Multi Target Behavior wybierz TwoColorCubeMarker lub StickerCubeMarker, w zależności od znacznika utworzonego w sekcji 4.
    7. Załaduj modele 3D utworzone w sekcji 3 do sceny aparatu Unity w obszarze MultiTarget, tworząc nowy folder o nazwie "Models" w folderze "Resources". Przeciągnij modele 3D do tego folderu. Po załadowaniu do aparatu Unity przeciągnij je pod element "MultiTarget" utworzony w kroku 5.3.5. To sprawi, że będą one zależne od markera.
      UWAGA: Modele powinny być widoczne w scenie widoku 3D aparatu Unity.
    8. Zmień kolory modeli 3D, tworząc nowy materiał i przypisując nowe materiały do modeli.
      1. Utwórz nowy folder o nazwie "Materiały" w folderze "Zasoby", przechodząc do Paska menu > Zasoby > Utwórz > Materiał. Wybierz materiał i zmień kolor w sekcji konfiguracji. Następnie przeciągnij plik w hierarchii modeli 3D.
    9. Opcjonalnie: jeśli dostępna jest kamera internetowa, kliknij przycisk odtwarzania znajdujący się w górnej środkowej części, aby przetestować jej działanie na komputerze. Jeśli znacznik jest widoczny dla kamery internetowej, powinien zostać wykryty, a modele 3D powinny pojawić się w scenie.
    10. Jeśli do wdrożenia aplikacji jest używany smartfon z systemem Android, przejdź do pozycji Ustawienia pliku > kompilacji w środowisku Unity i wybierz podłączony telefon z listy. Wybierz pozycję Wdróż i uruchom. Zapisz plik z rozszerzeniem .apk na komputerze i poczekaj, aż proces się zakończy. Po zakończeniu wdrażania aplikacja powinna być w telefonie i gotowa do uruchomienia.
      UWAGA: Ten protokół został przetestowany na systemie Android v.8.0 Oreo lub nowszym. W przypadku starszych wersji nie jest gwarantowana poprawna funkcjonalność.
    11. Jeśli aplikacja zostanie wdrożona na urządzeniu z systemem iOS, przejdź do pozycji Ustawienia kompilacji > pliku w środowisku Unity i wybierz pozycję Uruchom. Wybierz ścieżkę, aby zapisać pliki aplikacji. Poczekaj, aż proces się zakończy. Przejdź do zapisanego folderu i otwórz plik z rozszerzeniem ".projectxcode".
      1. W programie Xcode postępuj zgodnie z instrukcjami z kroku 5.2.2, aby ukończyć deployment.
        UWAGA: Aby uzyskać więcej informacji na temat Vuforia w Unity, przejdź do linku znajdującego się pod adresem https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.

6. Wizualizacja aplikacji

  1. Otwórz zainstalowaną aplikację, która będzie korzystać z aparatu w smartfonie. Podczas uruchamiania aplikacji spójrz na znacznik z aparatem z niewielkiej odległości (minimum 40 cm). Gdy aplikacja wykryje marker, modele 3D utworzone w poprzednich krokach powinny pojawić się dokładnie w miejscu zdefiniowanym podczas procedury na ekranie smartfona.
    UWAGA: Oświetlenie może zmienić precyzję wykrywania znaczników. Zaleca się korzystanie z aplikacji w środowiskach o dobrych warunkach oświetleniowych.

Wyniki

Protokół zastosowano do danych pacjenta cierpiącego na mięsak dystalnej części kończyny dolnej, aby zwizualizować dotknięty obszar anatomiczny w perspektywie 3D. Wykorzystując metodę opisaną w sekcji 2, odsegmentowano z tomografii komputerowej (CT) pacjenta fragment zajętej kości (w tym przypadku kości piszczelowej i strzałkowej) oraz guz. Następnie, przy użyciu narzędzi segmentacyjnych programu 3D Slicer, stworzono dwa biomodele: kości (fragment kości piszczelowej i strzałkowej) (Rysunek 1A) oraz guza (Rysunek 1B).

Następnie dwa modele 3D zostały wirtualnie ustawione względem markera w celu optymalizacji wizualizacji. W tym przykładzie zastosowano oba tryby opisane w sekcji 3. W trybie wizualizacji modele wycentrowano na górnej powierzchni markera (Rysunek 2). W trybie rejestracji adapter markera umieszczono w kości (konkretnie w kości piszczelowej [Rysunek 3]). Następnie wybrano niewielki fragment kości piszczelowej, który został wydrukowany w technologii 3D wraz z adapterem markera 3D (Rysunek 4). Do stworzenia wydrukowanych markerów 3D (Rysunek 5A, B), podstawy uchwytu markera (Rysunek 5C) dla trybu „wizualizacji” oraz fragmentu kości piszczelowej dla trybu „rejestracji” (Rysunek 5D) wykorzystano drukarkę 3D Ultimaker 3 extended oraz materiał PLA. Rysunek 5E przedstawia sposób przymocowania markera do wydrukowanej w 3D podstawy w trybie „wizualizacji”. Rysunek 5F pokazuje mocowanie do wydrukowanego w 3D biomodelu w trybie „rejestracji”. Na koniec wykorzystano środowisko Unity do stworzenia aplikacji i wdrożenia jej na smartfonie.

Rysunek 6 przedstawia działanie aplikacji w trybie „wizualizacji”. Hologram został precyzyjnie umieszczony w górnej części sześcianu, zgodnie z wcześniejszą definicją. Rysunek 7 pokazuje zastosowanie trybu „rejestracji”, w którym aplikacja nałożyła kompletny model kości na wydrukowaną w technologii 3D sekcję. Końcowa wizualizacja hologramów była wyraźna i realistyczna, zachowywała rzeczywiste rozmiary biomodeli oraz była precyzyjnie rozmieszczona. Podczas korzystania z aplikacji na smartfonie, marker AR musi być widoczny dla kamery, aby aplikacja mogła poprawnie wyświetlić hologramy. Ponadto warunki oświetleniowe w scenie muszą być dobre i stałe, aby zapewnić prawidłowe wykrywanie markera. Słabe oświetlenie lub odbicia światła od powierzchni markera utrudniają śledzenie markera AR i powodują nieprawidłowe działanie aplikacji.

Czas wymagany na stworzenie aplikacji zależy od kilku czynników. Czas trwania sekcji 1 jest ograniczony prędkością pobierania danych. W odniesieniu do segmentacji anatomii (sekcja 2), czynniki wpływające na czas segmentacji obejmują złożoność regionu oraz modalność obrazowania medycznego (np. obraz CT jest łatwy do segmentacji, podczas gdy MRI jest trudniejszy). Dla reprezentatywnego przykładu kości piszczelowej wygenerowanie obu modeli 3D ze skanu CT zajęło około 10 min. Pozycjonowanie biomodelu (sekcja 3) jest proste i bezpośrednie. W tym przypadku zdefiniowanie pozycji biomodelu względem markera AR zajęło około 5 min. W przypadku etapu druku 3D czas trwania jest silnie uzależniony od wybranego trybu. „Marker dwukolorowy” został wykonany w wysokiej jakości w czasie 5 h i 20 min. „Marker naklejkowy” został wykonany w czasie 1 h i 30 min, plus czas wymagany na naklejenie naklejek. Ostatni krok opracowania aplikacji może być czasochłonny dla osób bez wcześniejszego doświadczenia w Unity, ale można go łatwo ukończyć, postępując zgodnie z krokami protokołu. Po wydrukowaniu markerów AR w 3D opracowanie całkowicie nowej aplikacji AR może zostać przeprowadzone w czasie krótszym niż 1 h. Czas ten może zostać jeszcze bardziej skrócony wraz z dodatkowym doświadczeniem.

figure-results-1
Rysunek 1: Przedstawienie modeli 3D stworzonych z obrazu CT pacjenta cierpiącego na mięsak dystalnej części nogi. (A) Tkanka kostna przedstawiona na biało (kość piszczelowa i strzałkowa). (B) Guz przedstawiony na czerwono. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

figure-results-2
Rysunek 2: Wyniki pokazujące, w jaki sposób tryb „visualization” w programie 3D Slicer pozycjonuje wirtualne modele 3D kości i guza względem wydrukowanego w 3D znacznika referencyjnego. Modele 3D pacjenta (A) są umieszczone nad górną powierzchnią kostki znacznika (B). Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

figure-results-3
Rysunek 3: Wyniki pokazujące, w jaki sposób tryb „registration” w programie 3D Slicer pozycjonuje wirtualne modele 3D kości i guza (A) względem wydrukowanego w 3D znacznika referencyjnego (B). Adapter znacznika jest przymocowany do modelu tkanki kostnej. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

figure-results-4
Rysunek 4: Mały fragment tkanki kostnej oraz adapter markera 3D. Oba elementy zostają połączone, a następnie wydrukowane w technologii druku 3D. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

figure-results-5
Rysunek 5: Narzędzia wydrukowane w technologii 3D niezbędne do końcowego zastosowania. (A) „Dwukolorowy marker sześciany” wydrukowany w 3D z dwóch kolorów materiałów. (B) „Marker sześciany z naklejkami” wydrukowany w 3D, z przyklejonymi naklejkami. (C) Adaptor bazy markerów sześcianów. (D) Fragment modelu 3D tkanki kostnej pacjenta oraz adaptor markerów sześcianów. (E) „Marker sześciany z naklejkami” umieszczony w adaptorze bazy markerów sześcianów. (F) „Dwukolorowy marker sześciany” umieszczony w adaptorze markerów przymocowanym do anatomii pacjenta. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

figure-results-6
Rycina 6: Wyświetlanie aplikacji w trybie „wizualizacji”. Modele 3D zmienionej anatomicznie części ciała pacjenta są rozmieszczone nad górną ścianą wydrukowanego w 3D sześcianu. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

figure-results-7
Rycina 7: Wizualizacja AR podczas korzystania z trybu „rejestracji”. Wydrukowany w 3D marker umożliwia rejestrację wydrukowanego w 3D biomodelu z wirtualnymi modelami 3D. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Dyskusja

AR ma ogromny potencjał w edukacji, szkoleniach i poradnictwie chirurgicznym w dziedzinie medycyny. Jego połączenie z drukiem 3D otwiera nowe możliwości w zastosowaniach klinicznych. Protokół ten opisuje metodologię, która umożliwia niedoświadczonym użytkownikom stworzenie aplikacji na smartfony łączącej AR i 3DP do wizualizacji anatomicznych modeli 3D pacjentów za pomocą wydrukowanych w 3D markerów referencyjnych.

Ogólnie rzecz biorąc, jednym z najciekawszych zastosowań klinicznych AR i 3DP jest poprawa komunikacji między pacjentem a lekarzem poprzez danie pacjentowi innej perspektywy przypadku, poprawę wyjaśnień konkretnych schorzeń lub leczenia. Inne możliwe zastosowanie obejmuje wskazówki chirurgiczne dotyczące lokalizacji docelowej, w której wydrukowane w 3D narzędzia specyficzne dla pacjenta (z dołączonym referencyjnym markerem AR) mogą być umieszczane na sztywnych strukturach (tj. Kości) i wykorzystywane jako odniesienie do nawigacji. Ta aplikacja jest szczególnie przydatna w zabiegach ortopedycznych i chirurgii szczękowo-twarzowej, w których powierzchnia tkanki kostnej jest łatwo dostępna podczas operacji.

Protokół rozpoczyna się od sekcji 1, opisującej konfigurację stacji roboczej i niezbędne narzędzia programowe. W sekcji 2 opisano, jak korzystać z oprogramowania 3D Slicer w celu łatwej segmentacji docelowych anatomii pacjenta z dowolnej metody obrazowania medycznego w celu uzyskania modeli 3D. Ten krok jest kluczowy, ponieważ tworzone wirtualne modele 3D są wyświetlane w końcowej aplikacji AR.

W sekcji 3 3D Slicer służy do rejestrowania modeli 3D utworzonych w poprzedniej sekcji za pomocą znacznika AR. Podczas tej procedury rejestracji modele 3D pacjenta są sprawnie i prosto pozycjonowane w stosunku do markera AR. Pozycja zdefiniowana w tej sekcji określi względną pozycję hologramu w końcowej aplikacji. Uważa się, że rozwiązanie to zmniejsza złożoność i zwielokrotnia możliwe zastosowania. W rozdziale 3 opisano dwie różne opcje definiowania relacji przestrzennych między modelami a znacznikami AR: tryb "wizualizacji" i "rejestracji". Pierwsza opcja, tryb "wizualizacji", pozwala na umieszczenie modeli 3D w dowolnym miejscu względem znacznika i wyświetlenie ich jako całego biomodelu. Ten tryb zapewnia realistyczną, trójwymiarową perspektywę anatomii pacjenta i umożliwia poruszanie się i obracanie biomodeli poprzez przesuwanie śledzonego znacznika AR. Druga opcja, tryb "rejestracji", umożliwia zamocowanie i połączenie adaptera markera do dowolnej części biomodelu, oferując automatyczny proces rejestracji. Dzięki tej opcji niewielka część modelu 3D, w tym adapter markera, może zostać wydrukowana w 3D, a aplikacja może wyświetlić resztę modelu jako hologram.

Sekcja 4 zawiera wytyczne dotyczące procesu drukowania 3D. Po pierwsze, użytkownik może wybrać jeden z dwóch różnych markerów: "dwukolorowy marker" i "marker naklejkowy". Cały "dwukolorowy marker" można wydrukować w 3D, ale wymaga to drukarki 3D z podwójnym ekstruderem. W przypadku, gdy ta drukarka nie jest dostępna, proponowany jest "znacznik naklejek". Jest to prostszy marker, który można uzyskać, drukując strukturę sześcienną w 3D, a następnie wklejając obrazy sześcianu za pomocą papieru do naklejek lub kleju do naklejek. Co więcej, oba markery zostały zaprojektowane z wysuwanymi sekcjami, aby idealnie pasowały do konkretnego adaptera. Dzięki temu marker może być ponownie użyty w kilku przypadkach.

Sekcja 5 opisuje proces tworzenia projektu Unity dla AR przy użyciu zestawu do tworzenia oprogramowania Vuforia. Ten krok może być najtrudniejszy dla użytkowników bez doświadczenia w programowaniu, ale dzięki tym wskazówkom powinno być łatwiej uzyskać ostateczną aplikację, która jest przedstawiona w sekcji 6. Aplikacja wyświetla wirtualne modele pacjenta na ekranie smartfona, gdy kamera rozpozna marker wydrukowany w 3D. Aby aplikacja mogła wykryć znacznik 3D, wymagana jest minimalna odległość około 40 cm lub mniejsza od telefonu do znacznika, a także dobre warunki oświetleniowe.

Ostateczne zastosowanie tego protokołu pozwala użytkownikowi wybrać konkretne biomodele do wizualizacji i w jakich pozycjach. Dodatkowo aplikacja może przeprowadzać automatyczną rejestrację hologramu pacjenta za pomocą wydrukowanego w 3D markera i adaptera dołączonego do biomodelu. Rozwiązuje to problem rejestracji modeli wirtualnych w środowisku w bezpośredni i wygodny sposób. Co więcej, metodologia ta nie wymaga szerokiej wiedzy z zakresu obrazowania medycznego ani tworzenia oprogramowania, nie zależy od skomplikowanego sprzętu i drogiego oprogramowania oraz może być wdrożona w krótkim czasie. Oczekuje się, że metoda ta pomoże przyspieszyć przyjęcie technologii AR i 3DP przez lekarzy.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

Ten raport był wspierany przez projekty PI18/01625 i PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III i Europejski Fundusz Rozwoju Regionalnego "Una manera de hacer Europa") oraz IND2018/TIC-9753 (Comunidad de Madrid).

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Materiał do druku 3D: Akrylonitrylo-butadien-styren (ABS)Termoplastyczny materiał polimerowy zwykle stosowany w domowych drukarkach 3D.
Materiał do druku 3D: Kwas polimlekowy (PLA)Bioplastik zwykle stosowany w domowych drukarkach 3D.
3D SlicerPlatforma oprogramowania typu open source do informatyki obrazów medycznych, przetwarzania obrazów i wizualizacji trójwymiarowej
AndroidAlphabet, Inc.Android to mobilny system operacyjny opracowany przez Google. Jest oparty na zmodyfikowanej wersji jądra Linuksa i innego oprogramowania typu open source i jest przeznaczony głównie dla urządzeń mobilnych z ekranem dotykowym, takich jak smartfony i tablety.
Autodesk MeshmixerAutodesk, Inc.Meshmixer to najnowocześniejsze oprogramowanie do pracy z siatkami trójkątów. Wolne oprogramowanie.
System operacyjny iPhone'aApple, Inc.iPhone OS to mobilny system operacyjny stworzony i opracowany przez Apple Inc. wyłącznie dla swojego sprzętu.
Ultimaker 3 ExtendedUltimaker BVDrukarka 3D do modelowania osadzania z topionym tokiem.
JednośćUnity TechnologiesUnity to platforma programistyczna w czasie rzeczywistym do tworzenia 3D, 2D VR i Wizualizacje AR dla gier, motoryzacji, transportu, filmu, animacji, architektury, inżynierii i więcej. Wolne oprogramowanie.
XcodeApple, Inc.Xcode to kompletny zestaw narzędzi programistycznych do tworzenia aplikacji na komputery Mac, iPhone, iPad, Apple Watch i Apple TV. Wolne oprogramowanie.

Bibliografia

  1. Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
  2. Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
  3. Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
  4. Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210(2019).
  5. Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2(2018).
  6. Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
  7. Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
  8. Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1(2019).
  9. Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
  10. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  11. Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
  12. Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131(2016).
  13. De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
  14. Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
  15. Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
  16. Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
  17. Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
  18. Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
  19. Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Druk 3Daplikacja na smartfonaslicer 3DVuforia Engineobrazowanie medycznesegmentacja modelu 3Drejestracja marker wUnity Enginewydrukowany w 3D marker

Powiązane artykuły