Połączenie rzeczywistości rozszerzonej i druku 3D w celu wyświetlania modeli pacjentów na smartfonie

Podsumowanie

Przedstawiona tutaj jest metoda projektowania aplikacji na smartfony z rozszerzoną rzeczywistością do wizualizacji anatomicznych trójwymiarowych modeli pacjentów za pomocą wydrukowanego w 3D markera referencyjnego.

Streszczenie

Rozszerzona rzeczywistość (AR) ma ogromny potencjał w edukacji, szkoleniach i poradnictwie chirurgicznym w dziedzinie medycyny. Jego połączenie z drukiem trójwymiarowym (3D) (3DP) otwiera nowe możliwości w zastosowaniach klinicznych. Chociaż technologie te rozrosły się wykładniczo w ostatnich latach, ich przyjęcie przez lekarzy jest nadal ograniczone, ponieważ wymagają rozległej wiedzy z zakresu inżynierii i tworzenia oprogramowania. Dlatego celem tego protokołu jest opisanie krok po kroku metodologii umożliwiającej niedoświadczonym użytkownikom stworzenie aplikacji na smartfony, która łączy AR i 3DP do wizualizacji anatomicznych modeli 3D pacjentów za pomocą wydrukowanego w 3D markera referencyjnego. Protokół opisuje, w jaki sposób tworzyć wirtualne modele 3D anatomii pacjenta pochodzące z obrazów medycznych 3D. Następnie wyjaśniono, w jaki sposób wykonać pozycjonowanie modeli 3D względem odniesień do znaczników. Znajdują się tam również instrukcje dotyczące drukowania 3D wymaganych narzędzi i modeli. Na koniec podano kroki wdrażania aplikacji. Protokół jest oparty na darmowym i wieloplatformowym oprogramowaniu i może być stosowany do dowolnej metody obrazowania medycznego lub pacjenta. Opisano alternatywne podejście zapewniające automatyczną rejestrację między wydrukowanym w 3D modelem utworzonym na podstawie anatomii pacjenta a wyświetlanymi hologramami. Jako przykład podano przypadek kliniczny pacjenta cierpiącego na mięsaka dystalnej części nogi w celu zilustrowania metodologii. Oczekuje się, że protokół ten przyspieszy przyjęcie technologii AR i 3DP przez lekarzy.

Wprowadzenie

AR i 3DP to technologie, które zapewniają coraz większą liczbę zastosowań w medycynie. W przypadku AR jego interakcja z wirtualnymi modelami 3D i rzeczywistym środowiskiem przynosi korzyści lekarzom w zakresie edukacji i szkoleń^1,2,3, komunikacja i interakcje z innymi lekarzami⁴, oraz wskazówki podczas interwencji klinicznych^5,6,7,8,9,10. Podobnie, 3DP stał się potężnym rozwiązaniem dla lekarzy podczas opracowywania narzędzi dostosowanych do potrzeb pacjenta^11,12,13 lub tworzenia modeli 3D anatomii pacjenta, które mogą pomóc w usprawnieniu planowania przedoperacyjnego i interwencji klinicznych^14,15.

Zarówno technologie AR, jak i 3DP pomagają poprawić orientację, wskazówki i umiejętności przestrzenne w procedurach medycznych; dlatego ich połączenie jest kolejnym logicznym krokiem. Wcześniejsze prace wykazały, że ich wspólne stosowanie może zwiększyć wartość w edukacji pacjentów¹⁶, ułatwiając wyjaśnienie schorzeń i proponowanego leczenia, optymalizując przepływ pracy w chirurgii^17,18 i poprawiając rejestrację pacjenta do modelu¹⁹. Chociaż technologie te rozrosły się wykładniczo w ostatnich latach, ich przyjęcie przez lekarzy jest nadal ograniczone, ponieważ wymagają rozległej wiedzy z zakresu inżynierii i tworzenia oprogramowania. Dlatego celem niniejszej pracy jest opisanie krok po kroku metodologii, która umożliwia korzystanie z AR i 3DP przez niedoświadczonych użytkowników bez konieczności posiadania szerokiej wiedzy technicznej.

Ten protokół opisuje, jak stworzyć aplikację AR na smartfony, która pozwala na nałożenie dowolnego modelu 3D pacjenta na rzeczywiste środowisko za pomocą wydrukowanego w 3D markera śledzonego przez kamerę smartfona. Ponadto opisano alternatywne podejście zapewniające automatyczną rejestrację między biomodelem wydrukowanym w 3D (tj. modelem 3D utworzonym na podstawie anatomii pacjenta) a wyświetlanymi hologramami. Opisany protokół jest w całości oparty na darmowym i wieloplatformowym oprogramowaniu.

W poprzedniej pracy rejestracja pacjenta w AR na obraz była obliczana ręcznie⁵ z algorytmami rozpoznawania powierzchni¹⁰ lub była niedostępna². Metody te zostały uznane za nieco ograniczone, gdy wymagana jest dokładna rejestracja¹⁹. Aby przezwyciężyć te ograniczenia, prace te dostarczają narzędzi do wykonywania dokładnej i prostej rejestracji pacjenta do obrazu w procedurach AR poprzez połączenie technologii AR i 3DP.

Protokół jest ogólny i może być stosowany do dowolnej metody obrazowania medycznego lub pacjenta. Jako przykład podano rzeczywisty przypadek kliniczny pacjenta cierpiącego na mięsaka dystalnej części nogi w celu zilustrowania metodologii. W pierwszym kroku opisano, jak łatwo podzielić chorą anatomię na podstawie obrazów medycznych tomografii komputerowej (CT) w celu wygenerowania wirtualnych modeli 3D. Następnie wykonywane jest pozycjonowanie modeli 3D, a następnie wymagane narzędzia i modele są drukowane w 3D. Na koniec wdrażana jest żądana aplikacja AR. Aplikacja ta pozwala na wizualizację modeli 3D pacjenta nałożonych na kamerę smartfona w czasie rzeczywistym.

Protokół

To badanie zostało przeprowadzone zgodnie z zasadami Deklaracji Helsińskiej z 1964 roku, zrewidowanej w 2013 roku. Zanonimizowane dane pacjenta i zdjęcia zawarte w tym artykule są wykorzystywane po uzyskaniu pisemnej świadomej zgody uczestnika i/lub jego przedstawiciela prawnego, w której wyraził on zgodę na wykorzystanie tych danych do działań upowszechniających, w tym publikacji naukowych.

1. Konfiguracja stacji roboczej do segmentacji, ekstrakcji modeli 3D, pozycjonowania i wdrażania aplikacji AR

UWAGA: Ten protokół został przetestowany z konkretną wersją oprogramowania wskazaną dla każdego narzędzia. Prawdopodobnie będzie działać z nowszymi wersjami, chociaż nie jest to gwarantowane.

1. Użyj komputera z systemem operacyjnym Microsoft Windows 10 lub Mac OS.
2. Zainstaluj następujące narzędzia z odpowiednich stron internetowych zgodnie z oficjalnymi instrukcjami:
   3D Slicer (v. 4.10.2): https://download.slicer.org/.
   Meshmixer (wersja 3.5): http://www.meshmixer.com/download.html.
   Jedność (wersja 2019): https://unity3d.com/get-unity/download.
   (Tylko w przypadku wdrożenia systemu iOS) Xcode (ostatnia wersja): https://developer.apple.com/xcode/.
   UWAGA: Wszystkie narzędzia programowe wymagane do wypełnienia protokołu można bezpłatnie pobrać do celów osobistych. Oprogramowanie, które ma być używane na każdym etapie, zostanie wyraźnie wskazane.
3. Pobierz dane z następującego repozytorium GitHub, które znajduje się pod adresem https://github.com/BIIG-UC3M/OpenARHealth.
   UWAGA: Repozytorium zawiera następujące foldery:
   "/3DSlicerModule/": moduł slicera 3D do pozycjonowania modeli 3D względem markera wydrukowanego w 3D. Użyte w sekcji 3. Dodaj moduł do fragmentatora 3D, postępując zgodnie z instrukcjami dostępnymi pod adresem https://github.com/BIIG-UC3M/OpenARHealth.
   "/Data/PatientData/Patient000_CT.nrrd": Tomografia komputerowa pacjenta cierpiącego na mięsaka dystalnej części nogi. Protokół jest opisany przy użyciu tego obrazu jako przykładu.
   "/Dane/Biomodele/": Modele 3D pacjenta (kości i guza).
   "/Data/Markers/": Znaczniki, które zostaną wydrukowane w 3D, które zostaną wykryte przez aplikację AR w celu ustawienia wirtualnych modeli 3D. Dostępne są dwa znaczniki.

2. Tworzenie biomodelu

UWAGA: Celem tej sekcji jest stworzenie modeli 3D anatomii pacjenta. Zostaną one uzyskane poprzez zastosowanie metod segmentacji do obrazu medycznego (w tym przypadku za pomocą obrazu TK). Proces składa się z trzech różnych etapów: 1) załadowanie danych pacjenta do oprogramowania 3D slicer, 2) segmentacja objętości anatomii docelowej oraz 3) eksport segmentacji jako modeli 3D w formacie OBJ. Powstałe modele 3D zostaną zwizualizowane w finalnej aplikacji AR.

1. Załaduj dane pacjenta ("/Data/PatientData/Patient000_CT.nrrd"), przeciągając plik obrazu medycznego do okna oprogramowania slicera 3D. Kliknij przycisk OK. Widoki CT (osiowy, strzałkowy, czołowy) pojawią się w odpowiednich oknach.
   UWAGA: Dane użyte w tym miejscu znajdują się w formacie "prawie surowych danych rastrowych" (NRRD), ale 3D Slicer umożliwia ładowanie plików w formacie obrazu medycznego (DICOM). Przejdź do poniższego linku, aby uzyskać dalsze instrukcje, znajdującego się pod adresem https://www.slicer.org/wiki/Documentation/4.10/Training.
2. Aby podzielić anatomię pacjenta na segmenty, przejdź do modułu Edytor segmentów we fragmentatorze 3D.
   1. Element "segmentacji" jest tworzony automatycznie po wejściu do modułu. Wybierz żądaną objętość (obraz medyczny pacjenta) w sekcji Objętość główna. Następnie kliknij prawym przyciskiem myszy poniżej przycisk Dodaj, aby utworzyć segment. Zostanie utworzony nowy segment o nazwie "Segment_1".
   2. Istnieje panel o nazwie Efekty, który zawiera różne narzędzia do prawidłowej segmentacji obszaru docelowego obrazu medycznego. Wybierz najwygodniejsze narzędzie dla celu i podziel się na segmenty w obszarze okien obrazu.
      1. Aby podzielić kość na segmenty (w tym przypadku kość piszczelową i strzałkową), użyj narzędzia Próg, aby ustawić minimalne i maksymalne wartości HU z obrazu CT, które odpowiadają tkance kostnej. Za pomocą tego narzędzia usuwane są inne elementy, których HU wykracza poza te wartości progowe, takie jak tkanki miękkie.
      2. Użyj narzędzia Nożyczki, aby usunąć niepożądane obszary, takie jak łóżko lub inne struktury anatomiczne, z maski segmentowej. Podziel mięsaka na segmenty ręcznie za pomocą narzędzi Rysuj i Wymazuj, ponieważ guz jest trudny do konturowania za pomocą narzędzi automatycznych.
         UWAGA: Aby dowiedzieć się więcej o procedurze segmentacji, przejdź do linku znajdującego się pod adresem https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
   3. Kliknij przycisk Pokaż 3D, aby wyświetlić reprezentację 3D segmentacji.
3. Wyeksportuj segmentację w formacie pliku modelu 3D, przechodząc do modułu Segmentacje we fragmentatorze 3D.
   1. Przejdź do sekcji Eksport/import modeli i map etykiet. Wybierz opcję Eksportuj w sekcji operacji i Modele w sekcji Typ danych wyjściowych. Kliknij przycisk Eksportuj, aby zakończyć i utworzyć model 3D z segmentowanego obszaru.
   2. Wybierz ZAPISZ (w lewym górnym rogu), aby zapisać model. Wybierz elementy, które chcesz zapisać. Następnie zmień format pliku modelu 3D na "OBJ" w kolumnie Format pliku. Wybierz ścieżkę, w której będą przechowywane pliki i kliknij Zapisz.
4. Powtórz kroki 2.2 i 2.3, aby utworzyć dodatkowe modele 3D różnych obszarów anatomicznych.
   UWAGA: Wstępnie podzielone na segmenty modele z podanego przykładu można znaleźć w danych pobranych wcześniej w kroku 1.3 ("/Dane/Biomodele/").

3. Pozycjonowanie biomodelu

UWAGA: W tej sekcji modele 3D utworzone w sekcji 2 zostaną ustawione względem znacznika do wizualizacji rzeczywistości rozszerzonej. Do tego zadania zostanie wykorzystany moduł ARHealth: Model Position z 3D Slicer. Postępuj zgodnie z instrukcjami podanymi w kroku 1.3, aby dodać moduł do narzędzia 3D Slicer. Istnieją dwie różne alternatywy pozycjonowania modeli 3D: tryb "Wizualizacja" i tryb "Rejestracja".

1. Tryb wizualizacji
   UWAGA: Tryb wizualizacji umożliwia ustawienie modeli 3D pacjenta w dowolnej pozycji w stosunku do markera AR. Dzięki tej opcji użytkownik może korzystać z aplikacji AR do wizualizacji biomodeli za pomocą wydrukowanego w 3D markera AR jako odniesienia. Ten tryb może być używany, gdy precyzja nie jest wymagana, a wizualizacja wirtualnego modelu może być wyświetlana w dowolnym miejscu w polu widzenia kamery smartfona i markera.
   1. Przejdź do modułu ARHealth: Model Position i (w sekcji inicjalizacji) wybierz Tryb wizualizacji. Kliknij Załaduj model znacznika, aby załadować znacznik dla tej opcji.
   2. Załaduj modele 3D utworzone w sekcji 2, klikając przycisk ..., aby wybrać ścieżkę zapisanych modeli z sekcji 2. Następnie kliknij przycisk Załaduj model, aby załadować go do fragmentatora 3D. Modele muszą być ładowane pojedynczo. Aby usunąć wszystkie wcześniej załadowane modele, kliknij ten model, a następnie przycisk Usuń model lub kliknij Usuń wszystko, aby usunąć wszystkie załadowane modele jednocześnie.
   3. Kliknij przycisk Zakończ i wyśrodkuj, aby wyśrodkować wszystkie modele w obrębie znacznika.
   4. Położenie, orientację i skalowanie modeli 3D można modyfikować w odniesieniu do znacznika za pomocą różnych suwaków (tj. translacja, obrót, skala).
      UWAGA: Istnieje dodatkowy przycisk "Resetuj pozycję", który umożliwia zresetowanie pierwotnej pozycji modeli przed dokonaniem jakichkolwiek zmian w pozycji.
   5. Zapisz modele w tym miejscu, wybierając ścieżkę do przechowywania plików i klikając przycisk Zapisz modele. Modele 3D zostaną zapisane z nazwą rozszerzenia "_registered.obj".
2. Tryb rejestracji
   UWAGA: Tryb rejestracji umożliwia połączenie markera AR z jednym biomodelem 3D w dowolnie wybranej pozycji. Następnie dowolny przekrój połączonych modeli 3D (w tym marker AR) może zostać wyodrębniony i wydrukowany w 3D. Wszystkie biomodele zostaną wyświetlone w aplikacji AR przy użyciu tego połączonego biomodelu wydrukowanego w 3D jako odniesienia. Tryb ten pozwala użytkownikowi w łatwy sposób zarejestrować pacjenta (w tym przypadku wycinek kości pacjenta) oraz modele wirtualne za pomocą znacznika referencyjnego.
   1. Przejdź do modułu ARHealth: Model Position i (w sekcji inicjalizacji) wybierz Tryb rejestracji. Kliknij Załaduj model znacznika, aby załadować znacznik dla tej opcji.
   2. Załaduj modele tak, jak w kroku 3.1.2.
   3. Przesuń modele 3D i upewnij się, że przecinają się ze strukturą nośną znacznika sześcianu, ponieważ modele te zostaną później połączone i wydrukowane w 3D. Wysokość podstawy znacznika można modyfikować. Położenie, orientacja i skalowanie modeli 3D mogą być modyfikowane w odniesieniu do znacznika za pomocą różnych suwaków (tj. translacja, obrót, skala).
   4. Zapisz modele w tym miejscu, wybierając ścieżkę do przechowywania plików i klikając przycisk Zapisz modele. Modele 3D zostaną zapisane z nazwą rozszerzenia "_registered.obj".
   5. Model anatomiczny może być zbyt duży. Jeśli tak, wytnij model 3D wokół adaptera markera i wydrukuj w 3D tylko fragment kombinacji obu modeli za pomocą oprogramowania Meshmixer.
   6. Otwórz Meshmixer i załaduj biomodel oraz strukturę nośną modelu znacznika sześcianu zapisanego w kroku 3.2.4. Połącz te modele, wybierając oba modele w oknie Przeglądarka obiektów. Kliknij opcję Połącz w oknie narzędzi, które właśnie pojawiło się w lewym górnym rogu.
   7. W Meshmixer użyj narzędzia Plane Cut w menu Edycja, aby usunąć niechciane sekcje modelu, które nie zostaną wydrukowane w 3D.
   8. Aby zapisać model do druku 3D, przejdź do Plik > Eksport i wybierz żądany format.

4. 3D Drukowanie

UWAGA: Celem tego kroku jest wydrukowanie w 3D modeli fizycznych wymaganych do końcowego zastosowania AR. Znacznik, który ma być wykrywany przez aplikację, oraz różne potrzebne obiekty zależą od trybu wybranego w sekcji 3. Do druku 3D na potrzeby tej pracy można użyć dowolnego materiału, przy jednoczesnym przestrzeganiu wymagań dotyczących materiałów kolorowych wymaganych na każdym kroku. Kwas polimlekowy (PLA) lub akrylonitryl-butadien-styren (ABS) są wystarczającym wyborem.

1. Użyj drukarki 3D, aby wydrukować sześcienny znacznik. Jeśli drukarka 3D z podwójnym ekstruderem nie jest dostępna, przejdź do kroku 4.2. Użyj drukarki 3D z podwójnym ekstruderem, aby wydrukować dwukolorowy znacznik dostarczony w "Dane/Znaczniki/Marker1_TwoColorCubeMarker/". W oprogramowaniu do drukowania 3D wybierz materiał w kolorze białym dla pliku "TwoColorCubeMarker_WHITE.obj" i materiał w kolorze czarnym dla "TwoColorCubeMarker_BLACK.obj".
   UWAGA: Aby uzyskać lepsze wykrywanie znaczników, drukuj w trybie wysokiej jakości z małą wysokością warstwy.
2. Jeśli drukarka 3D z podwójnym ekstruderem nie jest dostępna, a krok 4.1 nie został wykonany, wykonaj ten krok, aby wydrukować wydrukowany w 3D marker z naklejkami jako alternatywę, wykonując następujące czynności:
   1. Użyj drukarki 3D, aby wydrukować plik "Dane/Markery/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj" z materiałem w kolorze białym.
   2. Użyj konwencjonalnej drukarki, aby wydrukować plik "Dane/Markery/ Marker2_StickerCubeMarker/Stickers.pdf" na papierze samoprzylepnym. Następnie użyj dowolnego narzędzia tnącego, aby precyzyjnie przeciąć obrazy przez czarną ramkę, usuwając czarne linie.
      UWAGA: Zaleca się użycie papieru do naklejek w celu uzyskania markera wyższej jakości. Jednak obrazy można wydrukować na zwykłym papierze, a do wklejenia obrazów na kostce można użyć zwykłego kleju w sztyfcie.
   3. Umieść naklejki w kostce wydrukowanej w 3D uzyskanej w kroku 4.2.1 w odpowiedniej kolejności, postępując zgodnie z instrukcjami z dokumentu "Dane/Markery/ Marker2_StickerCubeMarker/Stickers.pdf".
      UWAGA: Naklejki są mniejsze niż lico sześcianu. Pozostaw ramkę o średnicy 1,5 mm między naklejką a krawędzią twarzy. "Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl" można wydrukować w 3D, aby poprowadzić pozycjonowanie naklejki i dokładnie dopasować się do środka powierzchni sześcianu.
3. Wydrukuj adaptery w 3D, w zależności od trybu wybranego w sekcji 3.
   1. W przypadku wybrania trybu wizualizacji (sekcja 3.1), druk 3D "Data/3DPrinting/Option1/ MarkerBaseTable.obj", który jest adapterem bazowym służącym do umieszczenia znacznika w pozycji pionowej na poziomej powierzchni.
   2. Jeśli wybrano tryb rejestracji (sekcja 3.2), wydrukuj w 3D model utworzony w kroku 3.2.8 z dołączonym adapterem markera.

UWAGA: Obiekty wydrukowane w 3D z kroku 4.3 mogą być drukowane w dowolnym materiale kolorowym.

5. Wdrażanie aplikacji AR

UWAGA: Celem tej sekcji jest zaprojektowanie aplikacji na smartfony w silniku Unity, która zawiera modele 3D utworzone w poprzednich sekcjach i wdrożenie tej aplikacji na smartfonie. Do tego kroku wymagany jest klucz licencyjny Vuforia Development (bezpłatny do użytku osobistego). Aplikację można wdrożyć na urządzeniach z systemem Android lub iOS.

1. Utwórz konto programisty Vuforia, aby uzyskać klucz licencyjny do korzystania z ich bibliotek w środowisku Unity. Przejdź do linku znajdującego się pod adresem https://developer.vuforia.com/vui/auth/register i utwórz konto.
   1. Przejdź do linku znajdującego się pod adresem https://developer.vuforia.com/vui/develop/Licenses i wybierz Pobierz klucz deweloperski. Następnie postępuj zgodnie z instrukcjami, aby dodać bezpłatny klucz licencji deweloperskiej do konta użytkownika.
   2. W menu License Manager (Menedżer licencji) wybierz klucz utworzony w poprzednim kroku i skopiuj podany klucz, który będzie używany w kroku 5.3.3.
2. Skonfiguruj smartfon.
   1. Aby rozpocząć pracę z aparatem Unity i urządzeniami z systemem Android, przejdź do linku znajdującego się pod adresem https://docs.unity3d.com/Manual/android-GettingStarted.html.
   2. Aby rozpocząć pracę z aparatami Unity i urządzeniami z systemem iOS, przejdź do linku znajdującego się pod adresem https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
3. Skonfiguruj projekt aparatu Unity dla aplikacji AR, najpierw otwierając program Unity w wersji 2019 i tworząc nowy projekt 3D. Następnie w obszarze Ustawienia kompilacji w menu Plik przełącz platformę na urządzenie z systemem Android lub iOS.
   1. Włącz Vuforię do projektu, wybierając Edytuj ustawienia projektu > > Ustawienia odtwarzacza > Ustawienia XR i zaznaczając pole oznaczone Vuforia Augmented Reality Support.
   2. Utwórz "ARCamera" w pasku menu > GameObject > Vuforia Engine > ARCamera i zaimportuj komponenty Vuforia po wyświetleniu monitu.
   3. Dodaj klucz licencyjny Vuforia do ustawień konfiguracji Vuforia, wybierając folder Zasoby i klikając Konfiguracja Vuforia. Następnie w sekcji Klucz licencyjny aplikacji wklej klucz skopiowany w sekcji 5.1.2.
   4. Zaimportuj plik Vuforia Target dostarczony w "/Data/Vuforia/ AR_Cube_3x3x3.unitypackage" do Unity, który zawiera pliki wymagane przez Vuforia do wykrycia znaczników opisanych w sekcji 4.
   5. Utwórz Vuforia MultiTarget w obszarze Pasek menu > GameObject > Vuforia Engine > Multi Image.
   6. Wybierz typ znacznika, który będzie używany do wykrywania, klikając na MultiTarget utworzony w poprzednim kroku. W opcji Baza danych w obszarze Zachowanie wielu celów wybierz opcję ARHealth_3DPrintedCube_30x30x30. W opcji Multi Target w obszarze Multi Target Behavior wybierz TwoColorCubeMarker lub StickerCubeMarker, w zależności od znacznika utworzonego w sekcji 4.
   7. Załaduj modele 3D utworzone w sekcji 3 do sceny aparatu Unity w obszarze MultiTarget, tworząc nowy folder o nazwie "Models" w folderze "Resources". Przeciągnij modele 3D do tego folderu. Po załadowaniu do aparatu Unity przeciągnij je pod element "MultiTarget" utworzony w kroku 5.3.5. To sprawi, że będą one zależne od markera.
      UWAGA: Modele powinny być widoczne w scenie widoku 3D aparatu Unity.
   8. Zmień kolory modeli 3D, tworząc nowy materiał i przypisując nowe materiały do modeli.
      1. Utwórz nowy folder o nazwie "Materiały" w folderze "Zasoby", przechodząc do Paska menu > Zasoby > Utwórz > Materiał. Wybierz materiał i zmień kolor w sekcji konfiguracji. Następnie przeciągnij plik w hierarchii modeli 3D.
   9. Opcjonalnie: jeśli dostępna jest kamera internetowa, kliknij przycisk odtwarzania znajdujący się w górnej środkowej części, aby przetestować jej działanie na komputerze. Jeśli znacznik jest widoczny dla kamery internetowej, powinien zostać wykryty, a modele 3D powinny pojawić się w scenie.
   10. Jeśli do wdrożenia aplikacji jest używany smartfon z systemem Android, przejdź do pozycji Ustawienia pliku > kompilacji w środowisku Unity i wybierz podłączony telefon z listy. Wybierz pozycję Wdróż i uruchom. Zapisz plik z rozszerzeniem .apk na komputerze i poczekaj, aż proces się zakończy. Po zakończeniu wdrażania aplikacja powinna być w telefonie i gotowa do uruchomienia.
       UWAGA: Ten protokół został przetestowany na systemie Android v.8.0 Oreo lub nowszym. W przypadku starszych wersji nie jest gwarantowana poprawna funkcjonalność.
   11. Jeśli aplikacja zostanie wdrożona na urządzeniu z systemem iOS, przejdź do pozycji Ustawienia kompilacji > pliku w środowisku Unity i wybierz pozycję Uruchom. Wybierz ścieżkę, aby zapisać pliki aplikacji. Poczekaj, aż proces się zakończy. Przejdź do zapisanego folderu i otwórz plik z rozszerzeniem ".projectxcode".
       1. W programie Xcode postępuj zgodnie z instrukcjami z kroku 5.2.2, aby ukończyć deployment.
          UWAGA: Aby uzyskać więcej informacji na temat Vuforia w Unity, przejdź do linku znajdującego się pod adresem https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.

6. Wizualizacja aplikacji

1. Otwórz zainstalowaną aplikację, która będzie korzystać z aparatu w smartfonie. Podczas uruchamiania aplikacji spójrz na znacznik z aparatem z niewielkiej odległości (minimum 40 cm). Gdy aplikacja wykryje marker, modele 3D utworzone w poprzednich krokach powinny pojawić się dokładnie w miejscu zdefiniowanym podczas procedury na ekranie smartfona.
   UWAGA: Oświetlenie może zmienić precyzję wykrywania znaczników. Zaleca się korzystanie z aplikacji w środowiskach o dobrych warunkach oświetleniowych.

Wyniki

Protokół został zastosowany do danych od pacjenta cierpiącego na mięsaka dystalnej nogi w celu wizualizacji dotkniętego obszaru anatomicznego z perspektywy 3D. Stosując metodę opisaną w punkcie 2, część chorej kości (w tym przypadku kość piszczelowa i strzałkowa) oraz guz zostały wydzielone z tomografii komputerowej pacjenta. Następnie, korzystając z narzędzi do segmentacji z 3D Slicer, stworzono dwa biomodele: kość (przekrój kości piszczelowej i strzałkowej) (Rysunek 1A) i nowotwór (Rysunek 1B).

Następnie, dwa modele 3D zostały ustawione wirtualnie względem znacznika dla optymalnej wizualizacji. W tym przykładzie zastosowano oba tryby opisane w sekcji 3. W trybie wizualizacji modele zostały wyśrodkowane w górnej powierzchni znacznika (Rysunek 2). W trybie rejestracji adapter markera został umieszczony w kości (w szczególności w kości piszczelowej [Rysunek 3]). Następnie wybrano niewielką część kości piszczelowej do wydrukowania w 3D za pomocą adaptera markera 3D (Rysunek 4). Rozszerzona drukarka 3D Ultimaker 3 z materiałem PLA została użyta do stworzenia wydrukowanych w 3D markerów ( Rysunek 5A, B), podstawa uchwytu markera ( Rysunek 5C) dla trybu "wizualizacji" oraz sekcja kości piszczelowej dla trybu "rejestracji" ( Rysunek 5D). Rysunek 5E pokazuje, jak znacznik został przymocowany do bazy wydrukowanej w 3D w trybie "wizualizacji". Rysunek 5F pokazuje załącznik z wydrukowanym w 3D biomodelem w trybie "rejestracji". Na koniec Unity został użyty do stworzenia aplikacji i wdrożenia jej na smartfonie.

Rysunek 6 pokazuje, jak aplikacja działała w trybie "wizualizacji". Hologram został dokładnie umieszczony w górnej części sześcianu, jak wcześniej zdefiniowano. Rysunek 7 pokazuje aplikację w trybie "rejestracji", w którym aplikacja umieściła cały model kości na sekcji wydrukowanej w 3D. Ostateczna wizualizacja hologramów była przejrzysta i realistyczna, zachowywała rzeczywiste rozmiary biomodeli i dokładnie je ustawiała. Podczas korzystania z aplikacji na smartfony znacznik AR musi być widoczny dla aparatu, aby aplikacja poprawnie wyświetlała hologramy. Ponadto warunki oświetleniowe w scenie muszą być dobrej jakości i stałe, aby zapewnić prawidłowe wykrywanie znaczników. Złe warunki oświetleniowe lub odbicia na powierzchni markera utrudniają śledzenie markera AR i powodują nieprawidłowe działanie aplikacji.

Czas potrzebny na stworzenie aplikacji zależy od kilku czynników. Czas trwania sekcji 1 jest ograniczony prędkością pobierania. Jeśli chodzi o segmentację anatomiczną (sekcja 2), czynniki wpływające na czas segmentacji obejmują złożoność regionu i modalność obrazowania medycznego (tj. CT można łatwo segmentować, podczas gdy MRI jest trudniejsze). W przypadku reprezentatywnego przykładu kości piszczelowej potrzeba było około 10 minut na wygenerowanie obu modeli 3D z tomografii komputerowej. Pozycjonowanie biomodelowe (sekcja 3) jest proste i nieskomplikowane. W tym przypadku zdefiniowanie pozycji biomodelu w stosunku do markera AR zajęło około 5 minut. W przypadku etapu drukowania 3D czas trwania jest w dużym stopniu zależny od wybranego trybu. "Dwukolorowy marker" został wyprodukowany w wysokiej jakości w czasie 5 h i 20 minut. "Marker do naklejek" został wyprodukowany w czasie 1 h i 30 minut, plus czas potrzebny na naklejenie naklejek. Ostatni krok tworzenia aplikacji może być czasochłonny dla osób bez wcześniejszego doświadczenia w środowisku Unity, ale można go łatwo wykonać, postępując zgodnie z krokami protokołu. Po wydrukowaniu markerów AR w 3D, opracowanie zupełnie nowej aplikacji AR można wykonać w mniej niż 1 godzinę. Czas ten można jeszcze bardziej skrócić dzięki dodatkowemu doświadczeniu.

Rycina 1: Reprezentacja modeli 3D utworzonych na podstawie obrazu TK pacjenta cierpiącego na mięsaka dystalnej części nogi. (A) Tkanka kostna reprezentowana w kolorze białym (kość piszczelowa i strzałkowa). (B) Guz zaznaczony na czerwono. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Wyniki pokazujące, w jaki sposób tryb "wizualizacji" w 3D Slicer pozycjonuje wirtualne modele 3D kości i guza w odniesieniu do odniesienia do markera wydrukowanego w 3D. Modele 3D pacjenta (A) są umieszczone nad górną powierzchnią kostki znacznika (B). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Wyniki pokazujące, w jaki sposób tryb "rejestracji" w 3D Slicer pozycjonuje wirtualne modele 3D kości i guza (A) w odniesieniu do odniesienia do markera wydrukowanego w 3D (B). Adapter markera jest przymocowany do modelu tkanki kostnej. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Ryc. 4: Mały wycinek tkanki kostnej i adapter markera 3D. Oba komponenty są łączone, a następnie drukowane w 3D. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5: Narzędzia drukowane w 3D wymagane do końcowego zastosowania. (A) "Dwukolorowy marker sześcienny" wydrukowany w 3D z dwoma kolorami materiałów. (B) "Sticker cube marker" wydrukowany w 3D, z naklejonymi naklejkami. (C) Adapter kostki podstawy znacznika. (D) Przekrój modelu 3D tkanki kostnej pacjenta i adapter kostki markera. (E) "Naklejka kostka markera" umieszczona w adapterze kostki podstawy markera. (F) "Dwukolorowy marker sześcienny" umieszczony w adapterze markera dołączonym do anatomii pacjenta. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 6: Wyświetlanie aplikacji w trybie "wizualizacji". Modele 3D anatomii pacjenta są umieszczane nad górną powierzchnią sześcianu wydrukowanego w 3D. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 7: Wizualizacja AR podczas korzystania z trybu "rejestracji". Marker wydrukowany w 3D umożliwia rejestrację wydrukowanego w 3D biomodelu z wirtualnymi modelami 3D. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Dyskusja

AR ma ogromny potencjał w edukacji, szkoleniach i poradnictwie chirurgicznym w dziedzinie medycyny. Jego połączenie z drukiem 3D otwiera nowe możliwości w zastosowaniach klinicznych. Protokół ten opisuje metodologię, która umożliwia niedoświadczonym użytkownikom stworzenie aplikacji na smartfony łączącej AR i 3DP do wizualizacji anatomicznych modeli 3D pacjentów za pomocą wydrukowanych w 3D markerów referencyjnych.

Ogólnie rzecz biorąc, jednym z najciekawszych zastosowań klinicznych AR i 3DP jest poprawa komunikacji między pacjentem a lekarzem poprzez danie pacjentowi innej perspektywy przypadku, poprawę wyjaśnień konkretnych schorzeń lub leczenia. Inne możliwe zastosowanie obejmuje wskazówki chirurgiczne dotyczące lokalizacji docelowej, w której wydrukowane w 3D narzędzia specyficzne dla pacjenta (z dołączonym referencyjnym markerem AR) mogą być umieszczane na sztywnych strukturach (tj. Kości) i wykorzystywane jako odniesienie do nawigacji. Ta aplikacja jest szczególnie przydatna w zabiegach ortopedycznych i chirurgii szczękowo-twarzowej, w których powierzchnia tkanki kostnej jest łatwo dostępna podczas operacji.

Protokół rozpoczyna się od sekcji 1, opisującej konfigurację stacji roboczej i niezbędne narzędzia programowe. W sekcji 2 opisano, jak korzystać z oprogramowania 3D Slicer w celu łatwej segmentacji docelowych anatomii pacjenta z dowolnej metody obrazowania medycznego w celu uzyskania modeli 3D. Ten krok jest kluczowy, ponieważ tworzone wirtualne modele 3D są wyświetlane w końcowej aplikacji AR.

W sekcji 3 3D Slicer służy do rejestrowania modeli 3D utworzonych w poprzedniej sekcji za pomocą znacznika AR. Podczas tej procedury rejestracji modele 3D pacjenta są sprawnie i prosto pozycjonowane w stosunku do markera AR. Pozycja zdefiniowana w tej sekcji określi względną pozycję hologramu w końcowej aplikacji. Uważa się, że rozwiązanie to zmniejsza złożoność i zwielokrotnia możliwe zastosowania. W rozdziale 3 opisano dwie różne opcje definiowania relacji przestrzennych między modelami a znacznikami AR: tryb "wizualizacji" i "rejestracji". Pierwsza opcja, tryb "wizualizacji", pozwala na umieszczenie modeli 3D w dowolnym miejscu względem znacznika i wyświetlenie ich jako całego biomodelu. Ten tryb zapewnia realistyczną, trójwymiarową perspektywę anatomii pacjenta i umożliwia poruszanie się i obracanie biomodeli poprzez przesuwanie śledzonego znacznika AR. Druga opcja, tryb "rejestracji", umożliwia zamocowanie i połączenie adaptera markera do dowolnej części biomodelu, oferując automatyczny proces rejestracji. Dzięki tej opcji niewielka część modelu 3D, w tym adapter markera, może zostać wydrukowana w 3D, a aplikacja może wyświetlić resztę modelu jako hologram.

Sekcja 4 zawiera wytyczne dotyczące procesu drukowania 3D. Po pierwsze, użytkownik może wybrać jeden z dwóch różnych markerów: "dwukolorowy marker" i "marker naklejkowy". Cały "dwukolorowy marker" można wydrukować w 3D, ale wymaga to drukarki 3D z podwójnym ekstruderem. W przypadku, gdy ta drukarka nie jest dostępna, proponowany jest "znacznik naklejek". Jest to prostszy marker, który można uzyskać, drukując strukturę sześcienną w 3D, a następnie wklejając obrazy sześcianu za pomocą papieru do naklejek lub kleju do naklejek. Co więcej, oba markery zostały zaprojektowane z wysuwanymi sekcjami, aby idealnie pasowały do konkretnego adaptera. Dzięki temu marker może być ponownie użyty w kilku przypadkach.

Sekcja 5 opisuje proces tworzenia projektu Unity dla AR przy użyciu zestawu do tworzenia oprogramowania Vuforia. Ten krok może być najtrudniejszy dla użytkowników bez doświadczenia w programowaniu, ale dzięki tym wskazówkom powinno być łatwiej uzyskać ostateczną aplikację, która jest przedstawiona w sekcji 6. Aplikacja wyświetla wirtualne modele pacjenta na ekranie smartfona, gdy kamera rozpozna marker wydrukowany w 3D. Aby aplikacja mogła wykryć znacznik 3D, wymagana jest minimalna odległość około 40 cm lub mniejsza od telefonu do znacznika, a także dobre warunki oświetleniowe.

Ostateczne zastosowanie tego protokołu pozwala użytkownikowi wybrać konkretne biomodele do wizualizacji i w jakich pozycjach. Dodatkowo aplikacja może przeprowadzać automatyczną rejestrację hologramu pacjenta za pomocą wydrukowanego w 3D markera i adaptera dołączonego do biomodelu. Rozwiązuje to problem rejestracji modeli wirtualnych w środowisku w bezpośredni i wygodny sposób. Co więcej, metodologia ta nie wymaga szerokiej wiedzy z zakresu obrazowania medycznego ani tworzenia oprogramowania, nie zależy od skomplikowanego sprzętu i drogiego oprogramowania oraz może być wdrożona w krótkim czasie. Oczekuje się, że metoda ta pomoże przyspieszyć przyjęcie technologii AR i 3DP przez lekarzy.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Materiał do druku 3D: Akrylonitrylo-butadien-styren (ABS)			Termoplastyczny materiał polimerowy zwykle stosowany w domowych drukarkach 3D.
Materiał do druku 3D: Kwas polimlekowy (PLA)			Bioplastik zwykle stosowany w domowych drukarkach 3D.
3D Slicer			Platforma oprogramowania typu open source do informatyki obrazów medycznych, przetwarzania obrazów i wizualizacji trójwymiarowej
Android	Alphabet, Inc.		Android to mobilny system operacyjny opracowany przez Google. Jest oparty na zmodyfikowanej wersji jądra Linuksa i innego oprogramowania typu open source i jest przeznaczony głównie dla urządzeń mobilnych z ekranem dotykowym, takich jak smartfony i tablety.
Autodesk Meshmixer	Autodesk, Inc.		Meshmixer to najnowocześniejsze oprogramowanie do pracy z siatkami trójkątów. Wolne oprogramowanie.
System operacyjny iPhone'a	Apple, Inc.		iPhone OS to mobilny system operacyjny stworzony i opracowany przez Apple Inc. wyłącznie dla swojego sprzętu.
Ultimaker 3 Extended	Ultimaker BV		Drukarka 3D do modelowania osadzania z topionym tokiem.
Jedność	Unity Technologies		Unity to platforma programistyczna w czasie rzeczywistym do tworzenia 3D, 2D VR i Wizualizacje AR dla gier, motoryzacji, transportu, filmu, animacji, architektury, inżynierii i więcej. Wolne oprogramowanie.
Xcode	Apple, Inc.		Xcode to kompletny zestaw narzędzi programistycznych do tworzenia aplikacji na komputery Mac, iPhone, iPad, Apple Watch i Apple TV. Wolne oprogramowanie.