Połączenie rzeczywistości rozszerzonej i druku 3D w celu wyświetlania modeli pacjentów na smartfonie
2 stycznia 2020
Przedstawiona tutaj jest metoda projektowania aplikacji na smartfony z rozszerzoną rzeczywistością do wizualizacji anatomicznych trójwymiarowych modeli pacjentów za pomocą wydrukowanego w 3D markera referencyjnego.
Protokół ten daje niedoświadczonym użytkownikom narzędzia do wprowadzania rozwiązań rzeczywistości rozszerzonej do dziedziny medycyny poprzez tworzenie własnej aplikacji na smartfony. Metoda ta łączy rzeczywistość rozszerzoną i druk 3D, umożliwiając szybką i łatwą wizualizację modeli 3D utworzonych na podstawie danych na wydrukowanym w 3D znaczniku referencyjnym. Technika ta może być zastosowana do każdego scenariusza medycznego, w którym wydrukowane w 3D odniesienie może być sztywno przymocowane do pacjenta.
Wizualizacja wizualnych modeli 3D utworzonych na podstawie lokalizacji danych, która jest ukierunkowana i może również poprawić pacjenta Protokół ten został specjalnie zaprojektowany dla użytkowników bez wcześniejszej wiedzy na temat obrazowania medycznego lub tworzenia oprogramowania, aby pomóc w wykorzystaniu rzeczywistości rozszerzonej w medycynie. Aby utworzyć modele 3D anatomii pacjenta, najpierw śledź plik obrazu medycznego w oknie oprogramowania 3D Slicer i kliknij OK.To segmentować anatomię pacjenta, przejdź do modułu edytora segmentów w 3D Slicer. Element segmentacji zostanie utworzony automatycznie po wejściu do modułu.
Wybierz żądany wolumin w sekcji woluminu głównego i kliknij prawym przyciskiem myszy poniżej obrazu, aby wybrać opcję dodaj, aby utworzyć segment. W panelu efektów wybierz najwygodniejsze narzędzie dla celu i podziel obraz medyczny pacjenta na segmenty. Aby wyeksportować segmentację w formacie pliku modelu 3D, otwórz moduł segmentacji.
W eksport/import modeli i map etykiet wybierz eksport i modele, a następnie kliknij przycisk eksportuj, aby utworzyć model 3D z segmentowanego obszaru. Kliknij Zapisz i wybierz elementy, które chcesz zapisać. Następnie zmień format pliku modelu 3D na OBJ.
Segmentację można powtarzać w celu stworzenia dodatkowych modeli 3D różnych obszarów anatomicznych. Aby ustawić model pacjenta 3D w dowolnej pozycji w stosunku do markera rzeczywistości rozszerzonej, otwórz moduł pozycji modelu AR Health i wybierz tryb wizualizacji. Kliknij przycisk Wczytaj model znacznika, aby załadować znacznik dla tej opcji, przycisk wielokropka, aby wybrać ścieżkę zapisanego modelu 3D, a następnie załaduj model, aby wczytać model do fragmentatora 3D.
Kliknij przycisk Zakończ i wyśrodkuj, aby wyśrodkować wszystkie modele w obrębie znacznika. Użyj suwaków, aby dostosować pozycję, orientację i skalowanie modeli 3D w odniesieniu do znacznika zgodnie z potrzebami. Następnie wybierz ścieżkę do przechowywania plików i kliknij przycisk Zapisz modele, aby zapisać modele w tej pozycji.
Aby połączyć marker rzeczywistości rozszerzonej z biomodelem 3D w dowolnym miejscu, otwórz moduł pozycji modelu AR Health i w sekcji inicjalizacji wybierz tryb rejestracji. Kliknij przycisk Wczytaj model znacznika, aby wczytać znacznik dla tej opcji i przesuwaj modele 3D do momentu, aż przetną się ze strukturą nośną znacznika sześcianu, modyfikując w razie potrzeby wysokość podstawy znacznika. Aby zapisać model w tym miejscu, wybierz ścieżkę do przechowywania plików i kliknij przycisk Zapisz modele.
Jeśli model anatomiczny jest zbyt duży, załaduj biomodel i strukturę nośną modelu znacznika sześciennego do oprogramowania mieszalnika siatki. Wybierz oba modele w oknie przeglądarki obiektów, aby połączyć modele i użyj narzędzia do wycinania zwykłego z menu edycji, aby usunąć wszelkie niechciane sekcje modelu, które nie zostaną wydrukowane w 3D. Aby zapisać model do druku 3D, wybierz Plik i Eksport oraz wybierz żądany format.
Aby wydrukować modele fizyczne 3D wymagane do ostatecznej aplikacji rzeczywistości rozszerzonej, w oprogramowaniu do drukowania 3D wybierz materiał w kolorze białym dla pliku TwoColorCuebMarker_white. obj i materiał w kolorze czarnym dla pliku TwoColorCubeMarker_white. obj.
Następnie użyj drukarki 3D z podwójnym ekstruderem, aby wydrukować 3D sześcienny marker w czerni i bieli w trybie wysokiej jakości z niewielką wysokością warstwy. Aby zaprojektować aplikację na smartfony w Unity Engine, która zawiera modele 3D, otwórz Vuforia Developer i utwórz konto. Wybierz opcję Pobierz klucz deweloperski, aby uzyskać bezpłatny klucz licencji deweloperskiej, a następnie w menu menedżera licencji wybierz i skopiuj klucz.
Aby skonfigurować smartfon, w aplikacji Unity w wersji 2019, w ustawieniach kompilacji w menu plików wybierz odpowiednią platformę dla urządzenia. Aby włączyć Vuforia do projektu, wybierz edytuj, ustawienia projektu, ustawienia odtwarzacza i ustawienia XR, a następnie zaznacz pole oznaczone Vuforia Augmented Reality Support. Aby utworzyć kamerę rzeczywistości rozszerzonej, wybierz pasek menu, obiekt gry, silnik Vuforia i kamerę AR, a następnie zaimportuj komponenty Vuforia po wyświetleniu monitu.
Aby dodać klucz licencyjny Vuforia do ustawień konfiguracyjnych Vuforia, wybierz folder zasobów, kliknij Konfiguracja Vuforia i wklej klucz licencyjny w sekcji klucza licencyjnego aplikacji. Zaimportuj plik docelowy Vuforia zawierający pliki, których Vuforia wymaga do wykrycia znaczników do Unity i wybierz pasek menu, obiekt gry, silnik Vuforia i wiele obrazów, aby utworzyć wiele celów Vuforia. Kliknij wiele obiektów docelowych, aby wybrać typ znacznika, który będzie używany do wykrywania, a następnie w opcji bazy danych w obszarze Zachowanie wielu obiektów docelowych wybierz opcję ARHealth_3dPrintedCube_30x30x30.
W opcji wiele obiektów docelowych w obszarze zachowanie wielu obiektów docelowych wybierz opcję TwoColorCubeMarker lub StickerCubeMarker w zależności od znacznika. Przeciągnij modele 3D do folderu models i przeciągnij folder pod elementem z wieloma obiektami docelowymi. Modele powinny stać się widoczne w scenie widoku 3D aparatu Unity.
Aby zmienić kolory modeli 3D, utwórz nowe materiały i przypisz nowe materiały do modeli. Jeśli kamera internetowa jest dostępna, kliknij przycisk odtwarzania, aby przetestować aplikację na komputerze. Jeśli znacznik jest widoczny dla kamery internetowej, powinien zostać wykryty, a modele 3D powinny pojawić się w scenie.
Jeśli do tworzenia aplikacji będzie używany smartfon z systemem Android, wybierz ustawienia kompilacji w środowisku Unity i wybierz podłączony telefon z listy. Następnie zapisz plik z rozszerzeniem apk i poczekaj, aż proces się zakończy. Jeśli aplikacja zostanie wdrożona na urządzeniu z systemem iOS, wybierz plik w ustawieniach kompilacji i zapisz plik.
Aby zobrazować aplikację, otwórz ją na smartfonie i użyj aparatu smartfona, aby spojrzeć na znacznik z poziomu aplikacji z odległości co najmniej 40 centymetrów. Gdy aplikacja wykryje marker, wcześniej utworzone modele 3D powinny pojawić się na ekranie smartfona dokładnie w miejscu zdefiniowanym podczas zabiegu. Stosując metodę, jak pokazano, ta część dotkniętej chorobą kości piszczelowej i strzałkowej od pacjenta cierpiącego na mięsaka dystalnej nogi i guz została podzielona na segmenty z tomografii komputerowej pacjenta.
Korzystając z narzędzi do segmentacji, stworzono jeden biomodel dla kości i jeden biomodel dla guza. W trybie wizualizacji modele zostały wyśrodkowane w górnej fazie znacznika. W trybie rejestracji adapter markera został umieszczony w kości piszczelowej, a niewielka część kości piszczelowej została wybrana do wydrukowania w 3D za pomocą adaptera markera 3D.
Kwas polimlekowy może być używany do tworzenia drukowanych w 3D markerów, podstaw uchwytów do markerów i sekcji kości, jak pokazano. Tutaj znacznik jest dołączony do wydrukowanej w 3D bazy w trybie wizualizacji, a tutaj załącznik jest pokazany z biomodelem wydrukowanym w 3D w trybie rejestracji. Ta reprezentacja pokazuje, jak aplikacja działa w trybie wizualizacji, gdy hologram jest dokładnie umieszczony w górnej części sześcianu, jak wcześniej zdefiniowano.
W trybie rejestracji kompletny model kości można umieścić na górze wydrukowanego w 3D przekroju z wyraźną i realistyczną wizualizacją znacznika w miejscu kości. Aby wykorzystać rzeczywistość rozszerzoną do wizualizacji ważnych informacji o pacjencie, potrzebujesz kilku narzędzi programowych, które są swobodnie dostępne, a także dostępu do drukarki 3D i smartfona. Procedurę tę można zastosować do dowolnego modelu uzyskanego z obrazowania medycznego.
Jego zastosowanie można rozszerzyć na inne interwencje, takie jak radioterapia, ustawianie wprowadzania igły. Obecnie rozszerzamy zastosowania tego rozwiązania na nowe obszary kliniczne, w tym chirurgię mięśniowo-powięziową lub ortopedyczną. Nasze wstępne badania są obiecujące, a opinie chirurgów są bardzo pozytywne.
Przegląd
Niniejszy artykuł przedstawia metodę tworzenia aplikacji na smartfona wykorzystującej rzeczywistość rozszerzoną, która wizualizuje anatomiczne modele 3D przy użyciu wydrukowanego w technologii 3D znacznika referencyjnego. Protokół został opracowany z myślą o użytkownikach nieposiadających wcześniejszego doświadczenia w zakresie obrazowania medycznego lub tworzenia oprogramowania.
Kluczowe elementy badania
Dziedzina nauki
- Rzeczywistość rozszerzona
- Druk 3D
- Obrazowanie medyczne
Wstęp
- Rzeczywistość rozszerzona może usprawnić wizualizację w scenariuszach medycznych.
- Druk 3D zapewnia namacalny punkt odniesienia dla modeli anatomicznych.
- Metoda ta jest dostępna dla niedoświadczonych użytkowników.
- Połączenie tych technologii może poprawić zrozumienie pacjenta.
Cel badania
- Umożliwienie użytkownikom tworzenia własnych aplikacji rozszerzonej rzeczywistości.
- Ułatwienie wizualizacji anatomii pacjenta.
- Uproszczenie integracji modeli 3D w praktyce medycznej.
Zastosowane metody
- Wykorzystanie oprogramowania 3D Slicer do segmentacji obrazów medycznych.
- Eksport segmentowanej anatomii do formatów modeli 3D.
- Projektowanie aplikacji na smartfona przy użyciu Unity Engine i Vuforia.
- Druk 3D markerów referencyjnych dla rzeczywistości rozszerzonej.
Główne wyniki
- Skuteczne tworzenie modeli 3D na podstawie obrazów medycznych.
- Integracja rozszerzonej rzeczywistości z wydrukowanymi w 3D markerami.
- Opracowanie intuicyjnej aplikacji do wizualizacji anatomii.
- Wykazanie potencjału zastosowań w różnych scenariuszach medycznych.
Wnioski
- Metoda ta pozwala na efektywną wizualizację struktur anatomicznych.
- Rzeczywistość rozszerzona może usprawnić edukację i zaangażowanie pacjentów.
- Podejście to jest skalowalne i możliwe do dostosowania do różnych kontekstów medycznych.
Najczęściej zadawane pytania
Znaczenie dla Przemysłu
Niniejszy protokół umożliwia zespołom badawczo-rozwojowym w sektorze biofarmaceutycznym szybkie prototypowanie anatomicznych modeli specyficznych dla pacjenta w celu walidacji celów terapeutycznych oraz badań mechanistycznych, z wykorzystaniem dostępnych narzędzi AR i druku 3D. Poprzez obniżenie barier technicznych wspiera on testowanie hipotez na wczesnym etapie i zmniejsza zależność od wyspecjalizowanych zasobów inżynieryjnych. Podejście to zwiększa pewność prognostyczną w modelach przedklinicznych, zapewniając namacalne, możliwe do zwizualizowania systemy do wyjaśniania szlaków sygnałowych oraz walidacji funkcjonalnej.
Strategiczne zastosowania w badaniach i rozwoju biofarmaceutycznym
Wczesne etapy odkrywania i walidacja celu
- Wartość naukowa: Wspiera weryfikację hipotez terapeutycznych poprzez wykorzystanie pochodnych od pacjentów modeli 3D, które wyjaśniają kontekst anatomiczny celów terapeutycznych.
- Wartość operacyjna: Umożliwia szybką iterację projektów modeli z wykorzystaniem darmowego oprogramowania i standardowych drukarek 3D, co przyspiesza cykle walidacji celów.
- Wartość prognostyczna: Poprawia mechanistyczną redukcję ryzyka, umożliwiając wizualizację oddziaływania na cel w przestrzennie dokładnych systemach istotnych z punktu widzenia pacjenta.
Przesiewanie i opracowanie testu
- Wartość naukowa: Zapewnia zestandaryzowane, powtarzalne wydrukowane w technologii 3D markery referencyjne dla spójnego pozycjonowania modeli w oparciu o AR w procesach przesiewowych.
- Wartość operacyjna: Ułatwia przygotowanie testu poprzez generowanie mierzalnych wyników wizualnych, które mogą być korelowane z efektami działania związków.
- Skalowalność: Umożliwia ponowne wykorzystanie platformy dla wielu celów i modeli chorób dzięki adaptacyjnym projektom markerów i modeli.
Badania translacyjne i przedkliniczne
- Ciągłość translacyjna: Łączy etapy odkryć i badań przedklinicznych poprzez zachowanie wierności anatomicznej – od obrazowania pacjenta aż po walidację modelu.
- Postęp skorygowany o ryzyko: Wspiera decyzje typu go/no-go, umożliwiając wizualną ocenę modulacji celu w systemach istotnych dla przebiegu choroby.
- Korelacja z biomarkerami: Pozwala na korelację zmian w modelu wizualizowanych za pomocą AR z potencjalnymi biomarkerami translacyjnymi podczas oceny przedklinicznej.
Integracja potoków i przepływów pracy
Metoda ta integruje się z wczesnymi procesami odkrywczymi, umożliwiając szybkie generowanie specyficznych dla pacjenta modeli do walidacji celu, co pozwala na przejście do etapów opracowywania testów i walidacji przedklinicznej przy zachowaniu wierności modelu.
- Biologia odkrywcza: Umożliwia testowanie hipotez i wyjaśnianie szlaków sygnałowych poprzez bezpośrednią wizualizację anatomicznych modeli pochodzących od pacjentów w AR.
- Przesiewanie: Wspiera standaryzację testów dzięki powtarzalnym markerom wydrukowanym w 3D, które zapewniają spójne pozycjonowanie modelu podczas przesiewania związków.
- Analityka: Generuje mierzalne odczyty przestrzenne i wizualne z wizualizacji AR, które pomagają w porównywaniu warunków eksperymentalnych.
- Badania translacyjne: Łączy fazę odkryć z pracami przedklinicznymi poprzez zachowanie anatomii specyficznej dla pacjenta we wszystkich iteracjach modelu.
- Wykorzystanie przedsiębiorstwa: Ustanawia powtarzalną zdolność generowania modeli możliwych do wizualizacji w AR w wielu projektach i obszarach terapeutycznych.
Wpływ operacyjny i przedsiębiorczy
- Wartość naukowa: Zwiększa pewność prognostyczną w walidacji celu poprzez zmniejszenie niejednoznaczności w kontekście anatomicznym i lokalizacji celu.
- Wartość operacyjna: Poprawia powtarzalność i skalowalność dzięki zestandaryzowanym przepływom pracy w oprogramowaniu oraz dostępnemu drukowi 3D.
- Wartość strategiczna: Poprawia efektywność kapitałową, umożliwiając wewnętrzne generowanie modeli i zmniejszając zależność od zewnętrznych zasobów wizualizacyjnych.
- Wpływ na portfolio: Wspiera priorytetyzację skorygowaną o ryzyko poprzez dostarczanie wyraźniejszych danych wizualnych do walidacji celu i badań mechanistycznych.
Uwagi dotyczące wdrożenia
- Wymaga znajomości programu 3D Slicer do segmentacji oraz Unity/Vuforia do opracowania aplikacji.
- Wymagany jest dostęp do drukarki 3D z podwójnym ekstruderem w celu wysokiej jakości wytwarzania markerów.
- Konieczna jest standaryzacja formatów plików i konwencji nazywania modeli w ramach zespołów.
- Wymaga rozważenia adaptacji podczas stosowania w różnych obszarach anatomicznych lub modelach chorobowych.
- Ograniczeniem jest rozmiar i złożoność modeli, które mogą zostać skutecznie zwizualizowane za pomocą rozszerzonej rzeczywistości (AR) w smartfonie.
Najczęściej zadawane pytania dotyczące biofarmacji
Chapters in this video
0:04
Title
1:01
Biomodel Creation
2:08
Biomodel Positioning: Visualization Mode
2:53
Biomodel Positioning: Registration Mode
4:00
3D Printing and Augmented Reality (AR) App Deployment and Visualization
7:25
Results: Representative AR Visualization of 3D-Printed Markers
8:38
Conclusion
