$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Wszystkie procedury związane z pobieraniem próbek zostały przeprowadzone zgodnie z wytycznymi instytutu IRB.
UWAGA: Schemat opisujący przebieg pracy z protokołem można zobaczyć na rysunku 1.
1. 3D Skanowanie
- Uzyskaj skan 3D próbki do resekcji onkologicznej zgodnie z wcześniej opisanym protokołem skanowania 3D7.
- Skonfiguruj dostępny na rynku stacjonarny skaner 3D w pobliżu laboratorium patologicznego, w którym zwykle pobierane są próbki.
- Delikatnie spłucz i osusz wycięty próbk. Następnie zrób zdjęcia 2D jego przedniej i tylnej powierzchni.
- Umieść próbkę na talerzu obrotowym skanera, upewniając się, że talerz obrotowy jest chroniony przed wszelkimi płynami ustrojowymi za pomocą cienkiego plastikowego arkusza.
- Za pomocą oprogramowania skanera 3D i laptopa uzyskaj skan 3D przedniej i tylnej powierzchni próbki.
- Korzystając z oprogramowania skanera 3D, użyj trzypunktowej rejestracji krzyżowej danych, aby wyrównać dwa zestawy danych skanowania.
- Gdy skan będzie przypominał strukturę 3D próbki ex vivo, przejdź do kroku 1.2.
- Kliknij przycisk Save Your Scan (Zapisz skan) i zapisz ukończony skan z oprogramowania do skanowania 3D jako plik .obj i plik .jpeg.
2. Konfiguracja środowiska rzeczywistości rozszerzonej
- Otwórz oprogramowanie AR na komputer. Otwórz pakiet VISE do rzeczywistości rozszerzonej.
- Prześlij model 3D utworzony w kroku 1.2 jako plik .obj, a dane tekstury jako plik .jpeg do oprogramowania, przeciągając i upuszczając pliki z pulpitu do pola Zasoby projektu.
- Załóż wyświetlacz montowany na głowie (HMD).
- Otwórz menu w środowisku gogli, podnosząc niedominujący nadgarstek. Gdy pojawi się kwadratowa ikona, dotknij jej, wskazując palcem ikonę i poszukaj menu, aby się pojawiło.
- Wybierz punkt menu Plik | Pokaż wszystkie aplikacje | Otwórz aplikację Holographic Remoting na goglach.
- Podłącz gogle HMD do oprogramowania, wybierając pozycję Mixed Reality | Komunikacja zdalna | Holograficzna komunikacja zdalna w trybie gry na górnym pasku narzędzi.
- Wprowadź adres IP gogli, który jest wyświetlany, gdy otwarta jest aplikacja Holographic Remoting.
UWAGA: Jeśli nie jest wyświetlany w aplikacji, adres IP można również znaleźć w ustawieniach lub za pomocą polecenia głosowego "Jaki jest mój adres IP".
- Upewnij się, że gogle i urządzenie z uruchomionym oprogramowaniem są podłączone do tej samej sieci Wi-Fi. Naciśnij trójkątny przycisk Odtwórz w górnej środkowej części. Gogle gogli będą teraz wyświetlać renderowanie.
- Przeciągnij model obiektowy 3D na lewy pasek hierarchii. Otwórz menu rozwijane dla obiektu. Przeciągnij wartość domyślną do wyskakującego okna Dostosuj przestawianie w obszarze Zamień obiekt. Kliknij Zastosuj wybrane obiekty.
- Otwórz listę rozwijaną Medical_Object w menu Hierarchia i wybierz pozycję zakotwiczenie przed wybraniem opcji Przenieś element przestawny Medical_Object tutaj w wyskakującym okienku Dostosuj przestawność.
- Przeciągnij plik tekstury do pola (Tekstura 2D) w wyskakującym okienku Dostosuj obrót. Wybierz opcję Zastosuj wybrany plik tekstury.
- Ponownie naciśnij przycisk Odtwórz w górnej środkowej części ekranu.
3. Wejście w wirtualną rzeczywistość
- Użyj polecenia głosowego Otwórz, aby zainicjować hologram.
- Jeśli obiekt nie jest widoczny lub kiedykolwiek zniknie z pola widzenia, użyj polecenia głosowego Zmień położenie, aby przywrócić obiekt do środka view.
- Obiekt zostanie wyrenderowany w rozmiarze anatomicznym. Użyj polecenia głosowego Zablokuj rozmiar, aby zachować obiekt w bieżącym rozmiarze, Odblokuj rozmiar, aby zmienić rozmiar obiektu, i Wróć do skali, aby przywrócić obiekt do rozmiaru anatomicznego.
- Ściśnij palcem wskazującym i kciukiem, aby zmienić rozmiar, przesunąć i obrócić obiekt w taki sam sposób, w jaki manipuluje się obiektem fizycznym.
4. Korzystanie z poleceń głosowych
- Manipuluj obiektem bez użycia rąk za pomocą następujących poleceń głosowych:
- W prawo: Obróć obiekt w prawo.
- W lewo: Obróć obiekt w lewo.
- Większy: Powiększ obiekt.
- Mniejszy: Zmniejsz obiekt.
- Zwiększ przezroczystość: Zwiększ przezroczystość obiektu.
- Zmniejsz przezroczystość: Zmniejsz przezroczystość obiektu.
5. Ponowne wyrównanie próbki pod kontrolą AR
UWAGA: Wyrównanie hologramu w 3D można zobaczyć na rysunku 2.
- Manipuluj hologramem próbki 3D widzianym przez gogle za pomocą kciuka i palca wskazującego.
- Chwyć obiekt, umieszczając kciuk i palec wskazujący razem w rzeczywistym środowisku, w którym hologram jest widziany w środowisku wirtualnym.
- Puść obiekt, otwierając kciuk i palec wskazujący w rzeczywistym środowisku, gdy hologram 3D zostanie umieszczony w żądanym miejscu w środowisku wirtualnym.
- Użyj polecenia głosowego Zablokuj, aby zabezpieczyć hologram na miejscu i odblokuj, aby ponownie manipulować obiektem.
- W oparciu o anatomiczną orientację hologramu, wyrównaj wirtualną próbkę z łożem resekcji, wykonując kroki 5.1-5.2. Gdy hologram zostanie wyrównany w jak największym stopniu z łożem resekcyjnym, jak to możliwe, patrząc przez gogle, użyj polecenia głosowego Zablokuj, aby zablokować próbkę na miejscu.
