Artykuł metodologiczny

Technologia rzeczywistości mieszanej i druk trójwymiarowy w nauczaniu: anatomia serca jako przykład

DOI:

10.3791/67850

⸱

18 kwietnia 2025

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1Department of Human Anatomy, Medical University of Silesia, 2Department of Anatomy, Faculty of Medicine University of Ostrava, 3Department of Measurement and Electronics, AGH University of Krakow, 4MedApp S. A., 5Medical University of Silesia in Katowice

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W tym miejscu opisujemy protokół konstruowania modelu serca od podstaw w oparciu o tomografię komputerową i prezentujemy go studentom medycyny przy użyciu druku trójwymiarowego (3D) i technologii rzeczywistości mieszanej do nauki anatomii.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Technologia rzeczywistości mieszanej i druk trójwymiarowy (3D) stają się coraz bardziej powszechne w medycynie. W czasie pandemii COVID-19 i bezpośrednio po złagodzeniu obostrzeń wdrożono wiele innowacji w kształceniu przyszłych lekarzy. Pojawiło się również zainteresowanie technikami immersyjnymi i technologią druku 3D w nauczaniu anatomii. Nie są to jednak typowe implementacje. W 2023 roku wydruki 3D i hologramy w technologii mieszanej zostały przygotowane na potrzeby zajęć skoncentrowanych na budowie serca. Służyły one do nauczania studentów, którzy przy wsparciu inżynierów mogli poznać szczegółową budowę serca oraz zapoznać się z nowymi technologiami wspierającymi tradycyjny model uczenia się na ludzkich zwłokach. Studenci uważają tę możliwość za bardzo cenną. W artykule przedstawiono proces przygotowania materiałów do zajęć oraz możliwości dalszej realizacji. Autorzy widzą szansę na rozwój prezentowanych technologii w dydaktyce studentów na różnych poziomach kształcenia oraz uzasadnienie dla coraz powszechniejszego wdrażania.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Technologia druku trójwymiarowego (3D) i rzeczywistość mieszana to coraz powszechniej wykorzystywane zdobycze technologiczne w medycynie. Coraz więcej zastosowań znajduje się nie tylko w codziennej praktyce klinicznej wielu specjalistów z różnych dziedzin, ale także w nauczaniu rezydentów i przyszłych lekarzy, czyli studentów medycyny 1,2,3,4,5,6.

Do drukowania modeli anatomicznych często wykorzystywana jest technologia druku 3D, oferowana głównie przez podmioty komercyjne, jednak rosnące zainteresowanie studentów tego typu przygotowaniem do nauki jest impulsem do wprowadzania innowacji w wydziałach anatomiina uczelniach medycznych7. Preparaty mogą być tworzone w oparciu o dane z atlasów anatomicznych, rysunków i rycin, ale także w oparciu o badania obrazowe takie jak tomografia komputerowa czy rezonans magnetyczny 1,8,9. Możliwe jest drukowanie preparatów anatomicznych na drukarce 3D w różnych skalach, a także możliwe jest użycie kolorów, markerów i innych wariacji w celu zwiększenia dostępności materiału dydaktycznego10,11. Pomimo zwiększonej dostępności materiałów, studenci medycyny w Polsce nie mają szerokiego dostępu do tego typu preparatów, niezależnie od deklarowanej chęci wsparcia obecnego, klasycznego modelu nauczania opartego na preparatyce zwłok ludzkich z dodatkiem nowych technologii, które nie są jeszcze w pełni wdrażane.

Technologia mieszanej rzeczywistości to integracja świata wirtualnego ze światem rzeczywistym. Dzięki goglom, które umożliwiają wizualizację wcześniej przygotowanych hologramów, mogą one być "nakładane" na otaczające obiekty w świecie rzeczywistym12. Hologramy można manipulować w przestrzeni, np. powiększać, zmniejszać lub obracać, dzięki czemu oglądany obraz jest lepiej wizualizowany, dostępny i bardziej użyteczny. Rzeczywistość mieszana jest coraz częściej wykorzystywana przez operatorów w dyscyplinach chirurgicznych, np. kardiochirurgii 3,13, ortopedii 14,15,16,17, onkologii 18. Coraz częściej, zwłaszcza w okresie po pandemii COVID-19, dydaktykami z zakresu podstawowych nauk medycznych interesują się nowe technologie, w tym rzeczywistość mieszana, w celu wdrożenia ich do kształcenia przyszłych lekarzy 19,20,21. Również nauczyciele akademiccy prowadzący zajęcia z anatomii normalnej znajdują przestrzeń do wprowadzania rzeczywistości mieszanej w swojej dziedzinie 22,23,24,25,26. Tworzenie hologramów wymaga badania obrazowego, najczęściej tomografii komputerowej, która jest renderowana i przetwarzana przez inżynierów za pomocą dedykowanego oprogramowania do wersji holograficznej – możliwej do użycia z goglami.

Postanowiliśmy stworzyć przydatne materiały dla studentów do nauki anatomii ludzkiego serca w ramach zajęć z anatomii na pierwszym roku studiów medycznych. W tym celu wykorzystano angio-tomografię komputerową serca, udostępnioną przez Klinikę Kardiologii po uprzedniej całkowitej anonimizacji danych. My, podzieleni na dwa zespoły, stworzyliśmy hologramy i wydruki 3D, które następnie zostały udostępnione uczniom w ramach lekcji pilotażowej. Studenci bardzo dobrze ocenili dostępność i dokładność materiałów, ale szczegółowe opracowanie na ten temat zostanie przedstawione w dalszej części – wyniki są obecnie oceniane.

Pokazujemy tutaj proces tworzenia modeli od tomografii komputerowej do prezentacji gotowych modeli wdrożonych w praktyce dydaktycznej.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół jest zgodny z wytycznymi Komisji Etycznej ds. Badań Naukowych z Udziałem Ludzi Śląskiego Uniwersytetu Medycznego. Dane obrazowe pacjenta zostały wykorzystane po całkowitej anonimizacji.

1. 3D Printing - Segmentacja i rekonstrukcja modelu 3D serca

  1. Przesyłanie i wstępne przetwarzanie obrazów
    1. Otwórz 3D Slicer 5.6.0 i przejdź do modułu danych27.
    2. Kliknij przycisk Dodaj dane i wybierz obrazy tomografii komputerowej specyficzne dla pacjenta w formacie DICOM. Upewnij się, że obrazy są przesyłane we właściwej orientacji.
    3. Oceń jakość obrazów, sprawdzając widoki osiowe, strzałkowe i koronalne w przeglądarce plasterków. Sprawdź wystarczający kontrast, aby odróżnić mięsień sercowy od komór serca.
    4. Jeśli kontrast jest niewystarczający, dostosuj ustawienia okna/poziomu , aby zwiększyć różnicowanie tkanek za pomocą modułu objętości. Ustaw Okno na 350 HU i Poziom na 40 HU jako punkt początkowy i zmodyfikuj w razie potrzeby.
    5. Potwierdź widoczność anatomicznych obszarów zainteresowania (ROI), w tym mięśnia sercowego i wewnętrznych komór serca.
  2. Segmentacja oparta na progach
    1. Przejdź do modułu Edytor segmentów i kliknij przycisk Dodaj , aby utworzyć nową segmentację.
    2. Wybierz opcję Threshold (Próg ) z narzędzi do segmentacji. Ustaw dolny młócony na 100 HU , a górny próg na 300 HU , aby odizolować tkanki miękkie.
      UWAGA: Wartości te mogą się różnić w zależności od jakości obrazu i cech specyficznych dla pacjenta.
    3. Dostosuj zakres progowy ręcznie, aby zawęzić zwrot z inwestycji, przeciągając suwaki lub wprowadzając wartości, aż komory mięśnia sercowego i serca zostaną wyraźnie odizolowane. Użyj oględzin w widoku osiowym, strzałkowym i koronalnym, aby zapewnić prawidłowy wybór.
    4. Upewnij się, że wszystkie istotne obszary anatomiczne zostały uchwycone. W razie potrzeby przełącz się na narzędzie Malowanie , aby ręcznie dodać lub usunąć obszary segmentacji, które nie zostały prawidłowo przechwycone przez progowanie.
    5. Kliknij przycisk Zastosuj , aby sfinalizować segmentację wyboru opartego na progu (Rysunek 1)
  3. Ręczna korekta plasterek po plasterku
    1. Korzystając z narzędzi Nożyczki lub Wymazywanie w edytorze segmentów, ręcznie sprawdź każdy wycinek zestawu danych CT. Wszelkie nieścisłości, takie jak te spowodowane artefaktami lub słabym kontrastem, można poprawić, usuwając lub dodając w razie potrzeby obszary podzielone na segmenty.
    2. W przypadku każdego wycinka skup się na precyzyjnej identyfikacji mięśnia sercowego i wewnętrznych komór serca. Jeśli pojawią się niejasności, skonsultuj się z lekarzem lub odniesieniem anatomicznym, aby zapewnić dokładność.
    3. Podziel serce na dwa odrębne segmenty: jeden dla mięśnia sercowego i jeden dla komór wewnętrznych. Użyj przycisku Utwórz nowy segment , aby rozróżnić te struktury.
    4. Kontynuuj kontrolę i korektę plasterek po plasterku, aż wszystkie przekroje w płaszczyźnie osiowej, strzałkowej i koronalnej zostaną skorygowane i podzielone na segmenty.
  4. Przetwarzanie końcowe i eksport modelu
    1. Zaimportuj wyeksportowane pliki STL do MeshMixer (Rysunek 2, nazywane prototypowym oprogramowaniem do projektowania).
      1. Zacznij od wyeliminowania małych artefaktów i zapewnienia jednolitości modelu, wybierając opcję Edytuj > Utwórz bryłę.
      2. W oknie podręcznym wybierz opcję Typ bryły jako Dokładność , aby zachować dokładne szczegóły segmentacji. Ustaw suwak Dokładność bryły na wartość z zakresu od 0,8 do 1,0, aby uzyskać optymalną wierność.
    2. Po zestaleniu modelu przystąp do ręcznego usuwania artefaktów. Użyj narzędzia Wymaż i wypełnij , aby zrekonstruować wszelkie naruszone obszary powierzchni. Dostęp do niego można uzyskać w obszarze Wybierz > Modyfikuj > Wymaż i wypełnij.
    3. Kliknij i przeciągnij, aby zaznaczyć problematyczne obszary, a następnie użyj opcji Wypełnij , aby przywrócić ciągłość powierzchni. Upewnij się, że wypełnione obszary płynnie łączą się z otaczającą geometrią.
    4. W celu ogólnego zagęszczenia powierzchni należy użyć narzędzia Wybierz , aby wyróżnić określone obszary modelu, które wymagają wygładzenia. Po wybraniu przejdź do opcji Modyfikuj > wygładzaj i stosuj narzędzie iteracyjnie.
    5. Dostosuj suwak Siła wygładzania w zakresie od 10 do 50%, w zależności od stopnia nierówności powierzchni. Zachowaj ostrożność, aby zachować anatomiczną dokładność podczas wygładzania. Użyj Shift + lewy przycisk myszy, aby odznaczyć obszary, które nie wymagają modyfikacji.
    6. Po zakończeniu wygładzania użyj narzędzia Inspector , aby automatycznie zidentyfikować i wypełnić wszelkie pozostałe otwory w siatce. Sprawdź model wizualnie, aby upewnić się, że nie ma żadnych poważnych artefaktów ani nieregularności powierzchni.
    7. Aby zintegrować mięsień sercowy i wewnętrzne komory serca w jeden spójny model, należy zastosować operacje logiczne . Przejdź do Edytuj > Unii logicznej i wybierz dwie oddzielne części (mięsień sercowy i komory), aby je połączyć.
    8. Upewnij się, że operacja pomyślnie łączy konstrukcje bez tworzenia wewnętrznych otworów lub zakładek. Sprawdź skrzyżowania i dostosuj je w razie potrzeby, ręcznie poprawiając obszary scalania za pomocą funkcji Wymaż i wypełnij lub Wygładź (Rysunek 3).
    9. Po ujednoliceniu i dopracowaniu modelu wyeksportuj końcowy plik STL, wybierając opcję Eksportuj > STL w celu przygotowania do druku 3D.
  5. Przygotowanie modelu do druku 3D
    1. Wybór materiału i ustawienia drukarki
      1. Użyj filamentu akrylonitryl-butadien-styren (ABS), który pozwala na łatwą obróbkę końcową, taką jak wygładzanie acetonem.
        UWAGA: ABS jest wrażliwy na wahania temperatury, dlatego należy zapewnić stabilne środowisko podczas drukowania.
      2. Zdecyduj się na dołączoną drukarkę 3D, aby uzyskać lepszą kontrolę temperatury.
    2. Ustawienia drukarki i slicera
      1. Model drukarki: Użyj odpowiedniej drukarki. Tutaj zastosowano Creality Ender 3 z wykonaną na zamówienie metalową obudową.
      2. Materiał żarnika: Użyj ABS.
      3. Skonfiguruj następujące ustawienia w Cura lub podobnym oprogramowaniu do krojenia.
        Średnica dyszy: 0,5 mm
        Temperatura dyszy: ~ 240 °C (dostosuj w zależności od marki filamentu)
        Temperatura stołu: ~100 °C
        Wysokość warstwy: 0,24 mm
        Prędkość drukowania: ~100 mm/s (zmniejsz do 50-60 mm/s dla wyższej jakości)
        Gęstość wypełnienia: 25% (w celu zrównoważenia wytrzymałości i zużycia materiału)
        Podpory: Włącz automatyczne podpory (np. podpory drzewa)
        Wentylator chłodzący: Wyłącz, aby zapobiec wypaczaniu
        Środki wspomagające przyczepność: Użyj ronda lub tratwy, aby poprawić przyczepność łóżka
      4. Upewnij się, że drukarka jest skalibrowana i dostosuj ustawienia w oparciu o (a) tolerancje specyficzne dla drukarki, (b) właściwości filamentu ABS oraz (c) pożądany kompromis między szybkością drukowania a jakością powierzchni.
    3. Konstrukcje wsporcze i obróbka końcowa
      1. Konstrukcje podporowe: Generuj podpory w oprogramowaniu do krojenia za pomocą wbudowanych narzędzi (np. Cura) w celu ustabilizowania elementów wystających podczas drukowania. Sprawdź, czy podpory nie kolidują z delikatnymi szczegółami anatomicznymi.
      2. Usuwanie podpory: Poczekaj, aż wydrukowany model całkowicie ostygnie, aby zapobiec uszkodzeniu podczas usuwania podpory. Ostrożnie usuń podpory. Użyj szczypiec półokrągłych, aby uzyskać bardziej rozległe podparcie. W przypadku mniejszych lub delikatnych obszarów delikatnie usuń podpory ręcznie.
      3. Wykańczanie powierzchni: Sprawdź, czy na wydrukowanym modelu nie ma szorstkich obszarów, zwłaszcza w miejscach, w których zostały przymocowane podpory. Wygładź te obszary za pomocą papieru ściernego o drobnej ziarnistości (np. o ziarnistości 200-400), małych pilników do precyzyjnych detali i staraj się uzyskać czystą, ciągłą powierzchnię, aby zwiększyć dokładność anatomiczną.
      4. Zaawansowana obróbka końcowa (opcjonalnie): Jeśli wymagane jest polerowane wykończenie, przygotuj komorę wygładzającą parę z acetonem i wystaw model na działanie oparów acetonu przez ~9 minut (wykonaj ten krok w dobrze wentylowanym miejscu z zachowaniem odpowiednich środków ostrożności [np. rękawice, okulary]) i pozostaw model do całkowitego wyschnięcia przed obsługą.
  6. Punkty pauzy.
    1. Wstrzymaj protokół po każdej korekcie wycinka w kroku 1.3.1, zapisując projekt we fragmentatorze 3D. Wznów segmentację później bez utraty danych.
    2. W kroku 1.4.1, po wyeksportowaniu plików STL, jeśli jest to wymagane, wstrzymaj kroki przetwarzania końcowego, ponieważ nie wymagają one ciągłości.

2. Rzeczywistość mieszana

UWAGA: Przetwarzaj pliki DICOM CT serca na holograficzną reprezentację za pomocą CarnaLife Holo (określanego jako oprogramowanie rzeczywistości mieszanej).

  1. Przygotuj sprzęt.
    1. Włącz laptopa i podłącz go do gniazdka elektrycznego. Włącz zestaw słuchawkowy rzeczywistości mieszanej.
    2. Podłącz router do laptopa.
  2. Załaduj obraz CT do zestawu słuchawkowego rzeczywistości mieszanej z pobranych plików CT DICOM.
    1. Otwórz oprogramowanie rzeczywistości mieszanej i zaloguj się (Rysunek 4).
    2. Wybierz odpowiedni folder z tomografią komputerową. Wybierz odpowiednią serię danych CT (Rysunek 5).
    3. Sprawdź adres IP wyświetlany po włączeniu zestawu słuchawkowego i wprowadź go w wyznaczonym miejscu w oprogramowaniu rzeczywistości mieszanej.
    4. Kliknij przycisk Połącz , aby wyświetlić wizualizację w goglach rzeczywistości mieszanej.
  3. Podziel strukturę serca na segmenty za pomocą narzędzia do ręcznej segmentacji za pomocą opcji Nożyczki (Rysunek 6). Za jego pomocą zaznacz obszary, które zostaną usunięte z rekonstrukcji danych CT poprzez kliknięcie lewym przyciskiem myszy i przeciągnięcie.
    1. Zakończ oznaczanie obszaru cięcia, klikając lewym przyciskiem myszy, a następnie potwierdzając cięcie w wyskakującym okienku.
  4. Wybierz predefiniowane preset (parametry wizualizacji kolorów) odpowiedni do wizualizacji budowy serca z listy dostępnych presetów, klikając na jego nazwę: CT CARDIAC HOLLOW.
    1. W razie potrzeby dostosuj wizualizację, zmieniając okno za pomocą kliknięcia prawym przyciskiem myszy i przytrzymania podczas przesuwania kursora w widoku 3D.
  5. Wczytywanie modeli 3D powierzchni lewej i prawej komory oraz przedsionków.
    1. Kliknij sekcję Modele 3D w oprogramowaniu rzeczywistości mieszanej. Kliknij przycisk Załaduj modele .
    2. Przejdź do folderu z modelami powierzchni. Zaznacz wszystkie cztery pliki i potwierdź, klikając przycisk Otwórz. Dostosuj kolory wizualizowanych modeli (Rysunek 7).
      1. Kliknij ikonę ołówka na liście modeli 3D. Kliknij kartę Proporcje w widocznym oknie podręcznym.
      2. Kliknij biały kwadrat obok etykiety koloru . Wybierz odpowiedni kolor za pomocą wyskakującego okienka Próbnik kolorów . Potwierdź, klikając przycisk OK . Kliknij lewym przyciskiem myszy Widok 3D.
      3. Powtórz wszystkie kroki dla pozostałych modeli powierzchniowych.
  6. Twórz adnotacje struktur anatomicznych na widokach 2D, korzystając z trzech widoków 2D (osiowego, strzałkowego i czołowego), aby umieścić punkt adnotacji w odpowiednim miejscu.
    1. Kliknij sekcję Adnotacja w oprogramowaniu.
    2. Po prawej stronie okna aplikacji (w domyślnym układzie aplikacji) znajdują się trzy widoki 2D zrekonstruowanych danych.
      1. Przejdź przez plasterki, klikając ikonę pojedynczej lub podwójnej strzałki obok suwaka po prawej stronie każdego widoku 2D.
      2. Zmień plasterek, klikając i przytrzymując lewy przycisk Shift podczas przewijania kółkiem myszy.
      3. Plasterek można zmienić, przeciągając niebieskie, czerwone lub zielone linie (reprezentacje płaszczyzny 2D).
    3. Po ustawieniu odpowiedniego przekroju w wybranym widoku 2D, powiększ go kółkiem myszy i umieść punkt adnotacji, klikając lewym przyciskiem myszy. Adnotacja zostanie utworzona w klikniętym miejscu.
    4. Wróć do sekcji Adnotacja i kliknij ikonę ołówka na adnotacji na liście adnotacji z odpowiednim numerem identyfikacyjnym.
    5. W dolnej części wyskakującego okienka wprowadź tekst adnotacji, np. "Lewa komora".
    6. Dostosuj kolory, grubość i rozmiary adnotacji w tym oknie podręcznym. Wróć do widoku 2D z umieszczoną adnotacją.
    7. Chwyć i przenieś etykietę adnotacji poza płaszczyznę 2D w odpowiednie miejsce.
    8. Powtórz wszystkie kroki dla wszystkich struktur anatomicznych, które wymagają adnotacji.
  7. Załaduj stan wizualizacji, aby uzyskać zapisane adnotacje struktur anatomicznych w wizualizacji.
    1. Kliknij ikonę Załaduj plik obok ikony dyskietki w prawym górnym rogu widoku 3D. W oknie podręcznym kliknij ikonę Folder , przejdź do katalogu z zapisanym plikiem stanu wizualizacji, a następnie kliknij opcję Wybierz folder.
    2. Jeśli wybrano ją poprawnie i jeśli istnieje prawidłowy plik dla tych konkretnych danych, lista odpowiednich plików stanu wizualizacji zastąpi zastrzeżenie Nie znaleziono plików nazwami stanów, które użytkownik może załadować.
    3. Kliknij lewym przyciskiem myszy na odpowiedni stan wizualizacji, aby go wybrać i potwierdź, klikając przycisk Załaduj. Po załadowaniu użytkownik zostanie poproszony o podanie stanu wczytywania wizualizacji.
  8. Aby zobaczyć przygotowaną wizualizację w przestrzeni holograficznej, załóż gogle i użyj polecenia głosowego Zlokalizuj tutaj , aby przenieść rekonstrukcję holograficznego skanu CT 3D przed oczami. Dostosuj go za pomocą poleceń głosowych, np. Obróć, Powiększ, Inteligentnie wytnij i połącz go z gestami dłoni (Rysunek 8).
  9. Użyj polecenia głosowego Cut Smart , aby zastosować i dostosować płaszczyznę cięcia prostopadłą do linii wzroku.
  10. Poruszaj i obracaj głowicę, aby przesunąć ruch i orientację zastosowanej płaszczyzny cięcia. Zbliż się do hologramu, aby przesunąć płaszczyznę cięcia głębiej w rekonstrukcję holograficzną. Obróć głowicę o 90° zgodnie z ruchem wskazówek zegara, aby obrócić płaszczyznę cięcia o 90° zgodnie z ruchem wskazówek zegara itp.
  11. Wykonaj te ruchy, aby zobaczyć wewnętrzne części struktury serca, wizualizację holograficzną oraz wcześniej załadowane modele powierzchniowe i adnotacje struktur anatomicznych.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół segmentacji i rekonstrukcji 3D przyniósł dwa podstawowe wyniki treningu anatomii: wydrukowany w 3D model serca i wizualizację 3D MR serca. Wyniki te, które wykorzystują dane CT specyficzne dla pacjenta, zapewniają uczniom uzupełniające narzędzia do angażowania się w praktyczne i wciągające doświadczenia edukacyjne.

Wydrukowany w 3D model serca pozwala uczniom na fizyczną interakcję z namacalną reprezentacją anatomii serca. Model ten prezentuje wyraźne cechy zewnętrzne, takie jak mięsień sercowy, a także struktury wewnętrzne, w tym komory i zawory. W udanych eksperymentach dokładność anatomiczna była wysoka, z dobrze zdefiniowanymi cechami i minimalnymi artefaktami po obróbce końcowej. Rysunek 9 przedstawia w pełni przetworzony model wydrukowany w 3D z wyraźnym rozróżnieniem między mięśniem sercowym a komorami wewnętrznymi. W przypadkach, gdy kontrast w obrazach TK był nieoptymalny, błędy segmentacji prowadziły do niedokładności w modelu, takich jak nieregularne rozmiary komór lub niekompletna struktura zastawek. Problemy te często można było skorygować za pomocą ręcznej interwencji, w tym dodatkowego wygładzania i usuwania artefaktów, jak pokazano na rysunku 10.

Z kolei wizualizacja 3D Mixed Reality oferuje dynamiczne i interaktywne doświadczenie, w którym uczniowie mogą odkrywać serce w przestrzeni wirtualnej. Środowisko MR zapewnia interakcję w czasie rzeczywistym, w tym obracanie, powiększanie i przekroje przez różne płaszczyzny anatomiczne, co pozwala na bardziej szczegółowe zrozumienie złożonych struktur, takich jak tętnice wieńcowe lub ściany przegrody. Udane wdrożenia wizualizacji MR pozwoliły na bardzo dokładne odwzorowanie zarówno anatomii zewnętrznej, jak i wewnętrznej. Jednak nieoptymalne wizualizacje (np. tam, gdzie segmentacja była wadliwa) prowadziły do zniekształconych widoków struktur wewnętrznych, wpływając na realizm modelu MR i skuteczność nauczania (ryc. 11). W przypadku struktur anatomicznych, które są złożone, podejście segmentacyjne może być niewystarczające. Dzięki możliwości renderowania wolumetrycznego możliwe jest uwidocznienie różnych gęstości (reprezentowanych przez jednostki Hounsfielda), które są ważne dla zrozumienia anatomii (ryc.12).

Techniki te oferują solidne, uzupełniające się narzędzia, które zwiększają doświadczenie uczenia się, dostarczając dokładnych i podatnych na manipulację modeli, chociaż ich sukces zależy od jakości segmentacji i rekonstrukcji na początkowych etapach protokołu. Ogólnie rzecz biorąc, wyniki te pokazują skuteczność protokołu w tworzeniu precyzyjnych modeli serca na podstawie specyficznych dla pacjenta danych z tomografii komputerowej. Wyniki te pokazują skuteczność protokołu w tworzeniu precyzyjnych modeli serca na podstawie danych z tomografii komputerowej specyficznych dla pacjenta.

Przeprowadzono wstępne badanie, aby ocenić postrzeganie przez uczniów technologii rzeczywistości mieszanej w edukacji anatomicznej, a w szczególności w poznawaniu struktury serca. W badaniu wzięło udział 106 studentów, którzy pod nadzorem inżynierów potrafili wykorzystać hologramy do celów edukacyjnych. Pod koniec sesji zapytano ich: "Czy technologia rzeczywistości mieszanej pomogła Ci lepiej zrozumieć temat – strukturę serca?" Wszyscy respondenci (100%) odpowiedzieli "tak". Wiedza studentów była oceniana bezpośrednio po sesji za pomocą krótkiego testu pisemnego, który wymagał od nich opisania trzech struktur anatomicznych związanych z morfologią serca. Średni wynik wyniósł 2,037 przy łącznym wyniku 3 (Tabela 1).

figure-results-1
Rycina 1: Segmentacja serca w tomografii komputerowej. Widoki osiowe (u góry po lewej), czołowe (u dołu po lewej), strzałkowe (u dołu po prawej) i 3D (u góry po prawej) segmentacji CT w oprogramowaniu 3D Slicer. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rysunek 2: Przetwarzanie końcowe. Widoki segmentacyjnych modeli 3D w oprogramowaniu do projektowania prototypów. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-3
Rysunek 3: Po przetworzeniu końcowym. Widoki segmentacyjnych modeli 3D w oprogramowaniu do projektowania prototypów. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-4
Rysunek 4: Widok oprogramowania Mixed Reality. Ekran startowy aplikacji. Przejrzysty i dostępny panel logowania. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-5
Rysunek 5: Wybieranie odpowiednich serii w oprogramowaniu rzeczywistości mieszanej. Wybór dostępnych obrazów tomografii komputerowej do wizualizacji holograficznej. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-6
Rysunek 6: Opcja nożyczek do wycinania części wizualizacji w oprogramowaniu rzeczywistości mieszanej. Narzędzie, które pozwala dostosować hologram do potrzeb użytkownika w czasie rzeczywistym. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-7
Rysunek 7: Dostosowywanie kolorów wizualizacji holograficznej w oprogramowaniu rzeczywistości mieszanej. Dodanie kolorów do wizualizacji zwiększa dostępność i przejrzystość hologramów. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-8
Rysunek 8: Wizualizacje w przestrzeni holograficznej utworzone za pomocą oprogramowania rzeczywistości mieszanej. Trójwymiarowy hologram z podświetlonymi kolorami i znacznikami tomografii komputerowej ułatwiającymi orientację w przestrzeni. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-9
Rysunek 9: Po przetworzeniu końcowym i podglądzie operacji logicznej "x-ray". Widok modeli 3D na oprogramowaniu do projektowania prototypów. W pełni przetworzony model wydrukowany w 3D z wyraźnym rozróżnieniem między mięśniem sercowym a komorami wewnętrznymi. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-10
Rysunek 10: Po wycięciu modelu w rzucie czterokomorowym, ostateczny podgląd części wydrukowanej w 3D. Widok modeli 3D na oprogramowaniu do projektowania prototypów. Dodatkowe wygładzanie i usuwanie artefaktów. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-11
Rysunek 11: Wizualizacja danych CT w oprogramowaniu rzeczywistości mieszanej. Renderowanie powierzchni jest wynikiem nadmiernej segmentacji. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-12
Rysunek 12: Przykładowa wizualizacja danych z tomografii komputerowej w oprogramowaniu rzeczywistości mieszanej. Renderowanie objętościowe, które wizualizuje różne gęstości. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Łączna liczba studentów (n)106
Liczba uczniów, którzy używali hologramów do celów edukacyjnych (n)106
Liczba uczniów odpowiadających "TAK" na pytanie: "Czy technologia rzeczywistości mieszanej pomogła Ci lepiej zrozumieć temat – strukturę serca?"106
Liczba uczniów, którzy odpowiedzieli "NIE" na pytanie: "Czy technologia rzeczywistości mieszanej pomogła Ci lepiej zrozumieć temat – strukturę serca?"0
Minimalny wynik0
Maksymalny wynik3
Średni wynik uczniów, którzy wzięli udział w krótkim teście pisemnym w celu opisania trzech struktur anatomicznych związanych z morfologią serca2.037
Łączny wynik3

Tabela 1: Wstępne dane badania.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Współczesna anatomia opiera się przede wszystkim na klasycznych, sprawdzonych metodach znanych od setek lat. Zwłoki ludzkie są podstawą kształcenia przyszłych lekarzy, a anatomowie podkreślają ich rolę nie tylko w zrozumieniu budowy ludzkiego ciała, ale także w kształtowaniu postaw etycznych28,29. Rozwój technologii jest ekspansywny nie tylko w codziennych procedurach klinicznych, ale także w dydaktyce, stąd próba wdrożenia druku 3D 7,30,31,32 oraz rzeczywistości mieszanej w nauczaniu anatomii 33,34,35,36. Obecnie praca lekarzy w dużej mierze opiera się na nowoczesnych rozwiązaniach, sprzęcie i szeroko pojętej cyfryzacji, a coraz większy udział automatyzacji, robotyzacji i wdrażania innowacyjnych rozwiązań będzie postępował, biorąc pod uwagę trwający od lat trend.

Uzupełnienie klasycznych form kształcenia o druk 3D, zajęcia z wykorzystaniem mieszanej rzeczywistości, czy ultrasonografii może mieć bardzo pozytywny wpływ na przygotowanie przyszłych lekarzy do zawodu, nie tylko ze względu na możliwość zdobycia większej ilości wiedzy i porównania wizualizacji w różnego rodzaju technikach obrazowania, ale również ze względu na kontakt z nowymi technologiami, zaznajomienie się z ich zastosowaniem, a także danie impulsu do myślenia o nowych zastosowaniach, zwłaszcza w obszarze zainteresowań37.

Przygotowanie modeli w technologii druku 3D, a także hologramów w technologii mixed reality, wymaga większego niż standardowe zaangażowania, zaplanowania ich powstania, a także uzyskania swobody w prowadzeniu zajęć z ich wykorzystaniem. Należy dodać, że są to drogie rozwiązania, zwłaszcza rzeczywistość mieszana, która wymaga urządzeń mogących wyświetlać hologramy (gogle), zaplecza inżynierskiego – w tym aplikacji i jej działania. Druk 3D, ze względu na większą popularność i niższe koszty38, jest łatwiejszy do wdrożenia, ale wymaga zaplanowania zakupu drukarki i filamentu, jeśli dział anatomii chciałby tworzyć od podstaw własne modele oraz oprogramowanie do tworzenia obrazów gotowych do druku z badań obrazowych DICOM.

CarnaLife Holo umożliwia użytkownikom przesyłanie zarówno danych z tomografii komputerowej, jak i wyników segmentacji, zapewniając unikalne podejście rzadko stosowane w dziedzinie MR. Obecne najnowocześniejsze techniki zazwyczaj wizualizują modele 3D przy użyciu renderingu powierzchni na podstawie plików STL lub OBJ39,40. W związku z tym użytkownicy mają dostęp tylko do wyników segmentacji, z ograniczoną możliwością bezpośredniego przeglądania oryginalnych danych. Może to stanowić wyzwanie podczas analizy małych struktur lub patologii, takich jak zwapnienia, gdzie precyzja segmentacji ma kluczowe znaczenie.

Dzięki wizualizacji danych surowych (renderowanie objętościowe) użytkownicy mogą oceniać konstrukcje nie tylko na podstawie geometrii, ale także analizując rozkład jednostek Hounsfielda (gęstości) w konstrukcji. Automatyczna segmentacja serca, powszechna technika, która ułatwia żmudne zadanie ręcznej segmentacji, ma swoje ograniczenia41. Jest ograniczony liczbą struktur, które może segmentować, zwłaszcza w obecności patologii, i wymaga wysokowydajnego sprzętu do wydajnego przetwarzania.

Aby sprostać tym wyzwaniom, zaproponowano połączenie dwóch metod wizualizacji - renderowania objętościowego i renderowania powierzchniowego. To hybrydowe podejście pozwala na jednoczesną wizualizację struktur segmentowych i rozkładu wartości w analizowanych danych, oferując użytkownikom bardziej kompleksowe narzędzie do interpretacji danych.

W przypadku anatomii serca stworzenie modelu 3D jest skomplikowane, ponieważ standardowe narzędzia automatyczne w programie są niewystarczające do wyodrębnienia tkanki serca z pełnego obrazu ze względu na niejednorodność wielkości, kształtu, położenia struktur anatomicznych, obecność artefaktów oraz rozmyte granice (niski kontrast) między sąsiednimi tkankami. Dlatego oprócz segmentacji progowej powinna być wykonywana segmentacja nadzorowana przez lekarza w mechanizmie "slice by slice". Kolejnym etapem jest adaptacja modelu do druku 3D, co obejmuje dalsze usuwanie zniekształceń wynikających z szumów podczas akwizycji obrazu. Po wydrukowaniu modele są delikatnie rozpuszczane w acetonie, aby uzyskać gładszą powierzchnię. Korzystanie przez studentów z gotowych modeli jest proste – analogicznie do oglądania i omawiania preparatów zwłok ludzkich. W przypadku rzeczywistości mieszanej za każdym razem wymagane jest szkolenie z obsługi technologii – prawidłowego mocowania gogli do głowy, a także sterowania głosem i gestami. Ze względu na ograniczoną ilość dostępnego sprzętu nie jest możliwe jednoczesne uczestnictwo większej liczby uczniów. W celu zwiększenia dostępności zobrazowanego materiału wykorzystano markery konkretnych struktur anatomicznych, które ułatwiają szybsze omówienie preparatów – hologramy.

Opanowanie procesu segmentacji i rekonstrukcji 3D w 3D Slicer może być wyzwaniem dla początkujących, ponieważ wiąże się z nauką wielu funkcji i przepływów pracy. Rozwijanie biegłości zazwyczaj wymaga znacznej praktyki i doświadczenia. Z naszych obserwacji wynika, że osiągnięcie zaufania do oprogramowania wymagało około 20-30 godzin dedykowanej pracy, która obejmowała segmentację co najmniej 5-7 różnych modeli serca. 3D Slicer to platforma typu open source, która korzysta z solidnej społeczności internetowej. Oferuje obszerne zasoby do rozwiązywania problemów, fora rozwiązywania problemów oraz bogactwo samouczków i przypadków użycia. Zasoby te ułatwiają proces uczenia się, zapewniając dostępne wskazówki. Ponadto wykorzystanie narzędzi, takich jak duże modele językowe (LLM), w tym ChatGPT lub Gemini, może jeszcze bardziej zwiększyć zrozumienie oprogramowania i jego funkcji. W fazie nauki bardzo korzystny okazuje się dostęp do mentora lub superwizora z doświadczeniem w obrazowaniu medycznym i anatomii. Natychmiastowa informacja zwrotna na temat strategii segmentacji i dokładności przyspiesza rozwój umiejętności i zapewnia utrzymanie precyzji anatomicznej. Początkujący powinni liczyć się z tym, że początkowe próby mogą być czasochłonne i podatne na błędy. Jednak konsekwentna praktyka sprawia, że procesy segmentacji i udoskonalania są znacznie bardziej intuicyjne i wydajne. Ważne jest, aby podejść do tej krzywej uczenia się z cierpliwością, ponieważ stałe zaangażowanie w narzędzie znacznie poprawia szybkość i dokładność.

Krytycznymi etapami przedstawionego protokołu była właściwa segmentacja i ekstrakcja tkanki serca z badania obrazowego w celu stworzenia trójwymiarowego modelu, który jest przydatny w druku 3D i technologiach rzeczywistości mieszanej.

Lekcja anatomii serca z wykorzystaniem druku 3D i technologii mieszanej rzeczywistości została bardzo dobrze przyjęta przez uczniów, a zdecydowana większość uznała wsparcie technologiczne za przydatne – pozwalające na lepsze zrozumienie omawianego tematu. Zdaniem autorów nowe technologie powinny wspierać istniejące, klasyczne rozwiązania dydaktyczne i być coraz szerzej stosowane.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Maciej Stanuch, Marcel Pikuła, Oskar Trybus i Andrzej Skalski są pracownikami MedApp S.A. MedApp S.A. jest firmą produkującą rozwiązanie CarnaLifeHolo.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badanie zostało zrealizowane w ramach współpracy niekomercyjnej.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Fragmentator 3DSpołeczność slicerahttps://www.slicer.orgWersja 5.6.0
CarnaLifeHolo MedApp S.A.https://carnalifeholo.comOprogramowanie do wizualizacji 3D
Mieszalnik siatkowyAutodesk Inc.https://www.research.autodesk.com/projects/meshmixer/oprogramowanie do projektowania prototypów
Ender 3 Creality https://www.creality.com/products/ender-3-3d-printerDrukarka 3D
CuraUltiMaker https://ultimaker.com/software/ultimaker-cura/Oprogramowanie do druku 3D

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Marconi, S., et al. Value of 3D printing for the comprehension of surgical anatomy. Surg endosc. 31, 4102-4110 (2017).
  2. Bernhard, J. C., et al. Personalized 3D printed model of kidney and tumor anatomy: a useful tool for patient education. World J Urol. 34 (3), 337-345 (2016).
  3. Gehrsitz, P., et al. Cinematic rendering in mixed-reality holograms: a new 3D preoperative planning tool in pediatric heart surgery. Front Cardiovasc Med. 8, 633611(2021).
  4. Vatankhah, R., et al. 3D printed models for teaching orbital anatomy, anomalies and fractures. J Ophthalmic Vis Res. 16 (4), 611-619 (2021).
  5. O'Reilly, M. K., et al. Fabrication and assessment of 3D printed anatomical models of the lower limb for anatomical teaching and femoral vessel access training in medicine. Anat Sci Educ. 9 (1), 71-79 (2016).
  6. Garas, M., et al. 3D-Printed specimens as a valuable tool in anatomy education: A pilot study. Ann Anat. 219, 57-64 (2018).
  7. AbouHashem, Y., et al. The application of 3D printing in anatomy education. Med Educ Online. 20, 29847(2016).
  8. Wu, A. M., et al. The addition of 3D printed models to enhance the teaching and learning of bone spatial anatomy and fractures for undergraduate students: a randomized controlled study. Ann Transl Med. 6 (20), 403(2018).
  9. McMenamin, P. G., et al. The production of anatomical teaching resources using three-dimensional (3D) printing technology. Anat Sci Educ. 7 (6), 479-486 (2014).
  10. Tan, L., et al. Full color 3D printing of anatomical models. Clin Anat. 35 (5), 598-608 (2022).
  11. Garcia, J., et al. 3D printing materials and their use in medical education: a review of current technology and trends for the future. BMJ Simul Technol Enhanc Learn. 4 (1), 27-40 (2018).
  12. Milgram, P., et al. Augmented reality: A class of displays on the reality-virtuality continuum. Proceedings of the International Society for Optical Engineering. (SPIE 1994), Photonics for Industrial Applications; Boston, MA. , The International Society for Optical Engineering. Boston, MA. (1994).
  13. Brun, H., et al. Mixed reality holograms for heart surgery planning: first user experience in congenital heart disease. Eur Heart J Cardiovasc Imaging. 20 (8), 883-888 (2019).
  14. Lu, L., et al. Applications of mixed reality technology in orthopedics surgery: A pilot study. Front Bioeng Biotechnol. 22 (10), 740507(2022).
  15. Condino, S., et al. How to build a patient-specific hybrid simulator for orthopaedic open surgery: benefits and limits of mixed-reality using the Microsoft HoloLens. J Healthc Eng. 2018, 5435097(2018).
  16. Wu, X., et al. Mixed reality technology launches in orthopedic surgery for comprehensive preoperative management of complicated cervical fractures. Surg Innov. 25, 421-422 (2018).
  17. Łęgosz, P., et al. The use of mixed reality in custom-made revision hip arthroplasty: A first case report. J Vis Exp. (186), e63654(2022).
  18. Wierzbicki, R., et al. 3D mixed-reality visualization of medical imaging data as a supporting tool for innovative, minimally invasive surgery for gastrointestinal tumors and systemic treatment as a new path in personalized treatment of advanced cancer diseases. J Cancer Res Clin Oncol. 148 (1), 237-243 (2022).
  19. Wish-Baratz, S., et al. Assessment of mixed-reality technology use in remote online anatomy education. JAMA Netw Open. 3 (9), e2016271(2020).
  20. Owolabi, J., Bekele, A. Implementation of innovative educational technologies in teaching of anatomy and basic medical sciences during the COVID-19 pandemic in a developing country: The COVID-19 silver lining. Adv Med Educ Pract. 8 (12), 619-625 (2021).
  21. Xiao, J., Evans, D. J. R. Anatomy education beyond the Covid-19 pandemic: A changing pedagogy. Anat Sci Educ. 15 (6), 1138-1144 (2022).
  22. Robinson, B. L., Mitchell, T. R., Brenseke, B. M. Evaluating the use of mixed reality to teach gross and microscopic respiratory anatomy. Med Sci Educ. 30 (4), 1745-1748 (2020).
  23. Ruthberg, J. S., et al. Mixed reality as a time-efficient alternative to cadaveric dissection. Med Teach. 42, 896-901 (2020).
  24. Stojanovska, M., et al. Mixed reality anatomy using microsoft hololens and cadaveric dissection: a comparative effectiveness study. Med Sci Educ. 30, 173-178 (2020).
  25. Zhang, L., et al. Using Microsoft HoloLens to improve memory recall in anatomy and physiology: a pilot study to examine the efficacy of using augmented reality in education. J Educ Tech Dev Exch. 12 (1), 17-31 (2020).
  26. Vergel, R. S., et al. Comparative evaluation of a virtual reality table and a HoloLens-based augmented reality system for anatomy training. IEEE Trans Hum Mach Syst. 50 (4), 337-348 (2020).
  27. Fedorov, A., et al. 3D slicer as an image computing platform for the quantitative imaging network. Magn Reson Imaging. 30 (9), 1323-1341 (2012).
  28. Boulware, L. E., et al. Whole body donation for medical science: a population-based study. Clin Anat. 17 (7), 570-577 (2004).
  29. Arráez-Aybar, L. A., Bueno-López, J. L., Moxham, B. J. Anatomists' views on human body dissection and donation: An international survey. Ann anat. 196 (6), 376-386 (2014).
  30. Vaccarezza, M., Papa, V. 3D printing: a valuable resource in human anatomy education. Anat Sci Int. 90 (1), 64-65 (2015).
  31. Smith, C. F., Tollemache, N., Covill, D., Johnston, M. Take away body parts! An investigation into the use of 3D-printed anatomical models in undergraduate anatomy education. Anat Sci Educ. 11 (1), 44-53 (2018).
  32. Lim, K. H., et al. Use of 3D printed models in medical education: A randomized control trial comparing 3D prints versus cadaveric materials for learning external cardiac anatomy. Anat Sci Educ. 9 (3), 213-221 (2016).
  33. Richards, S. Student engagement using HoloLens mixed-reality technology in human anatomy laboratories for osteopathic medical students: an instructional model. Med Sci Educ. 33 (1), 223-231 (2023).
  34. Veer, V., Phelps, C., Moro, C. Incorporating mixed reality for knowledge retention in physiology, anatomy, pathology, and pharmacology interdisciplinary education: a randomized controlled trial. Med Sci Educ. 32 (6), 1579-1586 (2022).
  35. Romand, M., et al. Mixed and augmented reality tools in the medical anatomy curriculum. Stud Health Technol Inform. 270, 322-326 (2020).
  36. Birt, J., et al. Mobile mixed reality for experiential learning and simulation in medical and health sciences education. Information. 9 (2), 31(2018).
  37. Kazoka, D., Pilmane, M., Edelmers, E. Facilitating student understanding through incorporating digital images and 3D-printed models in a human anatomy course. Educ Sci. 11 (8), 380(2021).
  38. Shen, Z., et al. The process of 3D printed skull models for anatomy education. Comput Assist Surg (Abingdon). 24 (1), 121-130 (2019).
  39. Ye, W., et al. Mixed-reality hologram for diagnosis and surgical planning of double outlet of the right ventricle: a pilot study. Clin Radiol. 76 (3), 237.e1-237.e7 (2021).
  40. Bonanni, M., et al. Holographic mixed reality for planning transcatheter aortic valve replacement. Int J Cardiol. 412, 132330(2024).
  41. Chen, L., et al. Automatic 3D left atrial strain extraction framework on cardiac computed tomography. Comput Methods Programs Biomed. 252, 108236(2024).

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

edukacja anatomicznamodele drukowane w 3Dhologramy sercaedukacja medycznasegmentacja TKrenderowanie wolumetryczneplanowanie chirurgiczne

Powiązane artykuły