W tym miejscu opisujemy protokół konstruowania modelu serca od podstaw w oparciu o tomografię komputerową i prezentujemy go studentom medycyny przy użyciu druku trójwymiarowego (3D) i technologii rzeczywistości mieszanej do nauki anatomii.
Artykuł metodologiczny
Technologia rzeczywistości mieszanej i druk trójwymiarowy w nauczaniu: anatomia serca jako przykład
W tym artykule
Podsumowanie
Streszczenie
Technologia rzeczywistości mieszanej i druk trójwymiarowy (3D) stają się coraz bardziej powszechne w medycynie. W czasie pandemii COVID-19 i bezpośrednio po złagodzeniu obostrzeń wdrożono wiele innowacji w kształceniu przyszłych lekarzy. Pojawiło się również zainteresowanie technikami immersyjnymi i technologią druku 3D w nauczaniu anatomii. Nie są to jednak typowe implementacje. W 2023 roku wydruki 3D i hologramy w technologii mieszanej zostały przygotowane na potrzeby zajęć skoncentrowanych na budowie serca. Służyły one do nauczania studentów, którzy przy wsparciu inżynierów mogli poznać szczegółową budowę serca oraz zapoznać się z nowymi technologiami wspierającymi tradycyjny model uczenia się na ludzkich zwłokach. Studenci uważają tę możliwość za bardzo cenną. W artykule przedstawiono proces przygotowania materiałów do zajęć oraz możliwości dalszej realizacji. Autorzy widzą szansę na rozwój prezentowanych technologii w dydaktyce studentów na różnych poziomach kształcenia oraz uzasadnienie dla coraz powszechniejszego wdrażania.
Wprowadzenie
Technologia druku trójwymiarowego (3D) i rzeczywistość mieszana to coraz powszechniej wykorzystywane zdobycze technologiczne w medycynie. Coraz więcej zastosowań znajduje się nie tylko w codziennej praktyce klinicznej wielu specjalistów z różnych dziedzin, ale także w nauczaniu rezydentów i przyszłych lekarzy, czyli studentów medycyny 1,2,3,4,5,6.
Do drukowania modeli anatomicznych często wykorzystywana jest technologia druku 3D, oferowana głównie przez podmioty komercyjne, jednak rosnące zainteresowanie studentów tego typu przygotowaniem do nauki jest impulsem do wprowadzania innowacji w wydziałach anatomiina uczelniach medycznych7. Preparaty mogą być tworzone w oparciu o dane z atlasów anatomicznych, rysunków i rycin, ale także w oparciu o badania obrazowe takie jak tomografia komputerowa czy rezonans magnetyczny 1,8,9. Możliwe jest drukowanie preparatów anatomicznych na drukarce 3D w różnych skalach, a także możliwe jest użycie kolorów, markerów i innych wariacji w celu zwiększenia dostępności materiału dydaktycznego10,11. Pomimo zwiększonej dostępności materiałów, studenci medycyny w Polsce nie mają szerokiego dostępu do tego typu preparatów, niezależnie od deklarowanej chęci wsparcia obecnego, klasycznego modelu nauczania opartego na preparatyce zwłok ludzkich z dodatkiem nowych technologii, które nie są jeszcze w pełni wdrażane.
Technologia mieszanej rzeczywistości to integracja świata wirtualnego ze światem rzeczywistym. Dzięki goglom, które umożliwiają wizualizację wcześniej przygotowanych hologramów, mogą one być "nakładane" na otaczające obiekty w świecie rzeczywistym12. Hologramy można manipulować w przestrzeni, np. powiększać, zmniejszać lub obracać, dzięki czemu oglądany obraz jest lepiej wizualizowany, dostępny i bardziej użyteczny. Rzeczywistość mieszana jest coraz częściej wykorzystywana przez operatorów w dyscyplinach chirurgicznych, np. kardiochirurgii 3,13, ortopedii 14,15,16,17, onkologii 18. Coraz częściej, zwłaszcza w okresie po pandemii COVID-19, dydaktykami z zakresu podstawowych nauk medycznych interesują się nowe technologie, w tym rzeczywistość mieszana, w celu wdrożenia ich do kształcenia przyszłych lekarzy 19,20,21. Również nauczyciele akademiccy prowadzący zajęcia z anatomii normalnej znajdują przestrzeń do wprowadzania rzeczywistości mieszanej w swojej dziedzinie 22,23,24,25,26. Tworzenie hologramów wymaga badania obrazowego, najczęściej tomografii komputerowej, która jest renderowana i przetwarzana przez inżynierów za pomocą dedykowanego oprogramowania do wersji holograficznej – możliwej do użycia z goglami.
Postanowiliśmy stworzyć przydatne materiały dla studentów do nauki anatomii ludzkiego serca w ramach zajęć z anatomii na pierwszym roku studiów medycznych. W tym celu wykorzystano angio-tomografię komputerową serca, udostępnioną przez Klinikę Kardiologii po uprzedniej całkowitej anonimizacji danych. My, podzieleni na dwa zespoły, stworzyliśmy hologramy i wydruki 3D, które następnie zostały udostępnione uczniom w ramach lekcji pilotażowej. Studenci bardzo dobrze ocenili dostępność i dokładność materiałów, ale szczegółowe opracowanie na ten temat zostanie przedstawione w dalszej części – wyniki są obecnie oceniane.
Pokazujemy tutaj proces tworzenia modeli od tomografii komputerowej do prezentacji gotowych modeli wdrożonych w praktyce dydaktycznej.
Protokół
Protokół jest zgodny z wytycznymi Komisji Etycznej ds. Badań Naukowych z Udziałem Ludzi Śląskiego Uniwersytetu Medycznego. Dane obrazowe pacjenta zostały wykorzystane po całkowitej anonimizacji.
1. 3D Printing - Segmentacja i rekonstrukcja modelu 3D serca
- Przesyłanie i wstępne przetwarzanie obrazów
- Otwórz 3D Slicer 5.6.0 i przejdź do modułu danych27.
- Kliknij przycisk Dodaj dane i wybierz obrazy tomografii komputerowej specyficzne dla pacjenta w formacie DICOM. Upewnij się, że obrazy są przesyłane we właściwej orientacji.
- Oceń jakość obrazów, sprawdzając widoki osiowe, strzałkowe i koronalne w przeglądarce plasterków. Sprawdź wystarczający kontrast, aby odróżnić mięsień sercowy od komór serca.
- Jeśli kontrast jest niewystarczający, dostosuj ustawienia okna/poziomu , aby zwiększyć różnicowanie tkanek za pomocą modułu objętości. Ustaw Okno na 350 HU i Poziom na 40 HU jako punkt początkowy i zmodyfikuj w razie potrzeby.
- Potwierdź widoczność anatomicznych obszarów zainteresowania (ROI), w tym mięśnia sercowego i wewnętrznych komór serca.
- Segmentacja oparta na progach
- Przejdź do modułu Edytor segmentów i kliknij przycisk Dodaj , aby utworzyć nową segmentację.
- Wybierz opcję Threshold (Próg ) z narzędzi do segmentacji. Ustaw dolny młócony na 100 HU , a górny próg na 300 HU , aby odizolować tkanki miękkie.
UWAGA: Wartości te mogą się różnić w zależności od jakości obrazu i cech specyficznych dla pacjenta. - Dostosuj zakres progowy ręcznie, aby zawęzić zwrot z inwestycji, przeciągając suwaki lub wprowadzając wartości, aż komory mięśnia sercowego i serca zostaną wyraźnie odizolowane. Użyj oględzin w widoku osiowym, strzałkowym i koronalnym, aby zapewnić prawidłowy wybór.
- Upewnij się, że wszystkie istotne obszary anatomiczne zostały uchwycone. W razie potrzeby przełącz się na narzędzie Malowanie , aby ręcznie dodać lub usunąć obszary segmentacji, które nie zostały prawidłowo przechwycone przez progowanie.
- Kliknij przycisk Zastosuj , aby sfinalizować segmentację wyboru opartego na progu (Rysunek 1)
- Ręczna korekta plasterek po plasterku
- Korzystając z narzędzi Nożyczki lub Wymazywanie w edytorze segmentów, ręcznie sprawdź każdy wycinek zestawu danych CT. Wszelkie nieścisłości, takie jak te spowodowane artefaktami lub słabym kontrastem, można poprawić, usuwając lub dodając w razie potrzeby obszary podzielone na segmenty.
- W przypadku każdego wycinka skup się na precyzyjnej identyfikacji mięśnia sercowego i wewnętrznych komór serca. Jeśli pojawią się niejasności, skonsultuj się z lekarzem lub odniesieniem anatomicznym, aby zapewnić dokładność.
- Podziel serce na dwa odrębne segmenty: jeden dla mięśnia sercowego i jeden dla komór wewnętrznych. Użyj przycisku Utwórz nowy segment , aby rozróżnić te struktury.
- Kontynuuj kontrolę i korektę plasterek po plasterku, aż wszystkie przekroje w płaszczyźnie osiowej, strzałkowej i koronalnej zostaną skorygowane i podzielone na segmenty.
- Przetwarzanie końcowe i eksport modelu
- Zaimportuj wyeksportowane pliki STL do MeshMixer (Rysunek 2, nazywane prototypowym oprogramowaniem do projektowania).
- Zacznij od wyeliminowania małych artefaktów i zapewnienia jednolitości modelu, wybierając opcję Edytuj > Utwórz bryłę.
- W oknie podręcznym wybierz opcję Typ bryły jako Dokładność , aby zachować dokładne szczegóły segmentacji. Ustaw suwak Dokładność bryły na wartość z zakresu od 0,8 do 1,0, aby uzyskać optymalną wierność.
- Po zestaleniu modelu przystąp do ręcznego usuwania artefaktów. Użyj narzędzia Wymaż i wypełnij , aby zrekonstruować wszelkie naruszone obszary powierzchni. Dostęp do niego można uzyskać w obszarze Wybierz > Modyfikuj > Wymaż i wypełnij.
- Kliknij i przeciągnij, aby zaznaczyć problematyczne obszary, a następnie użyj opcji Wypełnij , aby przywrócić ciągłość powierzchni. Upewnij się, że wypełnione obszary płynnie łączą się z otaczającą geometrią.
- W celu ogólnego zagęszczenia powierzchni należy użyć narzędzia Wybierz , aby wyróżnić określone obszary modelu, które wymagają wygładzenia. Po wybraniu przejdź do opcji Modyfikuj > wygładzaj i stosuj narzędzie iteracyjnie.
- Dostosuj suwak Siła wygładzania w zakresie od 10 do 50%, w zależności od stopnia nierówności powierzchni. Zachowaj ostrożność, aby zachować anatomiczną dokładność podczas wygładzania. Użyj Shift + lewy przycisk myszy, aby odznaczyć obszary, które nie wymagają modyfikacji.
- Po zakończeniu wygładzania użyj narzędzia Inspector , aby automatycznie zidentyfikować i wypełnić wszelkie pozostałe otwory w siatce. Sprawdź model wizualnie, aby upewnić się, że nie ma żadnych poważnych artefaktów ani nieregularności powierzchni.
- Aby zintegrować mięsień sercowy i wewnętrzne komory serca w jeden spójny model, należy zastosować operacje logiczne . Przejdź do Edytuj > Unii logicznej i wybierz dwie oddzielne części (mięsień sercowy i komory), aby je połączyć.
- Upewnij się, że operacja pomyślnie łączy konstrukcje bez tworzenia wewnętrznych otworów lub zakładek. Sprawdź skrzyżowania i dostosuj je w razie potrzeby, ręcznie poprawiając obszary scalania za pomocą funkcji Wymaż i wypełnij lub Wygładź (Rysunek 3).
- Po ujednoliceniu i dopracowaniu modelu wyeksportuj końcowy plik STL, wybierając opcję Eksportuj > STL w celu przygotowania do druku 3D.
- Zaimportuj wyeksportowane pliki STL do MeshMixer (Rysunek 2, nazywane prototypowym oprogramowaniem do projektowania).
- Przygotowanie modelu do druku 3D
- Wybór materiału i ustawienia drukarki
- Użyj filamentu akrylonitryl-butadien-styren (ABS), który pozwala na łatwą obróbkę końcową, taką jak wygładzanie acetonem.
UWAGA: ABS jest wrażliwy na wahania temperatury, dlatego należy zapewnić stabilne środowisko podczas drukowania. - Zdecyduj się na dołączoną drukarkę 3D, aby uzyskać lepszą kontrolę temperatury.
- Użyj filamentu akrylonitryl-butadien-styren (ABS), który pozwala na łatwą obróbkę końcową, taką jak wygładzanie acetonem.
- Ustawienia drukarki i slicera
- Model drukarki: Użyj odpowiedniej drukarki. Tutaj zastosowano Creality Ender 3 z wykonaną na zamówienie metalową obudową.
- Materiał żarnika: Użyj ABS.
- Skonfiguruj następujące ustawienia w Cura lub podobnym oprogramowaniu do krojenia.
Średnica dyszy: 0,5 mm
Temperatura dyszy: ~ 240 °C (dostosuj w zależności od marki filamentu)
Temperatura stołu: ~100 °C
Wysokość warstwy: 0,24 mm
Prędkość drukowania: ~100 mm/s (zmniejsz do 50-60 mm/s dla wyższej jakości)
Gęstość wypełnienia: 25% (w celu zrównoważenia wytrzymałości i zużycia materiału)
Podpory: Włącz automatyczne podpory (np. podpory drzewa)
Wentylator chłodzący: Wyłącz, aby zapobiec wypaczaniu
Środki wspomagające przyczepność: Użyj ronda lub tratwy, aby poprawić przyczepność łóżka - Upewnij się, że drukarka jest skalibrowana i dostosuj ustawienia w oparciu o (a) tolerancje specyficzne dla drukarki, (b) właściwości filamentu ABS oraz (c) pożądany kompromis między szybkością drukowania a jakością powierzchni.
- Konstrukcje wsporcze i obróbka końcowa
- Konstrukcje podporowe: Generuj podpory w oprogramowaniu do krojenia za pomocą wbudowanych narzędzi (np. Cura) w celu ustabilizowania elementów wystających podczas drukowania. Sprawdź, czy podpory nie kolidują z delikatnymi szczegółami anatomicznymi.
- Usuwanie podpory: Poczekaj, aż wydrukowany model całkowicie ostygnie, aby zapobiec uszkodzeniu podczas usuwania podpory. Ostrożnie usuń podpory. Użyj szczypiec półokrągłych, aby uzyskać bardziej rozległe podparcie. W przypadku mniejszych lub delikatnych obszarów delikatnie usuń podpory ręcznie.
- Wykańczanie powierzchni: Sprawdź, czy na wydrukowanym modelu nie ma szorstkich obszarów, zwłaszcza w miejscach, w których zostały przymocowane podpory. Wygładź te obszary za pomocą papieru ściernego o drobnej ziarnistości (np. o ziarnistości 200-400), małych pilników do precyzyjnych detali i staraj się uzyskać czystą, ciągłą powierzchnię, aby zwiększyć dokładność anatomiczną.
- Zaawansowana obróbka końcowa (opcjonalnie): Jeśli wymagane jest polerowane wykończenie, przygotuj komorę wygładzającą parę z acetonem i wystaw model na działanie oparów acetonu przez ~9 minut (wykonaj ten krok w dobrze wentylowanym miejscu z zachowaniem odpowiednich środków ostrożności [np. rękawice, okulary]) i pozostaw model do całkowitego wyschnięcia przed obsługą.
- Wybór materiału i ustawienia drukarki
- Punkty pauzy.
- Wstrzymaj protokół po każdej korekcie wycinka w kroku 1.3.1, zapisując projekt we fragmentatorze 3D. Wznów segmentację później bez utraty danych.
- W kroku 1.4.1, po wyeksportowaniu plików STL, jeśli jest to wymagane, wstrzymaj kroki przetwarzania końcowego, ponieważ nie wymagają one ciągłości.
2. Rzeczywistość mieszana
UWAGA: Przetwarzaj pliki DICOM CT serca na holograficzną reprezentację za pomocą CarnaLife Holo (określanego jako oprogramowanie rzeczywistości mieszanej).
- Przygotuj sprzęt.
- Włącz laptopa i podłącz go do gniazdka elektrycznego. Włącz zestaw słuchawkowy rzeczywistości mieszanej.
- Podłącz router do laptopa.
- Załaduj obraz CT do zestawu słuchawkowego rzeczywistości mieszanej z pobranych plików CT DICOM.
- Otwórz oprogramowanie rzeczywistości mieszanej i zaloguj się (Rysunek 4).
- Wybierz odpowiedni folder z tomografią komputerową. Wybierz odpowiednią serię danych CT (Rysunek 5).
- Sprawdź adres IP wyświetlany po włączeniu zestawu słuchawkowego i wprowadź go w wyznaczonym miejscu w oprogramowaniu rzeczywistości mieszanej.
- Kliknij przycisk Połącz , aby wyświetlić wizualizację w goglach rzeczywistości mieszanej.
- Podziel strukturę serca na segmenty za pomocą narzędzia do ręcznej segmentacji za pomocą opcji Nożyczki (Rysunek 6). Za jego pomocą zaznacz obszary, które zostaną usunięte z rekonstrukcji danych CT poprzez kliknięcie lewym przyciskiem myszy i przeciągnięcie.
- Zakończ oznaczanie obszaru cięcia, klikając lewym przyciskiem myszy, a następnie potwierdzając cięcie w wyskakującym okienku.
- Wybierz predefiniowane preset (parametry wizualizacji kolorów) odpowiedni do wizualizacji budowy serca z listy dostępnych presetów, klikając na jego nazwę: CT CARDIAC HOLLOW.
- W razie potrzeby dostosuj wizualizację, zmieniając okno za pomocą kliknięcia prawym przyciskiem myszy i przytrzymania podczas przesuwania kursora w widoku 3D.
- Wczytywanie modeli 3D powierzchni lewej i prawej komory oraz przedsionków.
- Kliknij sekcję Modele 3D w oprogramowaniu rzeczywistości mieszanej. Kliknij przycisk Załaduj modele .
- Przejdź do folderu z modelami powierzchni. Zaznacz wszystkie cztery pliki i potwierdź, klikając przycisk Otwórz. Dostosuj kolory wizualizowanych modeli (Rysunek 7).
- Kliknij ikonę ołówka na liście modeli 3D. Kliknij kartę Proporcje w widocznym oknie podręcznym.
- Kliknij biały kwadrat obok etykiety koloru . Wybierz odpowiedni kolor za pomocą wyskakującego okienka Próbnik kolorów . Potwierdź, klikając przycisk OK . Kliknij lewym przyciskiem myszy Widok 3D.
- Powtórz wszystkie kroki dla pozostałych modeli powierzchniowych.
- Twórz adnotacje struktur anatomicznych na widokach 2D, korzystając z trzech widoków 2D (osiowego, strzałkowego i czołowego), aby umieścić punkt adnotacji w odpowiednim miejscu.
- Kliknij sekcję Adnotacja w oprogramowaniu.
- Po prawej stronie okna aplikacji (w domyślnym układzie aplikacji) znajdują się trzy widoki 2D zrekonstruowanych danych.
- Przejdź przez plasterki, klikając ikonę pojedynczej lub podwójnej strzałki obok suwaka po prawej stronie każdego widoku 2D.
- Zmień plasterek, klikając i przytrzymując lewy przycisk Shift podczas przewijania kółkiem myszy.
- Plasterek można zmienić, przeciągając niebieskie, czerwone lub zielone linie (reprezentacje płaszczyzny 2D).
- Po ustawieniu odpowiedniego przekroju w wybranym widoku 2D, powiększ go kółkiem myszy i umieść punkt adnotacji, klikając lewym przyciskiem myszy. Adnotacja zostanie utworzona w klikniętym miejscu.
- Wróć do sekcji Adnotacja i kliknij ikonę ołówka na adnotacji na liście adnotacji z odpowiednim numerem identyfikacyjnym.
- W dolnej części wyskakującego okienka wprowadź tekst adnotacji, np. "Lewa komora".
- Dostosuj kolory, grubość i rozmiary adnotacji w tym oknie podręcznym. Wróć do widoku 2D z umieszczoną adnotacją.
- Chwyć i przenieś etykietę adnotacji poza płaszczyznę 2D w odpowiednie miejsce.
- Powtórz wszystkie kroki dla wszystkich struktur anatomicznych, które wymagają adnotacji.
- Załaduj stan wizualizacji, aby uzyskać zapisane adnotacje struktur anatomicznych w wizualizacji.
- Kliknij ikonę Załaduj plik obok ikony dyskietki w prawym górnym rogu widoku 3D. W oknie podręcznym kliknij ikonę Folder , przejdź do katalogu z zapisanym plikiem stanu wizualizacji, a następnie kliknij opcję Wybierz folder.
- Jeśli wybrano ją poprawnie i jeśli istnieje prawidłowy plik dla tych konkretnych danych, lista odpowiednich plików stanu wizualizacji zastąpi zastrzeżenie Nie znaleziono plików nazwami stanów, które użytkownik może załadować.
- Kliknij lewym przyciskiem myszy na odpowiedni stan wizualizacji, aby go wybrać i potwierdź, klikając przycisk Załaduj. Po załadowaniu użytkownik zostanie poproszony o podanie stanu wczytywania wizualizacji.
- Aby zobaczyć przygotowaną wizualizację w przestrzeni holograficznej, załóż gogle i użyj polecenia głosowego Zlokalizuj tutaj , aby przenieść rekonstrukcję holograficznego skanu CT 3D przed oczami. Dostosuj go za pomocą poleceń głosowych, np. Obróć, Powiększ, Inteligentnie wytnij i połącz go z gestami dłoni (Rysunek 8).
- Użyj polecenia głosowego Cut Smart , aby zastosować i dostosować płaszczyznę cięcia prostopadłą do linii wzroku.
- Poruszaj i obracaj głowicę, aby przesunąć ruch i orientację zastosowanej płaszczyzny cięcia. Zbliż się do hologramu, aby przesunąć płaszczyznę cięcia głębiej w rekonstrukcję holograficzną. Obróć głowicę o 90° zgodnie z ruchem wskazówek zegara, aby obrócić płaszczyznę cięcia o 90° zgodnie z ruchem wskazówek zegara itp.
- Wykonaj te ruchy, aby zobaczyć wewnętrzne części struktury serca, wizualizację holograficzną oraz wcześniej załadowane modele powierzchniowe i adnotacje struktur anatomicznych.
Wyniki
Protokół segmentacji i rekonstrukcji 3D przyniósł dwa główne rezultaty na potrzeby szkolenia z zakresu anatomii: wydrukowany w 3D model serca oraz wizualizację 3D MR serca. Wyniki te, wykorzystujące specyficzne dla pacjenta dane CT, stanowią komplementarne narzędzia, które umożliwiają studentom praktyczną i immersyjną naukę.
Wydrukowany w technologii 3D model serca pozwala studentom na fizyczną interakcję z namacalną reprezentacją anatomii serca. Model ten przedstawia wyraźne cechy zewnętrzne, takie jak mięsień sercowy, oraz struktury wewnętrzne, w tym komory i zastawki. W udanych eksperymentach dokładność anatomiczna była wysoka, z dobrze zdefiniowanymi cechami i minimalną liczbą artefaktów po obróbce końcowej. Rysunek 9 przedstawia w pełni przetworzony model wydrukowany w 3D z wyraźnym rozróżnieniem między mięśniem sercowym a komorami wewnętrznymi. W przypadkach, gdy kontrast obrazów TK był nieoptymalny, błędy segmentacji prowadziły do niedokładności w modelu, takich jak nieregularne rozmiary komór lub niepełne struktury zastawek. Problemy te były często możliwe do skorygowania poprzez interwencję ręczną, w tym dodatkowe wygładzanie i usuwanie artefaktów, co przedstawiono na Rysunku 10.
W przeciwieństwie do tego, wizualizacja 3D w rzeczywistości mieszanej (Mixed Reality, MR) oferuje dynamiczne i interaktywne doświadczenie, w którym studenci mogą badać serce w przestrzeni wirtualnej. Środowisko MR umożliwia interakcję w czasie rzeczywistym, w tym rotację, powiększanie i przekrój przez różne płaszczyzny anatomiczne, co pozwala na bardziej szczegółowe zrozumienie złożonych struktur, takich jak tętnice wieńcowe czy ściany przegród. Pomyślne implementacje wizualizacji MR przedstawiały bardzo dokładne odwzorowania anatomii zewnętrznej i wewnętrznej. Jednakże nieoptymalne wizualizacje (np. w przypadku błędnej segmentacji) prowadziły do zniekształconego obrazu struktur wewnętrznych, co wpływało na realizm modelu MR i efektywność nauczania (Rysunek 11). W przypadku struktur anatomicznych o wysokim stopniu złożoności podejście oparte na segmentacji może okazać się niewystarczające. Dzięki możliwości renderowania wolumetrycznego możliwe jest wizualizowanie różnych gęstości (reprezentowanych przez jednostki Hounsfielda), które są istotne dla zrozumienia anatomii (Rysunek12).
Techniki te oferują niezawodne, komplementarne narzędzia, które wzbogacają proces nauki poprzez zapewnienie dokładnych i manipulowalnych modeli, choć ich sukces zależy od jakości segmentacji i rekonstrukcji w początkowych etapach protokołu. Ogólnie rzecz biorąc, wyniki te wykazują skuteczność protokołu w tworzeniu precyzyjnych modeli serca na podstawie danych CT konkretnego pacjenta. Wyniki te wykazują skuteczność protokołu w tworzeniu precyzyjnych modeli serca na podstawie danych CT konkretnego pacjenta.
Przeprowadzono badanie wstępne w celu oceny postrzegania przez studentów technologii mieszanej rzeczywistości w edukacji anatomicznej – w szczególności w nauce budowy serca. W badaniu wzięło udział 106 studentów, którzy pod nadzorem inżynierów mogli wykorzystać hologramy do celów edukacyjnych. Na koniec sesji zadano im pytanie: „Czy technologia mieszanej rzeczywistości pomogła lepiej zrozumieć temat – budowę serca?”. Wszyscy respondenci (100%) odpowiedzieli „tak”. Wiedzę studentów oceniono bezpośrednio po sesji za pomocą krótkiego testu pisemnego, w którym wymagano opisania trzech struktur anatomicznych związanych z morfologią serca. Średni wynik wyniósł 2,037 przy maksymalnej punktacji wynoszącej 3 (Tabela 1).
Rycina 1: Segmentacja serca w tomografii komputerowej. Widoki osiowy (lewa góra), czołowy (lewa dół), strzałkowy (prawa dół) oraz 3D (prawa góra) segmentacji TK w oprogramowaniu 3D Slicer. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 2: Postprocessing. Widoki trójwymiarowych modeli segmentacji w prototypowym oprogramowaniu projektowym. Aby zobaczyć powiększoną wersję tego rysunku, kliknij tutaj.
Rycina 3: Po przetwarzaniu końcowym. Widoki trójwymiarowych modeli segmentacji w oprogramowaniu do projektowania prototypów. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.
Figura 4: Widok oprogramowania Mixed Reality. Ekran startowy aplikacji. Przejrzysty i dostępny panel logowania. Kliknij tutaj, aby wyświetlić powiększoną wersję tej figury.
Rycina 5: Wybór odpowiedniej serii w oprogramowaniu do rzeczywistości mieszanej. Wybór dostępnych obrazów tomografii komputerowej do wizualizacji holograficznej. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Rysunek 6: Opcja nożyczek do wycinania części wizualizacji w oprogramowaniu mieszanej rzeczywistości. Narzędzie umożliwiające dostosowanie hologramu do potrzeb użytkownika w czasie rzeczywistym. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Rycina 7: Dostosowywanie kolorów wizualizacji holograficznej w oprogramowaniu do rzeczywistości mieszanej. Dodanie kolorów do wizualizacji zwiększa dostępność i przejrzystość hologramów. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.
Rysunek 8: Wizualizacje w przestrzeni holograficznej stworzone za pomocą oprogramowania do rzeczywistości mieszanej. Trójwymiarowy hologram z wyróżnionymi kolorami i markerami tomografii komputerowej w celu ułatwienia orientacji w przestrzeni. Proszę kliknąć tutaj, aby wyświetlić większą wersję tego rysunku.
Rysunek 9: Podgląd po postprocesowaniu i zastosowaniu operacji boolowskiej „RTG”. Widok modeli 3D w prototypowym oprogramowaniu projektowym. W pełni przetworzony model wydrukowany w 3D z wyraźnym rozróżnieniem między mięśniem sercowym a jamami wewnętrznymi. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rycina 10: Podgląd końcowej części wydrukowanej w 3D po przecięciu modelu w projekcji czterojamkowej. Widok modeli 3D w oprogramowaniu do projektowania prototypów. Dodatkowe wygładzanie i usuwanie artefaktów. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.
Rycina 11: Wizualizacja danych CT w oprogramowaniu do rzeczywistości mieszanej. Renderowanie powierzchni przedstawia wynik nadsegmentacji. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Rysunek 12: Przykładowa wizualizacja danych CT w oprogramowaniu do rzeczywistości mieszanej. Renderowanie objętościowe, obrazujące różne gęstości. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
| Całkowita liczba studentów (n) | 106 | ||
| Liczba studentów, którzy wykorzystali hologramy do celów nauki (n) | 106 | ||
| Liczba studentów odpowiadających „TAK” na pytanie „Czy technologia mieszanej rzeczywistości pomogła Ci lepiej zrozumieć zagadnienie – budowę serca?” (n) | 106 | ||
| Liczba studentów, którzy odpowiedzieli „NIE” na pytanie „Czy technologia mieszanej rzeczywistości pomogła Ci lepiej zrozumieć zagadnienie – budowę serca?” (n) | 0 | ||
| Minimalny wynik | 0 | ||
| Maksymalna punktacja | 3 | ||
| Średni wynik studentów, którzy rozwiązali krótki test pisemny polegający na opisaniu trzech struktur anatomicznych związanych z morfologią serca | 2.037 | ||
| Wynik całkowity | 3 | ||
Tabela 1: Wstępne dane badania.
Dyskusja
Współczesna anatomia opiera się przede wszystkim na klasycznych, sprawdzonych metodach znanych od setek lat. Zwłoki ludzkie są podstawą kształcenia przyszłych lekarzy, a anatomowie podkreślają ich rolę nie tylko w zrozumieniu budowy ludzkiego ciała, ale także w kształtowaniu postaw etycznych28,29. Rozwój technologii jest ekspansywny nie tylko w codziennych procedurach klinicznych, ale także w dydaktyce, stąd próba wdrożenia druku 3D 7,30,31,32 oraz rzeczywistości mieszanej w nauczaniu anatomii 33,34,35,36. Obecnie praca lekarzy w dużej mierze opiera się na nowoczesnych rozwiązaniach, sprzęcie i szeroko pojętej cyfryzacji, a coraz większy udział automatyzacji, robotyzacji i wdrażania innowacyjnych rozwiązań będzie postępował, biorąc pod uwagę trwający od lat trend.
Uzupełnienie klasycznych form kształcenia o druk 3D, zajęcia z wykorzystaniem mieszanej rzeczywistości, czy ultrasonografii może mieć bardzo pozytywny wpływ na przygotowanie przyszłych lekarzy do zawodu, nie tylko ze względu na możliwość zdobycia większej ilości wiedzy i porównania wizualizacji w różnego rodzaju technikach obrazowania, ale również ze względu na kontakt z nowymi technologiami, zaznajomienie się z ich zastosowaniem, a także danie impulsu do myślenia o nowych zastosowaniach, zwłaszcza w obszarze zainteresowań37.
Przygotowanie modeli w technologii druku 3D, a także hologramów w technologii mixed reality, wymaga większego niż standardowe zaangażowania, zaplanowania ich powstania, a także uzyskania swobody w prowadzeniu zajęć z ich wykorzystaniem. Należy dodać, że są to drogie rozwiązania, zwłaszcza rzeczywistość mieszana, która wymaga urządzeń mogących wyświetlać hologramy (gogle), zaplecza inżynierskiego – w tym aplikacji i jej działania. Druk 3D, ze względu na większą popularność i niższe koszty38, jest łatwiejszy do wdrożenia, ale wymaga zaplanowania zakupu drukarki i filamentu, jeśli dział anatomii chciałby tworzyć od podstaw własne modele oraz oprogramowanie do tworzenia obrazów gotowych do druku z badań obrazowych DICOM.
CarnaLife Holo umożliwia użytkownikom przesyłanie zarówno danych z tomografii komputerowej, jak i wyników segmentacji, zapewniając unikalne podejście rzadko stosowane w dziedzinie MR. Obecne najnowocześniejsze techniki zazwyczaj wizualizują modele 3D przy użyciu renderingu powierzchni na podstawie plików STL lub OBJ39,40. W związku z tym użytkownicy mają dostęp tylko do wyników segmentacji, z ograniczoną możliwością bezpośredniego przeglądania oryginalnych danych. Może to stanowić wyzwanie podczas analizy małych struktur lub patologii, takich jak zwapnienia, gdzie precyzja segmentacji ma kluczowe znaczenie.
Dzięki wizualizacji danych surowych (renderowanie objętościowe) użytkownicy mogą oceniać konstrukcje nie tylko na podstawie geometrii, ale także analizując rozkład jednostek Hounsfielda (gęstości) w konstrukcji. Automatyczna segmentacja serca, powszechna technika, która ułatwia żmudne zadanie ręcznej segmentacji, ma swoje ograniczenia41. Jest ograniczony liczbą struktur, które może segmentować, zwłaszcza w obecności patologii, i wymaga wysokowydajnego sprzętu do wydajnego przetwarzania.
Aby sprostać tym wyzwaniom, zaproponowano połączenie dwóch metod wizualizacji - renderowania objętościowego i renderowania powierzchniowego. To hybrydowe podejście pozwala na jednoczesną wizualizację struktur segmentowych i rozkładu wartości w analizowanych danych, oferując użytkownikom bardziej kompleksowe narzędzie do interpretacji danych.
W przypadku anatomii serca stworzenie modelu 3D jest skomplikowane, ponieważ standardowe narzędzia automatyczne w programie są niewystarczające do wyodrębnienia tkanki serca z pełnego obrazu ze względu na niejednorodność wielkości, kształtu, położenia struktur anatomicznych, obecność artefaktów oraz rozmyte granice (niski kontrast) między sąsiednimi tkankami. Dlatego oprócz segmentacji progowej powinna być wykonywana segmentacja nadzorowana przez lekarza w mechanizmie "slice by slice". Kolejnym etapem jest adaptacja modelu do druku 3D, co obejmuje dalsze usuwanie zniekształceń wynikających z szumów podczas akwizycji obrazu. Po wydrukowaniu modele są delikatnie rozpuszczane w acetonie, aby uzyskać gładszą powierzchnię. Korzystanie przez studentów z gotowych modeli jest proste – analogicznie do oglądania i omawiania preparatów zwłok ludzkich. W przypadku rzeczywistości mieszanej za każdym razem wymagane jest szkolenie z obsługi technologii – prawidłowego mocowania gogli do głowy, a także sterowania głosem i gestami. Ze względu na ograniczoną ilość dostępnego sprzętu nie jest możliwe jednoczesne uczestnictwo większej liczby uczniów. W celu zwiększenia dostępności zobrazowanego materiału wykorzystano markery konkretnych struktur anatomicznych, które ułatwiają szybsze omówienie preparatów – hologramy.
Opanowanie procesu segmentacji i rekonstrukcji 3D w 3D Slicer może być wyzwaniem dla początkujących, ponieważ wiąże się z nauką wielu funkcji i przepływów pracy. Rozwijanie biegłości zazwyczaj wymaga znacznej praktyki i doświadczenia. Z naszych obserwacji wynika, że osiągnięcie zaufania do oprogramowania wymagało około 20-30 godzin dedykowanej pracy, która obejmowała segmentację co najmniej 5-7 różnych modeli serca. 3D Slicer to platforma typu open source, która korzysta z solidnej społeczności internetowej. Oferuje obszerne zasoby do rozwiązywania problemów, fora rozwiązywania problemów oraz bogactwo samouczków i przypadków użycia. Zasoby te ułatwiają proces uczenia się, zapewniając dostępne wskazówki. Ponadto wykorzystanie narzędzi, takich jak duże modele językowe (LLM), w tym ChatGPT lub Gemini, może jeszcze bardziej zwiększyć zrozumienie oprogramowania i jego funkcji. W fazie nauki bardzo korzystny okazuje się dostęp do mentora lub superwizora z doświadczeniem w obrazowaniu medycznym i anatomii. Natychmiastowa informacja zwrotna na temat strategii segmentacji i dokładności przyspiesza rozwój umiejętności i zapewnia utrzymanie precyzji anatomicznej. Początkujący powinni liczyć się z tym, że początkowe próby mogą być czasochłonne i podatne na błędy. Jednak konsekwentna praktyka sprawia, że procesy segmentacji i udoskonalania są znacznie bardziej intuicyjne i wydajne. Ważne jest, aby podejść do tej krzywej uczenia się z cierpliwością, ponieważ stałe zaangażowanie w narzędzie znacznie poprawia szybkość i dokładność.
Krytycznymi etapami przedstawionego protokołu była właściwa segmentacja i ekstrakcja tkanki serca z badania obrazowego w celu stworzenia trójwymiarowego modelu, który jest przydatny w druku 3D i technologiach rzeczywistości mieszanej.
Lekcja anatomii serca z wykorzystaniem druku 3D i technologii mieszanej rzeczywistości została bardzo dobrze przyjęta przez uczniów, a zdecydowana większość uznała wsparcie technologiczne za przydatne – pozwalające na lepsze zrozumienie omawianego tematu. Zdaniem autorów nowe technologie powinny wspierać istniejące, klasyczne rozwiązania dydaktyczne i być coraz szerzej stosowane.
Oświadczenia
Maciej Stanuch, Marcel Pikuła, Oskar Trybus i Andrzej Skalski są pracownikami MedApp S.A. MedApp S.A. jest firmą produkującą rozwiązanie CarnaLifeHolo.
Podziękowania
Badanie zostało zrealizowane w ramach współpracy niekomercyjnej.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Fragmentator 3D | Społeczność slicera | https://www.slicer.org | Wersja 5.6.0 |
| CarnaLifeHolo | MedApp S.A. | https://carnalifeholo.com | Oprogramowanie do wizualizacji 3D |
| Mieszalnik siatkowy | Autodesk Inc. | https://www.research.autodesk.com/projects/meshmixer/ | oprogramowanie do projektowania prototypów |
| Ender 3 | Creality | https://www.creality.com/products/ender-3-3d-printer | Drukarka 3D |
| Cura | UltiMaker | https://ultimaker.com/software/ultimaker-cura/ | Oprogramowanie do druku 3D |
Bibliografia
- Marconi, S., et al. Value of 3D printing for the comprehension of surgical anatomy. Surg endosc. 31, 4102-4110 (2017).
- Bernhard, J. C., et al. Personalized 3D printed model of kidney and tumor anatomy: a useful tool for patient education. World J Urol. 34 (3), 337-345 (2016).
- Gehrsitz, P., et al. Cinematic rendering in mixed-reality holograms: a new 3D preoperative planning tool in pediatric heart surgery. Front Cardiovasc Med. 8, 633611(2021).
- Vatankhah, R., et al. 3D printed models for teaching orbital anatomy, anomalies and fractures. J Ophthalmic Vis Res. 16 (4), 611-619 (2021).
- O'Reilly, M. K., et al. Fabrication and assessment of 3D printed anatomical models of the lower limb for anatomical teaching and femoral vessel access training in medicine. Anat Sci Educ. 9 (1), 71-79 (2016).
- Garas, M., et al. 3D-Printed specimens as a valuable tool in anatomy education: A pilot study. Ann Anat. 219, 57-64 (2018).
- AbouHashem, Y., et al. The application of 3D printing in anatomy education. Med Educ Online. 20, 29847(2016).
- Wu, A. M., et al. The addition of 3D printed models to enhance the teaching and learning of bone spatial anatomy and fractures for undergraduate students: a randomized controlled study. Ann Transl Med. 6 (20), 403(2018).
- McMenamin, P. G., et al. The production of anatomical teaching resources using three-dimensional (3D) printing technology. Anat Sci Educ. 7 (6), 479-486 (2014).
- Tan, L., et al. Full color 3D printing of anatomical models. Clin Anat. 35 (5), 598-608 (2022).
- Garcia, J., et al. 3D printing materials and their use in medical education: a review of current technology and trends for the future. BMJ Simul Technol Enhanc Learn. 4 (1), 27-40 (2018).
- Milgram, P., et al. Augmented reality: A class of displays on the reality-virtuality continuum. Proceedings of the International Society for Optical Engineering. (SPIE 1994), Photonics for Industrial Applications; Boston, MA. , The International Society for Optical Engineering. Boston, MA. (1994).
- Brun, H., et al. Mixed reality holograms for heart surgery planning: first user experience in congenital heart disease. Eur Heart J Cardiovasc Imaging. 20 (8), 883-888 (2019).
- Lu, L., et al. Applications of mixed reality technology in orthopedics surgery: A pilot study. Front Bioeng Biotechnol. 22 (10), 740507(2022).
- Condino, S., et al. How to build a patient-specific hybrid simulator for orthopaedic open surgery: benefits and limits of mixed-reality using the Microsoft HoloLens. J Healthc Eng. 2018, 5435097(2018).
- Wu, X., et al. Mixed reality technology launches in orthopedic surgery for comprehensive preoperative management of complicated cervical fractures. Surg Innov. 25, 421-422 (2018).
- Łęgosz, P., et al. The use of mixed reality in custom-made revision hip arthroplasty: A first case report. J Vis Exp. (186), e63654(2022).
- Wierzbicki, R., et al. 3D mixed-reality visualization of medical imaging data as a supporting tool for innovative, minimally invasive surgery for gastrointestinal tumors and systemic treatment as a new path in personalized treatment of advanced cancer diseases. J Cancer Res Clin Oncol. 148 (1), 237-243 (2022).
- Wish-Baratz, S., et al. Assessment of mixed-reality technology use in remote online anatomy education. JAMA Netw Open. 3 (9), e2016271(2020).
- Owolabi, J., Bekele, A. Implementation of innovative educational technologies in teaching of anatomy and basic medical sciences during the COVID-19 pandemic in a developing country: The COVID-19 silver lining. Adv Med Educ Pract. 8 (12), 619-625 (2021).
- Xiao, J., Evans, D. J. R. Anatomy education beyond the Covid-19 pandemic: A changing pedagogy. Anat Sci Educ. 15 (6), 1138-1144 (2022).
- Robinson, B. L., Mitchell, T. R., Brenseke, B. M. Evaluating the use of mixed reality to teach gross and microscopic respiratory anatomy. Med Sci Educ. 30 (4), 1745-1748 (2020).
- Ruthberg, J. S., et al. Mixed reality as a time-efficient alternative to cadaveric dissection. Med Teach. 42, 896-901 (2020).
- Stojanovska, M., et al. Mixed reality anatomy using microsoft hololens and cadaveric dissection: a comparative effectiveness study. Med Sci Educ. 30, 173-178 (2020).
- Zhang, L., et al. Using Microsoft HoloLens to improve memory recall in anatomy and physiology: a pilot study to examine the efficacy of using augmented reality in education. J Educ Tech Dev Exch. 12 (1), 17-31 (2020).
- Vergel, R. S., et al. Comparative evaluation of a virtual reality table and a HoloLens-based augmented reality system for anatomy training. IEEE Trans Hum Mach Syst. 50 (4), 337-348 (2020).
- Fedorov, A., et al. 3D slicer as an image computing platform for the quantitative imaging network. Magn Reson Imaging. 30 (9), 1323-1341 (2012).
- Boulware, L. E., et al. Whole body donation for medical science: a population-based study. Clin Anat. 17 (7), 570-577 (2004).
- Arráez-Aybar, L. A., Bueno-López, J. L., Moxham, B. J. Anatomists' views on human body dissection and donation: An international survey. Ann anat. 196 (6), 376-386 (2014).
- Vaccarezza, M., Papa, V. 3D printing: a valuable resource in human anatomy education. Anat Sci Int. 90 (1), 64-65 (2015).
- Smith, C. F., Tollemache, N., Covill, D., Johnston, M. Take away body parts! An investigation into the use of 3D-printed anatomical models in undergraduate anatomy education. Anat Sci Educ. 11 (1), 44-53 (2018).
- Lim, K. H., et al. Use of 3D printed models in medical education: A randomized control trial comparing 3D prints versus cadaveric materials for learning external cardiac anatomy. Anat Sci Educ. 9 (3), 213-221 (2016).
- Richards, S. Student engagement using HoloLens mixed-reality technology in human anatomy laboratories for osteopathic medical students: an instructional model. Med Sci Educ. 33 (1), 223-231 (2023).
- Veer, V., Phelps, C., Moro, C. Incorporating mixed reality for knowledge retention in physiology, anatomy, pathology, and pharmacology interdisciplinary education: a randomized controlled trial. Med Sci Educ. 32 (6), 1579-1586 (2022).
- Romand, M., et al. Mixed and augmented reality tools in the medical anatomy curriculum. Stud Health Technol Inform. 270, 322-326 (2020).
- Birt, J., et al. Mobile mixed reality for experiential learning and simulation in medical and health sciences education. Information. 9 (2), 31(2018).
- Kazoka, D., Pilmane, M., Edelmers, E. Facilitating student understanding through incorporating digital images and 3D-printed models in a human anatomy course. Educ Sci. 11 (8), 380(2021).
- Shen, Z., et al. The process of 3D printed skull models for anatomy education. Comput Assist Surg (Abingdon). 24 (1), 121-130 (2019).
- Ye, W., et al. Mixed-reality hologram for diagnosis and surgical planning of double outlet of the right ventricle: a pilot study. Clin Radiol. 76 (3), 237.e1-237.e7 (2021).
- Bonanni, M., et al. Holographic mixed reality for planning transcatheter aortic valve replacement. Int J Cardiol. 412, 132330(2024).
- Chen, L., et al. Automatic 3D left atrial strain extraction framework on cardiac computed tomography. Comput Methods Programs Biomed. 252, 108236(2024).
Przedruki i uprawnienia
