Artykuł metodologiczny

Multimodalna międzysystemowa i bezmarkerowa korejestracja metod obrazowania przedklinicznego

2.2K wyświetleń

⸱

DOI:

10.3791/65701

⸱

27 października 2023

 ,  ,  ,  ,  ,  , 
1Institute for Experimental Molecular Imaging, RWTH Aachen University, 2Gremse-IT GmbH, 3Carbone Cancer Center, University of Wisconsin, 4Department of Biomedical Engineering and Institute for Quantitative Health Science and Engineering, Michigan State University, 5MediLumine Inc., 6Fraunhofer Institute for Digital Medicine MEVIS

W tym artykule

Podsumowanie

Często konieczne jest połączenie wielu metod obrazowania, aby uzyskać kompleksowe zrozumienie patofizjologii. Podejście to wykorzystuje fantomy do generowania transformacji różnicowej między układami współrzędnych dwóch modalności, która jest następnie stosowana do korejestracji. Ta metoda eliminuje potrzebę stosowania powierników w skanach produkcyjnych.

Streszczenie

Zintegrowane przedkliniczne systemy obrazowania multimodalnego, takie jak rentgenowska tomografia komputerowa (CT) w połączeniu z pozytonową tomografią emisyjną (PET) lub rezonans magnetyczny (MRI) w połączeniu z PET, są powszechnie dostępne i zazwyczaj zapewniają solidnie zarejestrowane objętości. Jednak często potrzebne są oddzielne urządzenia, aby połączyć samodzielny rezonans magnetyczny z istniejącym PET-CT lub włączyć dodatkowe dane z tomografii optycznej lub mikrotomografii rentgenowskiej o wysokiej rozdzielczości. Wymaga to wspólnej rejestracji obrazu, co obejmuje złożone aspekty, takie jak projektowanie multimodalnego łóżka myszy, włączenie markerów referencyjnych, rekonstrukcja obrazu i fuzja obrazów oparta na oprogramowaniu. Markery referencyjne często stwarzają problemy z danymi in vivo ze względu na problemy z zakresem dynamicznym, ograniczenia pola widzenia obrazowania, trudności w umieszczeniu znaczników lub utratę sygnału znacznika w czasie (np. z powodu wysuszenia lub rozpadu). Wyzwania te muszą być zrozumiane i podjęte przez każdą grupę badawczą wymagającą wspólnej rejestracji obrazu, co skutkuje powtarzającymi się wysiłkami, ponieważ odpowiednie szczegóły są rzadko opisywane w istniejących publikacjach.

Ten protokół przedstawia ogólny sposób pracy, który pozwala przezwyciężyć te problemy. Chociaż transformacja różnicowa jest początkowo tworzona przy użyciu znaczników odniesienia lub struktur wizualnych, takie markery nie są wymagane w skanach produkcyjnych. Wymagania dotyczące danych objętościowych i metadanych generowanych przez oprogramowanie do rekonstrukcji są szczegółowe. Dyskusja dotyczy osiągania i weryfikowania wymagań oddzielnie dla każdej modalności. Opisano podejście oparte na fantomach w celu wygenerowania transformacji różnicowej między układami współrzędnych dwóch modalności obrazowania. Ta metoda pokazuje, jak współrejestrować skany produkcyjne bez znaczników odniesienia. Każdy krok jest zilustrowany za pomocą dostępnego oprogramowania, wraz z zaleceniami dotyczącymi dostępnych na rynku fantomów. Przedstawiono wykonalność tego podejścia z różnymi kombinacjami metod obrazowania zainstalowanych w różnych lokalizacjach.

Wprowadzenie

Różne modalności obrazowania przedklinicznego mają odmienne zalety i wady. Na przykład komputerowa tomografia komputerowa (CT) dobrze nadaje się do badania struktur anatomicznych o różnej gęstości radiologicznej, takich jak kości i płuca. Jest ona szeroko stosowana ze względu na szybką prędkość akwizycji, wysoką rozdzielczość trójwymiarową, względną łatwość oceny obrazu oraz wszechstronność w zastosowaniach z użyciem lub bez użycia środków kontrastowych1,2,3. Obrazowanie rezonansem magnetycznym (MRI) zapewnia najbardziej wszechstronny kontrast tkanek miękkich bez wykorzystania promieniowania jonizującego4. Z drugiej strony, modalności oparte na znacznikach, takie jak pozytonowa tomografia emisyjna (PET), jednofotonowa tomografia emisyjna (SPECT), tomografia fluorescencyjna (FMT) oraz obrazowanie cząsteczkami magnetycznymi (MPI), są uznanymi narzędziami do ilościowej oceny procesów molekularnych, metabolizmu oraz biodystrybucji znakowanych promieniotwórczo związków diagnostycznych lub terapeutycznych z wysoką czułością. Brakuje im jednak rozdzielczości i informacji anatomicznych5,6. Dlatego modalności zorientowane na anatomię są zazwyczaj łączone z modalnościami o wysokiej czułości, których mocą jest detekcja znaczników7. Takie kombinacje umożliwiają ilościowe określenie stężenia znaczników w konkretnym obszarze zainteresowania8,9. W przypadku zintegrowanych urządzeń obrazujących kowalidacja (co-registration) modalności jest zazwyczaj funkcją wbudowaną. Przydatne jest jednak również kowalidowanie skanów z różnych urządzeń, np. jeśli urządzenia zostały zakupione osobno lub jeśli hybrydowe urządzenie nie jest dostępne.

Niniejszy artykuł koncentruje się na fuzji obrazowania wielomodalnego u małych zwierząt, która jest kluczowa dla badań podstawowych oraz rozwoju leków. Wcześniejsza praca10 wskazuje, że można to osiągnąć poprzez rozpoznawanie cech, mapowanie konturów lub zastosowanie markerów referencyjnych (fiducjali). Fiducjale są punktami odniesienia służącymi do precyzyjnego dopasowania i korelacji obrazów pochodzących z różnych modalności obrazowania. W szczególnych przypadkach fiducjalami mogą być nawet kropki z chińskiego tuszu na skórze myszy nago-mysich11; jednak często stosuje się kasetę obrazującą z wbudowanymi markerami referencyjnymi. Chociaż jest to metoda niezawodna i dobrze opracowana10, jej stosowanie przy każdym skanowaniu generuje problemy praktyczne. Fiducjale wykrywalne w MRI są często oparte na cieczach i mają tendencję do wysychania podczas przechowywania. PET wymaga markerów radioaktywnych, których sygnał zanika zgodnie z okresem półtrwania emitera, który w zastosowaniach biomedycznych jest zazwyczaj krótki, co wymusza przygotowanie ich tuż przed skanowaniem. Inne problemy, takie jak niedopasowanie zakresu dynamicznego sygnału z markera referencyjnego i badanego obiektu, silnie wpływają na obrazowanie in vivo. Szeroki zakres kontrastu dynamicznego wymaga częstej adaptacji natężenia sygnału markera do badanego obiektu. W konsekwencji, podczas gdy słaby sygnał markera może nie zostać wykryty podczas analizy, silny sygnał markera może tworzyć artefakty pogarszające jakość obrazu. Ponadto, aby spójnie uwzględnić markery, pole widzenia musi być w wielu zastosowaniach niepotrzebnie duże, co może prowadzić do wyższej ekspozycji na promieniowanie, większych objętości danych, dłuższego czasu skanowania, a w niektórych przypadkach do niższej rozdzielczości. Może to wpływać na stan zdrowia zwierząt laboratoryjnych oraz jakość generowanych danych.

Transformacja i transformacja różnicowa
Zbiór danych obrazowych składa się z danych wokselowych i metadanych. Każdemu wokselowi przypisana jest wartość intensywności (Rysunek 1A). Metadane zawierają transformację określającą położenie zbioru danych w układzie współrzędnych urządzenia obrazującego (Rysunek 1B) oraz rozmiar woksela służący do skalowania układu współrzędnych. W metadanych można opcjonalnie przechowywać dodatkowe informacje, takie jak typ urządzenia lub data skanowania. Wspomniana transformacja nazywana jest matematycznie transformacją sztywnego ciała. Transformacje sztywnego ciała stosuje się do zmiany orientacji lub położenia obiektów w obrazie lub przestrzeni geometrycznej przy zachowaniu odległości między każdą parą punktów, co oznacza, że transformowany obiekt zachowuje swój rozmiar i kształt, będąc rotowanym i przesuwanym w przestrzeni. Każdą serię takich transformacji można opisać jako pojedynczą transformację składającą się z rotacji, po której następuje translacja. Wzór używany przez oprogramowanie do przejścia z współrzędnych danych na metryczne współrzędne docelowe przedstawiono na Rysunku 1C, gdzie R jest ortonormalną macierzą rotacji, d i v to indeksy i rozmiary wokseli, a t to wektor translacji 3 x 112. Szczegóły rotacji przedstawiono na Rysunku 1D.

Schemat renderowania 2D i transformacji; macierz danych wokselowych, równanie współrzędnych, wizualizacja rotacji.
Rycina 1: Reprezentacja 2D struktury zbioru danych obrazowych i ich rozmieszczenia w globalnym układzie współrzędnych. (A) Zbiór danych obrazowych składa się z danych wokselowych i metadanych. Transformacja określająca rozmieszczenie oraz rozmiar woksela są kluczowymi elementami metadanych. (B) Obraz jest renderowany do układu współrzędnych urządzenia. Niezbędna transformacja służąca do rozmieszczenia obiektu składa się z rotacji (kolor niebieski), a następnie translacji (kolor zielony). (C) Aby przejść z układu współrzędnych danych do układu docelowego, oprogramowanie stosuje ten wzór, gdzie R jest ortonormalną macierzą rotacji, d i v to indeksy i rozmiary wokseli, a t to wektor translacji 3 x 1. (D) Macierz rotacji (kolor niebieski w płaszczyźnie A) reprezentuje transformację liniową rotacji punktów. Pomnożenie współrzędnych punktu przez tę macierz daje nowe, obrócone współrzędne. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Transformacja różnicowa jest transformacją ciała sztywnego, która konwertuje współrzędne z jednego układu współrzędnych do innego, np. z PET na mikrotomografię rentgenowską (µCT), a jej obliczenie jest możliwe dzięki zastosowaniu markerów referencyjnych. W obu układach współrzędnych wybiera się co najmniej trzy wspólne punkty – markery referencyjne. Na podstawie ich współrzędnych można wyprowadzić matematyczną transformację konwertującą współrzędne. Oprogramowanie wykorzystuje metodę najmniejszych kwadratów, która zapewnia rozwiązanie najlepiej dopasowane do układu równań zawierającego błędy lub szumy w danych pomiarowych. Jest to tzw. problem Procrustesa13, który rozwiązuje się za pomocą rozkładu według wartości osobliwych. Metoda ta jest niezawodna i odporna, ponieważ prowadzi do jednoznacznego i dobrze zdefiniowanego rozwiązania (pod warunkiem podania co najmniej trzech markerów nieleżących na jednej prostej). Obliczanych jest sześć parametrów wolnych: trzy dla translacji i trzy dla rotacji. W dalszej części będziemy używać terminu macierz transformacji, mimo że technicznie składa się ona z macierzy rotacji i wektora translacji.

Każde urządzenie obrazujące posiada własny układ współrzędnych, a oprogramowanie oblicza transformację różnicową w celu ich wyrównania. Rycina 2A,B opisują sposób wyznaczania transformacji różnicowej, natomiast Rycina 2C,D opisują sposób jej zastosowania. Obrazy z obu modalności mogą mieć różne wymiary, które są zachowane w procesie, co pokazano na przykładowym obrazie z fuzją CT i PET na Rycynie 2E.

Współrejestracja obrazów medycznych; dopasowanie skanów CT/PET; schemat transformacji i wspólnych współrzędnych.
Rycina 2: Transformacja różnicowa. (A-D) Uproszczenie do 2D. Choć metoda ta jest stosowalna w innych modalnościach, w tym przykładzie założono, że są to CT i PET. (A,C) Obraz CT z czerwoną ramką ograniczającą jest umieszczony w układzie współrzędnych. W tym samym układzie współrzędnych obraz PET z żółtą ramką ograniczającą jest umieszczony z przesunięciem.(B) Wykorzystując markery powiernicze, które można zlokalizować zarówno w CT, jak i w PET, można wyznaczyć transformację różnicową T. Jest ona symbolizowana przez strzałkę. Macierz transformacji różnicowej zostaje zapisana. (D) Wcześniej zapisaną macierz transformacji różnicowej T można następnie zastosować do każdego obrazu PET. Skutkuje to nową transformacją, która zastępuje pierwotną transformację w metadanych. (E) Obraz CT połączony z obrazem PET. Transformacje w metadanych obu obrazów odnoszą się do tego samego układu współrzędnych. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Metoda i wymagania
W przedstawionej metodzie fantom zawierający markery widoczne w obu modalnościach jest skanowany za pomocą obu urządzeń. Następnie wystarczy zaznaczyć te punkty referencyjne w proponowanym oprogramowaniu, aby obliczyć transformację różnicową między obiema modalnościami. Transformację różnicową należy stworzyć indywidualnie dla każdej pary urządzeń. Można ją zapisać i zastosować później do każdego nowego obrazu, co eliminuje konieczność stosowania markerów referencyjnych w kolejnych skanowaniach. Końcowe rozmieszczenie obrazu w układzie współrzędnych innego urządzenia można ponownie opisać jako transformację i zapisać w metadanych obrazu, zastępując tam oryginalną transformację.

Można sformułować cztery wymagania dla tej metody: (1) Fantom multimodalny: Niezbędny jest fantom zawierający markery widoczne w obu modalnościach. Szeroki wybór fantomów jest dostępny w handlu, a zastosowanie druku 3D do konstrukcji fantomów zostało szeroko opisane14, w tym nawet z włączeniem radionuklidów15. Fantomy wykorzystane w poniższych przykładach wymieniono w Tabeli materiałów. Wymagane są co najmniej trzy punkty niekolinearne16. Markerami mogą być zagłębienia, które można wypełnić odpowiednim znacznikiem, małe obiekty wykonane z materiału łatwo wykrywalnego w każdej modalności lub po prostu otwory, nacięcia lub krawędzie w samym fantomie, o ile mogą być one zidentyfikowane w obu modalnościach. (2) Nośnik multimodalny: Potrzebny jest nośnik, taki jak podkładka dla myszy, który może być utrwalony w powtarzalnej pozycji w obu urządzeniach. Idealnie, aby nie można było go użyć w pozycji odwróconej, co pozwoli uniknąć błędów. Nośnik jest szczególnie ważny w obrazowaniu in vivo, ponieważ jest niezbędny do transportu zsedowanego zwierzęcia z jednego urządzenia obrazującego do drugiego bez zmiany jego pozycji. W naszym doświadczeniu zsedowane myszy częściej zmieniają swoją pozycję na płaskiej podkładce w porównaniu do podkładki wklęsłej. Dodatkowo, wcześniej zaproponowano specjalnie wydrukowany w 3D uchwyt do stabilizacji kości piszczelowej myszy w celu zminimalizowania ruchów17. (3) Spójność wewnętrzna: Każde urządzenie obrazujące musi w sposób powtarzalny i spójny dostarczać informacje o rotacji i translacji zrekonstruowanej objętości w jego układzie odniesienia. Oznacza to również, że układ współrzędnych dla całego urządzenia jest zachowany, nawet gdy skanowany jest tylko niewielki obszący. Częścią protokołu jest testowanie urządzenia obrazującego pod kątem jego spójności wewnętrznej. (4) Wsparcie programowe: Proponowane oprogramowanie musi być w stanie interpretować metadane (rozmiar woksela, translacja, orientacja) zapisane wraz z zrekonstruowaną objętością dostarczoną przez urządzenie. Objętość może być zapisana w formacie plików DICOM, NIfTI, Analyze lub GFF. Przegląd różnych formatów plików znajduje się w pracy Yamoah et al.12.

Choć opisano korejestrację dwóch modalności, procedura ta ma zastosowanie również do trzech lub więcej modalności, na przykład poprzez korejestrację dwóch modalności względem jednej modalności referencyjnej.

Protokół

Kroki oprogramowania protokołu mają być wykonywane w Imalytics Preclinical, który jest określany jako "oprogramowanie analityczne" (patrz Tabela Materiałów). Może ładować woluminy jako dwie różne warstwy o nazwach "underlay" i "overlay"18. Renderowanie podkładu jest zwykle używane do sprawdzania anatomicznie szczegółowego zestawu danych, na którym można oprzeć segmentację; Nakładka, która może być renderowana w sposób przezroczysty, może służyć do wizualizacji dodatkowych informacji na obrazie. Zazwyczaj rozkład sygnału modalności opartej na znaczniku jest wyświetlany w nakładce. Protokół wymaga kilkukrotnego przełączenia wybranej warstwy. Jest to warstwa, na którą będą miały wpływ operacje edycji. Aktualnie wybrana warstwa jest widoczna na liście rozwijanej na górnym pasku narzędzi pomiędzy ikonami myszy i okna. Można nacisnąć Tab, aby przełączać się między podkładem a nakładką, lub wybrać żądaną warstwę bezpośrednio z listy rozwijanej. Protokół będzie odnosił się do skanów (lub obrazów) używanych do testowania samospójności i określania transformacji różnicowej jako "skanów kalibracyjnych", w przeciwieństwie do "skanów produkcyjnych", które są następnie wykorzystywane do obrazowania generującego treść. Metody stosowane w protokole to CT i PET. Jednak, jak opisano wcześniej, metoda ta ma zastosowanie do wszystkich przedklinicznych metod obrazowania, które umożliwiają pozyskiwanie danych wolumetrycznych.

1. Składanie nośnika i fantomu

UWAGA: Musi być dostępny odpowiedni nośnik multimodalny, np. łóżko dla myszy, na którym można zamocować fantom. Zapoznaj się z dyskusją, aby uzyskać sugestie, częste problemy i rozwiązywanie problemów dotyczących tego zestawu.

  1. Przygotuj znaczniki referencyjne w fantomie.
    UWAGA: Konkretne wymagane przygotowanie różni się w zależności od zastosowanej metody i znacznika. Na przykład wiele fantomów MRI zawiera ubytki, które należy wypełnić wodą, podczas gdy PET, jako inny przykład, wymaga radioaktywnego znacznika.
  2. Umieść fantom w nośniku i zabezpiecz go materiałem, takim jak taśma, który nie pogorszy jakości obrazu.
    UWAGA: Wymagania dotyczące fantomu są szczegółowo opisane w sekcji Wprowadzenie.

2. Wykonywanie skanów kalibracyjnych i sprawdzanie samospójności

UWAGA: Ten krok musi być powtórzony dla każdego urządzenia do obrazowania.

  1. Uzyskaj dwa skany z różnymi polami widzenia.
    1. Umieść nośnik w urządzeniu do przetwarzania obrazu. Upewnij się, że jest umieszczony w sposób niezawodny i powtarzalny.
    2. Skanuj zgodnie z instrukcjami producenta urządzenia, korzystając z dużego pola widzenia, które obejmuje cały fantom. Ten obraz będzie określany jako "Obraz A" w następujących krokach.
      UWAGA: Ważne jest, aby uwzględnić wszystkie wartości odniesienia, ponieważ ten skan zostanie również wykorzystany do obliczenia macierzy transformacji różniczkowej.
    3. Wyjmij nośnik z urządzenia do przetwarzania obrazu i wymień go.
      UWAGA: Ten krok zapewnia, że umieszczenie nośnika w urządzeniu jest niezawodne.
    4. Jeśli urządzenie do obrazowania nie obsługuje ograniczonego pola widzenia, tj. zawsze skanuje całe pole widzenia, można rozsądnie założyć samospójność. Przejdź bezpośrednio do kroku 3.
    5. Wykonaj drugie skanowanie zgodnie z instrukcjami producenta urządzenia, tym razem przy użyciu znacznie mniejszego pola widzenia. Ten obraz będzie nosił nazwę "Obraz B" w następujących krokach.
      UWAGA: Ważne jest, aby wykonać dwa skany z różnymi polami widzenia. Dokładne położenie pola widzenia nie ma decydującego znaczenia dla obrazu B, o ile uwzględnione są pewne widoczne informacje, takie jak struktury fantomowe lub jak najwięcej informacji referencyjnych.
  2. Załaduj podkładanie.
    1. Otwórz oprogramowanie do analizy.
    2. Wczytaj obraz A jako podkładanie: Plik menu > Podkładanie > Wczytaj podkładanie. W poniższym oknie dialogowym wybierz plik obrazu i kliknij otwórz.
    3. Jeśli widok 3D nie jest dostępny, naciśnij [Alt + 3], aby go aktywować.
    4. Dostosuj okno: Naciśnij [Ctrl + W] i dostosuj lewy i prawy pionowy pasek w następnym oknie dialogowym, tak aby fantom lub, w zależności od modalności, znaczniki, były wyraźnie rozróżniane. Kliknij OK, aby zamknąć okno dialogowe.
  3. Załaduj nakładkę.
    1. Załaduj obraz B jako nakładkę: Plik menu > Nakładka > Załaduj nakładkę. W poniższym oknie dialogowym wybierz plik obrazu i kliknij otwórz.
    2. Zmień metodę renderowania: Menu Renderowanie 3D > tryb nakładki > sprawdź Renderowanie ISO.
      UWAGA: Chociaż modalności oparte na znacznikach, takie jak PET lub SPECT, są zwykle wyświetlane z renderowaniem objętościowym, renderowanie ISO w tym przypadku pozwala na łatwiejsze porównywanie pozycji. Podkładanie było domyślnie otwierane w renderowaniu ISO.
    3. Uaktywnianie widoku obwiedni: Widok menu > Pokaż symbole > Pokaż obwiednię > Pokaż obwiednię podkładania; Widok menu > Pokaż symbole > Pokaż obwiednię > Pokaż obwiednię nakładki.
  4. Sprawdź wyrównanie obrazu.
    1. Umieść wskaźnik myszy na widoku 3D i użyj [Ctrl + kółko myszy], aby powiększyć widok tak, aby obie obwiedni były w pełni widoczne. Przytrzymaj [Alt + lewy przycisk myszy] podczas przesuwania wskaźnika myszy, aby obrócić widok.
    2. Przełącz wybraną warstwę na nałożoną.
    3. Dostosuj tabelę okien i kolorów: Naciśnij [Ctrl + w]. Z listy rozwijanej po lewej stronie poniższego okna dialogowego wybierz opcję Żółty. Dostosuj zakres w następnym oknie dialogowym do podobnego, który został wybrany dla podkładania, a następnie zmieniaj ustawienie małymi krokami, aż żółte renderowanie będzie widoczne tylko w białym renderingu. Kliknij OK, aby zamknąć okno dialogowe.
      UWAGA: Renderowanie obrazu A (podkładanie) jest teraz przedstawione w kolorze białym i otoczone czerwoną obwiednią. Renderowanie obrazu B (nakładki) jest przedstawione w kolorze żółtym i otoczone żółtą obwiednią.
    4. Sprawdź wzrokowo, czy urządzenie do obrazowania i sposób umieszczania fantomu są zgodne z wymaganiami. Fantom (lub, w zależności od modalności, znaczniki) powinny być w pełni wyrównane w podkładaniu i nakładce. Renderowanie na żółto powinno być podzbiorem renderingu na biało.
      UWAGA: Żółta obwiednia powinna być mniejsza i mieścić się w czerwonej obwiedni. Zobacz sekcję Reprezentatywne wyniki, aby zapoznać się z przykładami wizualnymi. Jeśli wyrównanie nie pasuje, zapoznaj się z dyskusją, aby uzyskać informacje o typowych problemach z rozmieszczeniem i rozwiązywaniu problemów.

3. Obliczanie transformacji różniczkowej

  1. Załaduj obrazy obu modalności.
    1. Otwórz oprogramowanie do analizy.
    2. Załaduj obraz CT A jako podkład: Plik menu > Podkład > Wczytaj podkład. W następnym oknie dialogowym wybierz plik obrazu i naciśnij przycisk Otwórz.
    3. Załaduj obraz PET A jako nakładkę: Plik menu > Nakładka > Załaduj nakładkę. W następnym oknie dialogowym wybierz plik obrazu i naciśnij przycisk Otwórz.
    4. Pokazywanie wielu widoków plasterków: Naciśnij [Alt + A], [Alt + S] i [Alt + C], aby wyświetlić widoki przekrojów osiowych, strzałkowych i koronalnych.
      UWAGA: Chociaż technicznie rzecz biorąc, jeden samolot wystarczyłby do odnalezienia osób zaufanych, jednoczesny widok wszystkich samolotów pozwala na lepszą orientację i szybszą nawigację.
  2. Wykonaj fuzję opartą na markerach.
    UWAGA: Krok 3.2 i Krok 3.3 to alternatywne metody wyrównywania podkładania i nakładki. Wypróbuj najpierw krok 3.2, ponieważ jest on łatwiejszy do odtworzenia i potencjalnie dokładniejszy. Krok 3.3 jest rozwiązaniem awaryjnym, jeśli nie ma wystarczającej liczby znaczników.
    1. Przełącz widok tak, aby pokazywało tylko podkładanie: Widok menu > Ustawienia warstwy > Widoczność warstwy > odznaczyć nakładkę; Menu Widok > Ustawienia warstwy > Widoczność warstwy > sprawdzić podkładanie.
    2. Przełącz wybraną warstwę na podkładanie.
    3. W razie potrzeby dostosuj okna: Naciśnij [Ctrl + W] i dostosuj lewy i prawy pionowy pasek w następnym oknie dialogowym, aby lepiej zobaczyć powierników. Kliknij OK, aby zamknąć okno dialogowe.
    4. Aktywuj tryb działania myszy "utwórz znacznik", klikając symbol znacznika na pionowym pasku narzędzi po lewej stronie. Wskaźnik myszy pokazuje symbol znacznika.
    5. Wykonaj dla każdego powiernika fantomu: Przejdź do powiernika. W tym celu umieść wskaźnik myszy nad widokiem płaszczyzny i użyj [Alt + kółko myszy], aby przeciąć płaszczyzny. Umieść wskaźnik myszy na środku odniesienia i kliknij lewym przyciskiem myszy.
      1. Spowoduje to otwarcie okna dialogowego, w którym oprogramowanie zasugeruje nazwę z kolejnymi cyframi. Zachowaj sugerowaną nazwę, np. "Marker001" i kliknij ok, aby zapisać marker.
        UWAGA: Możliwe jest użycie różnych nazw, jeśli ponownie użyjesz tych samych nazw znaczników dla nakładki.
    6. Dostosuj ustawienia wyświetlania, aby wyświetlić nakładkę: Widok menu > Ustawienia warstwy > Widoczność warstwy > sprawdź overlay.
      UWAGA: Zaleca się, aby widok podkładu był aktywny, ponieważ pomocne jest zachowanie orientacji i upewnienie się, że zidentyfikowałeś właściwy znacznik w obu modalnościach. Jeśli te dwie modalności znacznie nie są zsynchronizowane lub jeśli nakładka jest myląca, wyłącz ją: >Menu Widok > Ustawienia warstwy > Widoczność warstwy > odznacz podkładanie.
    7. Przełącz wybraną warstwę na nałożoną.
    8. Dostosuj okno: Jeśli znaczniki odniesienia nie są wyraźnie widoczne, naciśnij [Ctrl + W] i dostosuj lewe i prawe pionowe paski w następnym oknie dialogowym, aby można było jak najlepiej zlokalizować powierników. Kliknij OK, aby zamknąć okno dialogowe.
    9. Wykonaj dla każdego powiernika fantomu: Przejdź do powiernika. W tym celu umieść wskaźnik myszy nad widokiem płaszczyzny i użyj [Alt + kółko myszy], aby przeciąć płaszczyzny. Umieść wskaźnik myszy na środku odniesienia i kliknij lewym przyciskiem myszy.
      1. Spowoduje to otwarcie okna dialogowego, w którym oprogramowanie zasugeruje nazwę z kolejnymi cyframi. Zachowaj sugerowaną nazwę i kliknij ok, aby zapisać znacznik.
        UWAGA: Ważne jest, aby mieć tę samą nazwę dla pasujących znaczników programowych w podkładaniu i nakładce. Jest to zapewnione, jeśli zachowasz sugerowane nazwy i użyjesz tej samej kolejności do utworzenia znaczników w obu modalnościach. Jeśli zmienisz nazwy, upewnij się, że są zgodne.
    10. Aktywuj widoki obu warstw: Menu Widok > Ustawienia warstw > Widoczność warstw > sprawdź podkładanie; Menu Widok > Ustawienia warstwy > Widoczność warstwy > sprawdź nakładkę.
    11. Wyrównaj znaczniki podkładu i nakładki: Menu Fusion > Zarejestruj nakładkę do podkładu > Oblicz obrót i translację (znaczniki). Poniższe okno dialogowe pokazuje pozostałość po stopieniu. Zanotuj ten pomiar i kliknij ok.
    12. Sprawdź wynik wyrównania: Znaczniki w podkładaniu i nakładce powinny być wizualnie zgodne. Zapoznaj się z sekcją dyskusji, aby zapoznać się z rozwiązywaniem problemów i uwagami dotyczącymi dokładności pozostałości fusion.
      UWAGA: Transformacja nakładki została zmieniona. Aby wyświetlić szczegóły nowej transformacji nakładki, naciśnij [Ctrl + I].
  3. Jeśli fuzja oparta na markerach nie jest możliwa, wykonaj fuzję interaktywną. Jeśli krok 3.2 został wykonany, przejdź bezpośrednio do kroku 3.4.
    1. Aktywuj widoki obu warstw: Menu Widok > Ustawienia warstw > Widoczność warstw > sprawdź podkładanie; Menu Widok > Ustawienia warstwy > Widoczność warstwy > sprawdź nakładkę.
    2. Aktywuj tryb myszy "interaktywne łączenie obrazów", klikając symbol na pionowym pasku narzędzi po lewej stronie. Symbol składa się z trzech odsuniętych elips z punktem we wspólnym środku. Wskaźnik myszy pokazuje teraz ten symbol.
    3. Upewnij się, że pasek narzędzi ustawień trybu myszy jest wyświetlany w górnym obszarze poniżej stałego paska narzędzi. Dostępne są trzy pola wyboru dla podkładania, nakładki i segmentacji. Sprawdź nakładkę. Usuń zaznaczenie podkładania i segmentacji.
    4. Interakcyjne wyrównanie nakładki do podkładania: Wykonuj obroty i translacje na różnych widokach, aż podkładanie i nakładanie zostaną wyrównane tak dobrze, jak to możliwe:
      1. Obrót: Umieść wskaźnik myszy w pobliżu krawędzi widoku (osiowej, czołowej lub strzałkowej); symbol wskaźnika myszy jest teraz otoczony strzałką. Przytrzymaj lewy przycisk myszy i przesuń mysz, aby obrócić nakładkę.
      2. Przesunięcie: Umieść wskaźnik myszy w pobliżu środka widoku. Wskaźnik myszy nie jest otoczony. Przytrzymaj lewy przycisk myszy i przesuń mysz, aby przesunąć nakładkę.
  4. Utwórz i zapisz transformację różnicową: Menu Fusion > Transformacja nakładki > Utwórz i zapisz transformację różnicową. W następnym oknie dialogowym wybierz oryginalny plik nakładki i kliknij przycisk Otwórz. W drugim oknie dialogowym wprowadź nazwę pliku dla transformacji różnicowej i naciśnij Zapisz.
    UWAGA: Oprogramowanie potrzebuje oryginalnego pliku nakładki, aby odczytać oryginalną transformację, a następnie obliczyć transformację różnicową. Sugerujemy zapisanie macierzy transformacji różnicowej z nazwą pliku, która określa używane urządzenia do obrazowania.

4. Obrazowanie produkcyjne

  1. Skanuj w obu urządzeniach do przetwarzania obrazu.
    1. Umieścić próbkę (np. zwierzę laboratoryjne pod wpływem środków uspokajających) na nośniku.
      UWAGA: Ważne jest, aby upewnić się, że pozycja próbki w nośniku nie zmienia się między dwoma skanami.
    2. Umieść nosidełko w urządzeniu CT. Upewnij się, że nośnik został umieszczony w taki sam sposób, jak podczas skanowania kalibracyjnego.
    3. Skanuj zgodnie z instrukcjami producenta urządzenia.
    4. Umieść nośnik w urządzeniu PET. Upewnij się, że nośnik został umieszczony w taki sam sposób, jak podczas skanowania kalibracyjnego.
    5. Skanuj zgodnie z instrukcjami producenta urządzenia.
  2. Wykonaj zastosowanie transformacji różniczkowej.
    1. Otwórz oprogramowanie do analizy.
    2. Wczytaj plik CT jako podkład: Menu Plik > Podkład > Wczytaj podkład. W następnym oknie dialogowym wybierz plik obrazu CT i naciśnij ok.
    3. Załaduj plik PET jako nakładkę: Plik menu > Nakładka > Załaduj nakładkę. W następnym oknie dialogowym wybierz plik obrazu PET i naciśnij ok.
    4. Aktywuj widoki obu warstw: Menu Widok > Ustawienia warstw > Widoczność warstw > sprawdź podkładanie; Menu Widok > Ustawienia warstwy > Widoczność warstwy > sprawdź nakładkę.
    5. Wczytaj i zastosuj poprzednio zapisaną macierz transformacji różnicowej: Menu > Fusion > Transformacja nakładki > Załaduj i zastosuj transformację. Wybierz plik zawierający macierz transformacji różnicowej zapisaną w procesie kalibracji i naciśnij open.
      UWAGA: Ten krok powoduje zmianę metadanych nakładki.
    6. Zapisz zmienioną nakładkę: Menu > Plik > Nakładka > Zapisz nakładkę. W następnym oknie dialogowym wprowadź nazwę i kliknij save.
      UWAGA: Zaleca się zachowanie niezmienionych oryginalnych danych, a tym samym zapisanie nakładki pod nową nazwą.

Wyniki

Rysunek 3 oraz Rysunek 4 przedstawiają przykłady fantoma widocznego w TK, który zawiera jamy rurkowate wypełnione znacznikiem, w tym przypadku do badania SPECT. Fantom oraz użyty znacznik są wymienione w Tabeli Materiałów.

Krok 2 protokołu opisuje skanowanie kalibracyjne i weryfikuje spójność wewnętrzną każdego urządzenia obrazującego. Wyniki z dwóch skanów o różnych polach widzenia powinny być zgodne dla każdego urządzenia. W konsekwencji obraz B, przedstawiony na żółto, powinien być podzbiorem obrazu A, przedstawionego na biało. Przykład z wykorzystaniem CT zaprezentowano na Rysunku 3A. Metody oparte na znacznikach, takie jak PET lub SPECT, są zazwyczaj wizualizowane za pomocą renderowania wolumetrycznego (Rysunek 3B). Jednak renderowanie izopowierzchni (Iso rendering) ułatwia porównywanie pozycji. Dlatego protokół instruuje użytkowników, aby zmienić warstwę tła i warstwę nakładki na renderowanie izopowierzchni, niezależnie od zastosowanej metody obrazowania. Zatem w przykładzie SPECT renderowanie żółte powinno również być podzbiorem renderowania białego (Rysunek 3C). W każdym przypadku żółta ramka ograniczająca powinna być mniejsza i znajdować się wewnątrz czerwonej ramki ograniczającej. Jeśli dopasowanie jest nieprawidłowe, w dyskusji omówiono typowe problemy z rozmieszczeniem i podano sugestie dotyczące rozwiązywania problemów.

Krok 3 protokołu opisuje sposób wyznaczania transformacji różnicowej między dwiema modalnościami przy użyciu markerów powierniczych. Ponieważ znacznik w modalnościach opartych na znacznikach występuje w formie objętościowej, użytkownik musi wyznaczyć odpowiednie punkty, które będą służyć jako (punktowy) marker powierniczy. Na Rysunku 4 obraz CT fantomu został załadowany jako podkład (underlay), a obraz SPECT został załadowany jako nakładka (overlay). Środek krzywizny rurki wewnątrz fantomu wybrano jako marker powierniczy dla podkładu CT, co przedstawiono na Rysunku 4A-C w przekrojach osiowym, czołowym i strzałkowym. Odpowiadający mu punkt musi zostać zaznaczony na nakładce, co zilustrowano na Rysunku 4D-F w przekrojach osiowym, czołowym i strzałkowym. Oprogramowanie może teraz obliczyć i zastosować transformację różnicową do nakładki. Pozwala to na wyrównanie markerów w obu modalnościach, co pokazano na Rysunku 4G,H.

Skanowanie CT i SPECT; renderingi 3D, różne pola widzenia, techniki MIP i ISO, analiza obrazowania.
Rycina 3: Obrazy demonstrujące spójność wewnętrzną. (A) Obraz objętościowy CT. Krok 2.4 protokołu wymaga sprawdzenia wyrównania obrazów. Zgodnie z krokami opisanymi w protokole, warstwa spodnia (underlay) jest wyświetlana w kolorze białym, natomiast warstwa nakładki (overlay) oraz jej ramka ograniczająca są wyświetlane w kolorze żółtym. Obie warstwy są wyrównane (w tym przypadku drugi skan został zasymulowany przez przyciętą kopię pierwszego skanu). (B) Obrazowanie SPECT fantomu z rurkami wypełnionymi znacznikiem. Rendering objętościowy z zastosowaniem tabeli kolorów NIH. (C) Obraz SPECT w renderingu ISO. Warstwa spodnia jest wyświetlana w kolorze białym, natomiast warstwa nakładki oraz jej ramka ograniczająca są wyświetlane w kolorze żółtym. Obie warstwy są wyrównane (w tym przypadku drugi skan został zasymulowany przez przyciętą kopię pierwszego skanu). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Proces rejestracji obrazów medycznych; widoki osiowy, czołowy i strzałkowy; nałożenie markerów dla analizy fuzji.
Rysunek 4: Umiejscowienie markerów w obrazach CT i SPECT. Obraz CT fantoma jest załadowany jako warstwa podkładowa. Obraz SPECT jest załadowany jako warstwa nakładki i wyświetlony przy użyciu tabeli kolorów NIH. (A-C) Krok 3.2 protokołu wymaga umieszczenia markerów w warstwie podkładowej. Jako punkt odniesienia (fiducjalny) wybrano środek krzywizny rurki wewnątrz fantoma i umieszczono tam Marker001, co zaznaczono czerwoną kropką w widokach osiowym, czołowym i strzałkowym. (D-F) Odpowiadający mu marker został umieszczony w warstwie nakładki. (G) Widok osiowy po transformacji. (H) Widok 3D zfuzowanych modalności. Zastosowano renderowanie metodą maksymalnej projekcji intensywności (MIP), aby uczynić znacznik SPECT widocznym wewnątrz fantoma. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Dyskusja

Przedstawiono metodę multimodalnej korejestracji obrazów, która nie wymaga markerów fiducjalnych podczas skanów produkcyjnych. Podejście oparte na fantomie pozwala na wygenerowanie transformacji różnicowej pomiędzy systemami współrzędnych dwóch modalności obrazowania.

Resztka fuzji i walidacja transformacji różniczkowej
Po obliczeniu transformacji różniczkowej oprogramowanie wyświetla resztkę fuzji w milimetrach, która reprezentuje pierwiastkowy średni błąd kwadratowy19 transformacji. Jeśli resztka ta przekracza rząd wielkości rozmiaru woksela, zaleca się sprawdzenie zestawów danych pod kątem ogólnych problemów. Jednakże, ponieważ wszystkie obrazy wykazują niewielkie zniekształcenia, resztka nie może być dowolnie mała; odzwierciedla ona jedynie dopasowanie użytych markerów. Na przykład korejestracja z trzema markerami może skutkować mniejszą resztką w tych samych zestawach danych niż transformacja z czterema dobrze rozmieszczonymi markerami. Dzieje się tak, ponieważ przy zastosowaniu mniejszej liczby punktów referencyjnych same markery mogą być nadmiernie dopasowane. Dokładność w całym zestawie danych poprawia się wraz ze zwiększeniem liczby markerów.

Dokładność ilościowa metody zależy od konkretnej pary użytych urządzeń. Obliczoną transformację różnicową między układami współrzędnych dwóch urządzeń można zwalidować, wykonując następujące kroki: postępując zgodnie z krokiem 4 protokołu, ale ponownie używając fantoma z markerami referencyjnymi jako „próbki”. Umieszczamy fantom w dowolnej pozycji, upewniając się, że różni się ona od pozycji użytej do szacowania transformacji różnicowej. Można również użyć innego fantoma odpowiedniego dla poszczególnych modalności, jeśli taki jest dostępny. Następnie stosujemy wyznaczoną wcześniej transformację różnicową (krok 4.2.5), aby dopasować obie modalności. Następnie nanosimy markery na obrazy z obu modalności zgodnie z krokiem 3.2 protokołu. Aby obliczyć resztę fuzji dla tych markerów, należy kliknąć Menu Fusion > Register Overlay to Underlay > Showing Residual Score.

Błąd resztkowy opisuje średnie przesunięcie sygnału i powinien być rzędu wielkości woksela. Konkretne progi akceptacji zależą od zastosowania i mogą wynikać z kilku czynników, takich jak sztywność i dokładność systemów obrazowania, ale mogą być również pod wpływem artefaktów rekonstrukcji obrazu.

Rozwiązywanie problemów z samospójnością
Często trudności z samospójnością wynikają z niewiarygodnego rozmieszczenia. Powszechnym błędem jest umieszczenie nośnika w pozycji odwróconej bocznie. W idealnym przypadku powinien on być mechanicznie wkładany do urządzenia obrazującego tylko w jednym kierunku. Jeśli nie jest to możliwe, należy dodać zrozumiałe oznaczenia dla użytkownika. Innym częstym problemem jest możliwość ruchu w osi podłużnej, co sprawia, że pozycjonowanie osiowe jest niewiarygodne. Zaleca się stosowanie dystansu, który można przymocować z jednego końca, aby zabezpieczyć stabilne położenie podkładki dla myszy. Niestandardowe dystanse można na przykład szybko i łatwo stworzyć za pomocą druku 3D. Jednak niektóre urządzenia nie zapewniają samospójności przy zmiennych polach widzenia. W takich przypadkach zaleca się kontakt z dostawcą, który powinien potwierdzić niekompatybilność i potencjalnie rozwiązać ten problem w przyszłej aktualizacji. W przeciwnym razie metoda pozostaje wiarygodna, jeśli dla wszystkich skanów, w tym kalibracji i obrazowania produkcyjnego, zachowane zostanie identyczne pole widzenia.

W przypadku niektórych skanów produkcyjnych z odchyleniem pozycjonowania możliwe jest przekształcenie do pozycji skalibrowanej, jeśli dostatecznie widoczna jest struktura nośnika. W obrazowaniu in vivo znieczulone zwierzę musi pozostać w jednym nośniku, a skonstruowanie pojedynczego nośnika, który pasowałby stabilnie do obu urządzeń, nie zawsze jest możliwe. Często stosuje się legowisko dla myszy przeznaczone dla modalności opartej na znaczniku, a następnie improwizuje się jego umieszczenie w urządzeniu CT. Na przykład na Rysunku 5A legowisko dla myszy MPI zostało umieszczone na legowisku dla myszy CT ze względu na ograniczenia mechaniczne. Luzy w osi podłużnej oraz możliwość przechylenia sprawiają, że takie pozycjonowanie jest niewiarygodne. W takich przypadkach zaleca się zaprojektowanie adaptera, który zastąpi dolne legowisko dla myszy i zapewni stabilne połączenie. Może on wykorzystywać, na przykład, trzpienie przymocowane do dolnej części oraz dodatkowe otwory w dnie górnego legowiska dla myszy.

Możliwa jest jednak retrospekcyjna korekta istniejących obrazów, ponieważ podkładka dla myszy jest widoczna na obrazie CT. Protokół wymaga wykonania skanów kalibracyjnych, a następnie obliczenia transformacji różnicowej nakładki względem podstawy. Procedura jest podobna, lecz musi również przypisywać każdy pojedynczy skan CT z serii produkcyjnej do skanu kalibracyjnego, wykorzystując struktury podkładki dla myszy jako punkty referencyjne.

Schemat tomografii komputerowej (CT) przedstawiający pozycjonowanie myszy, rejestrację obrazów, transformację i składanie multimodalne.
Rysunek 5: Rozwiązywanie problemów z pozycjonowaniem. (A) Podłoże dla myszy do MPI jest umieszczone na podłożu dla myszy do CT. W związku z tym pozycja w CT nie może być wiarygodnie odtworzona. Spójność można osiągnąć poprzez fuzję każdego obrazu CT z referencyjnym obrazem CT używanym do szacowania transformacji różnicowej. (B-D) Uproszczenie do 2D. (B) Każdy produkcyjny obraz CT jest wczytywany jako nakładka i rejestrowany względem referencyjnego obrazu CT (podkładki) przy użyciu struktur podłoża dla myszy widocznych w CT. Poprawiony produkcyjny obraz CT jest teraz spójny z referencyjnym obrazem CT i może być użyty z transformacją różnicową T. (C) Nakładka MPI jest rejestrowana względem referencyjnego obrazu CT przy użyciu markerów powiązania fantoma. (D) Obrazy multimodalne są składane. W tym celu każdy obraz CT jest odwzorowany na pozycję referencyjną za pomocą jego indywidualnej transformacji różnicowej. Następnie nakładka MPI jest również rejestrowana w pozycji referencyjnej przy użyciu transformacji różnicowej, która jest aktualna dla wszystkich obrazów z urządzenia. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Aby dopasować produkcyjne skany CT do skanu kalibracyjnego, należy odnieść się do sekcji 3 protokołu, wprowadzając następujące modyfikacje. Dla przejrzystości opis kontynuuje przykład z warstwą podkładową CT i nakładką MPI: w kroku 3.1 wczytaj kalibracyjny skan CT (obraz A) jako warstwę podkładową, a skan CT wymagający korekty jako nakładkę. Wykorzystaj struktury podłoża dla myszy MPI jako markery w kroku 3.2 lub jako punkty odniesienia wizualnego w kroku 3.3. Pomiń krok 3.4, ale zapisz nakładkę reprezentującą skorygowaną objętość CT (Menu File > Overlay > Saving overlay as). W następnym oknie dialogowym wprowadź nową nazwę i kliknij save. Zamknij nakładkę, przechodząc do Menu File > Overlay > Closing overlay. Wczytaj kolejny skan CT wymagający korekty jako nakładkę i wznowij procedurę od kroku 3.2 protokołu. Koncepcja leżąca u podstaw tego kroku została przedstawiona na Rysunku 5B.

Łóżko dla myszy jest teraz wirtualnie wyrównane identycznie do skanu kalibracyjnego we wszystkich niedawno zapisanych wolumenach CT. W ramach standardowej procedury skan kalibracyjny jest rejestrowany do obrazów MPI przy użyciu transformacji różnicowej T (Rysunek 5C). Aby w dalszej kolejności połączyć obraz CT z MPI, należy zawsze używać skorygowanego wolumenu CT (Rysunek 5D).

Rozwiązywanie problemów z odbiciem lustrzanym obrazów i skalowaniem
Przedstawiona tutaj metoda rejestracji zakłada dostatecznie wysoką jakość obrazu i koryguje jedynie obrót oraz przesunięcie. Nie koryguje ona obrazów odbitych lustrzanie ani błędnego skalowania. Problemy te można jednak rozwiązać ręcznie przed obliczeniem transformacji różnicowej.

Niespójności między formatami danych od różnych producentów mogą powodować, że niektóre zbiory danych, szczególnie te w formacie DICOM, będą wyświetlane w oprogramowaniu jako lustrzanie odwrócone. Ponieważ fantomy i podkładki dla myszy są często symetryczne, problem ten może nie być natychmiast widoczny. Wykrycie odwróconych obrazów jest łatwiejsze, gdy skan zawiera rozpoznawalne litery w danej modalności, takie jak wypukłe litery w prawidłowej orientacji widoczne na fantomie na Rysunku 3H. W przykładzie przedstawionym na Rysunku 6 dane CT są załadowane jako podkład (underlay), a dane MPI jako nakładka (overlay). Jest to skan in vivo myszy umieszczonej w podkładce MPI z przymocowanymi markerami fiducjalnymi. Podkładka MPI znajduje się na wierzchu podkładki do µCT (Rysunek 6A). Przestrzegając protokołu i zaznaczając markery fiducjalne zarówno w podkładzie, jak i nakładce w spójnym kierunku obrotu, uzyskuje się widocznie niespójny wynik (Rysunek 6B). Po dokładniejszej analizie problem można jednak zidentyfikować. Markery fiducjalne tworzą asymetryczny trójkąt. Obserwując boki trójkąta w widoku osiowym (Rysunek 6C, D) od najkrótszego, przez średni, aż po najdłuższy, w danych CT widoczny jest obrót zgodnie z ruchem wskazówek zegara, podczas gdy w danych MPI widoczny jest obrót przeciwnie do ruchu wskazówek zegara. Dowodzi to, że jeden z obrazów jest odwrócony bocznie. W tym przypadku przyjmujemy, że dane CT są prawidłowe. Aby skorygować nakładkę MPI, obraz należy odwrócić: w tym celu należy przełączyć wybraną warstwę na nakładkę i kliknąć Menu Edit > Flip > Flip X. Transformacja różnicowa obliczana przez oprogramowanie obejmuje wszystkie niezbędne obroty, zatem „Flip X” jest wystarczający, nawet jeśli obraz wydaje się odwrócony w innym kierunku.

Schemat nałożenia CT i MPI; analiza rejestracji z użyciem markerów; pomiar dokładności rejestracji.
Rysunek 6: Rozwiązywanie problemów z transformacją. Dane CT są załadowane jako warstwa spodnia z rozmiarem woksela 0.240 mm, a dane MPI jako warstwa górna z rozmiarem woksela 0.249 mm. Podłoże dla myszy zawiera markery fiducjalne. (A) Widok 3D niepoprawionego obrazu nałożonego. Markery fiducjalne w warstwie spodniej CT są wskazane strzałkami. Markery fiducjalne w warstwie górnej MPI są widoczne jako sfery w tabeli kolorów NIH. (B) Niezgodny wynik transformacji wykonanej bez odpowiednich korekt. Reszta fuzji = 6.94 mm. (C) Pomiar odległości między markerami fiducjalnymi w CT. Obrót zgodnie z ruchem wskazówek zegara od najkrótszej do najdłuższej odległości. (D) Pomiar odległości między markerami fiducjalnymi w MPI. Obrót przeciwnie do ruchu wskazówek zegara od najkrótszej do najdłuższej odległości. Porównanie z pomiarami CT daje współczynnik skalowania 0.928774. (E) Poprawione nałożenie po odwróceniu i skalowaniu. (F) Transformacja z dopasowanymi wynikami w widoku 3D. (G) Transformacja z dopasowanymi wynikami w widoku osiowym. Reszta fuzji = 0.528 mm. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Zbiory danych z nieprawidłowymi rozmiarami wokseli można również skorygować ręcznie. Ponieważ wymiary fantoma powinny być znane, można to zweryfikować na obrazie. Najprostszą metodą jest wykorzystanie krawędzi o znanej długości. Należy nacisnąć [Ctrl + prawy przycisk myszy] na jednym końcu krawędzi, a następnie, trzymając przycisk, przesunąć wskaźnik myszy do drugiego końca krawędzi i zwolnić przycisk. W kolejnym oknie dialogowym oprogramowanie wyświetla długość zmierzonego dystansu na obrazie. W przykładzie przedstawionym na Rysunku 6 widać, że rozmiary nie są zgodne po porównaniu odległości między markerami w obu modalnościach (Rysunek 6C,D). Ponownie przyjmuje się, że dane CT są dokładne. Aby zmodyfikować skalowanie, oblicza się współczynnik skalowania (SF). Ponieważ stosunek długości (CT/MPI) nie jest dokładnie taki sam dla każdego boku trójkąta, obliczany jest średni iloraz: SF = ((l1CT/l1MPI) + (l2CT/l2MPI) + (l2CT/l2MPI)) / 3.

Następnie należy dostosować rozmiar woksela nałożonej warstwy (overlay), mnożąc każdy wymiar przez SF. Aby to osiągnąć, przełącz wybraną warstwę na overlay i otwórz Menu Edit > Change Voxel Sizes. Oblicz każdy wymiar, wprowadź wartość, a następnie kliknij OK. Wynik obu korekt przedstawiono na Rysunku 6E. Po tej operacji overlay zostaje zarejestrowany względem warstwy bazowej (underlay) zgodnie z protokołem. Uzyskane dopasowanie pokazano na Rysunku 6F,G. Choć metoda ta stanowi szybkie rozwiązanie do korygowania istniejącego skanu, zalecamy kalibrację urządzenia obrazującego do rutynowego użytku.

Ograniczenia
Niniejsza metoda ogranicza się do przestrzennej korejestracji istniejących danych wolumetrycznych składających się z wokseli w kształcie sześcianów. Nie obejmuje ona procesu rekonstrukcji, który oblicza objętość z surowych danych generowanych przez urządzenie obrazujące (np. projekcji w CT). Z tym etapem wiąże się stosowanie różnych technik poprawy jakości obrazu, takich jak metody iteracyjne20,21 oraz zastosowanie sztucznej inteligencji21. Chociaż opisana metoda jest co do zasady możliwa do zastosowania we wszystkich modalnościach generujących obrazy 3D z wokselami w kształcie sześcianów, nie może być ona wykorzystana do fuzji danych 3D z danymi 2D, np. wolumetrii MRI połączonej z 2D termografią podczerwienną22 lub obrazowaniem fluorescencyjnym, co może mieć znaczenie w zastosowaniach chirurgii sterowanej obrazem. Rejestracja danych 3D nie koryguje zniekształceń, takich jak te występujące w obrazach MRI na krawędzi cewki. Choć nie jest to obowiązkowe, optymalne wyniki uzyskuje się, gdy zniekształcenia są korygowane podczas procesu rekonstrukcji. Automatyczna transformacja nie rozwiązuje również problemu obrazów odwróconych lub błędnego skalowania. Jednak te dwa problemy można rozwiązać ręcznie, zgodnie z opisem w sekcji rozwiązywania problemów.

Znaczenie metody
Proponowana metoda eliminuje konieczność stosowania markerów powiązanych (fiducjalnych) w skanach produkcyjnych, co niesie ze sobą szereg zalet. Przynosi ona korzyści w modalnościach, w których wymagana jest konserwacja lub częsta wymiana markerów. Na przykład większość markerów MRI opiera się na wilgoci, lecz z czasem mają one tendencję do wysychania, natomiast radioaktywne markery PET ulegają rozpadowi. Dzięki usunięciu konieczności stosowania markerów w skanach produkcyjnych można zmniejszyć pole widzenia, co prowadzi do skrócenia czasu akwizycji. Jest to pomocne w warunkach wysokiej przepustowości w celu redukcji kosztów oraz minimalizacji dawki promieniowania rentgenowskiego w tomografii komputerowej (CT). Zmniejszenie dawki jest pożądane, ponieważ promieniowanie może wpływać na ścieżki biologiczne zwierząt doświadczalnych w podłużnych badaniach obrazowych23.

Co więcej, metoda ta nie jest ograniczona do konkretnych modalności. Ceną za tę wszechstronność jest mniejsza liczba zautomatyzowanych kroków. Wcześniej opublikowana metoda fuzji danych µCT i FMT wykorzystuje wbudowane markery w podłożu dla myszy podczas każdego skanowania i umożliwia automatyczną detekcję markerów oraz korekcję zniekształceń podczas rekonstrukcji24. Inne metody eliminują potrzebę stosowania markerów, wykorzystując podobieństwo obrazów. Chociaż podejście to daje dobre wyniki i pozwala również na korekcję zniekształceń25, jest ono stosowalne tylko wtedy, gdy dwie modalności dostarczają obrazów o wystarczającym stopniu podobieństwa. Zazwyczaj nie ma to miejsca w przypadku połączenia modalności o wysokiej szczegółowości anatomicznej z modalnością opartą na znacznikach. Niemniej jednak takie kombinacje są niezbędne do oceny farmakokinetyki czynników celowanych26, które znajdują zastosowanie w obszarach takich jak nanoterapia przeciwnowotworowa27, 28.

Ponieważ kontrola jakości w zastosowaniach przedklinicznych jest mniej rygorystyczna niż w klinicznych, niedopasowanie połączonych urządzeń obrazujących jest uznanym problemem29. Dane obciążone takim niedopasowaniem mogą zostać poprawione retrospektywnie poprzez skanowanie fantomu i wyznaczenie transformacji różnicowej, co potencjalnie pozwala na redukcję kosztów i minimalizację cierpienia zwierząt. Oprócz zaprezentowanej metody wykorzystującej markery powiernicze do obliczenia transformacji różnicowej, która jest następnie stosowana do skanów produkcyjnych, opisano i wykorzystano dodatkowe możliwości fuzji obrazów. Przegląd, obejmujący odniesienia do różnych dostępnych programów, znajduje się w pracy Birkfellner et al.30.

Podsumowując, przedstawiona metoda stanowi skuteczne rozwiązanie w zakresie współrejestracji obrazów multimodalnych. Protokół ten można łatwo dostosować do różnych modalności obrazowania, a dostarczone techniki rozwiązywania problemów zwiększają odporność metody na typowe komplikacje.

Oświadczenia

FG jest właścicielem Gremse-IT GmbH, spółki spin-off Uniwersytetu RWTH w Akwizgranie, która zajmuje się komercjalizacją oprogramowania do analizy obrazów biomedycznych. J. J jest współwłaścicielem firmy Phantech LLC, która zajmuje się komercjalizacją fantomów do obrazowania molekularnego. Pozostali autorzy deklarują, że badanie zostało przeprowadzone przy braku jakichkolwiek powiązań handlowych lub finansowych, które mogłyby być interpretowane jako potencjalny konflikt interesów. M. T napisał oryginalny rękopis. J. J wykonał skany CT/SPECT, które są przykładowe, jak pokazano w artykule. B. S i Y. Z wykonali tomografię komputerową/MPI, które są przykładowe w artykule. F. G. nadzorował badanie i poprawił artykuł. Wszyscy autorzy przyczynili się do powstania artykułu i zatwierdzili nadesłaną wersję.

Podziękowania

Autorzy chcieliby podziękować Rządowi Federalnemu Nadrenii Północnej-Westfalii oraz Unii Europejskiej (EFRE), Niemieckiej Fundacji Badawczej (CRC1382 ID projektu 403224013 - SFB 1382, projekt Q1) za dofinansowanie.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
177Luradiotracer
Custom-build MPI mousebed
Hot Rod Derenzo Phantech LLC. Madison, WI, USAD271626liniowo wypełniony kanał derenzo phantom
Imalytics Preclinical 3.0Gremse-IT GmbH, Akwizgran, NiemcyOprogramowanie analityczne
Magnetic InsightMagnetic Insight Inc., Alameda, CA, USAUrządzenie do obrazowania MPI
Quantum GX microCTPerkinElmerµ Aparat do obrazowania
TK U-SPECT/CT-UHRMILabs B.V., CD  Houten, HolandiaUrządzenie do obrazowania CT/SPECT
VivoTrax (5,5 Fe mg/ml)Magnetic Insight Inc., Alameda, CA, USAMIVT01-LOT00004Markery MPI

Bibliografia

  1. Hage, C., et al. Characterizing responsive and refractory orthotopic mouse models of hepatocellular carcinoma in cancer immunotherapy. PLOS ONE. 14 (7), (2019).
  2. Mannheim, J. G., et al. Comparison of small animal CT contrast agents. Contrast Media & Molecular Imaging. 11 (4), 272-284 (2016).
  3. Kampschulte, M., et al. Nano-computed tomography: technique and applications. RöFo - Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren. 188 (2), 146-154 (2016).
  4. Wang, X., Jacobs, M., Fayad, L. Therapeutic response in musculoskeletal soft tissue sarcomas: evaluation by magnetic resonance imaging. NMR in Biomedicine. 24 (6), 750-763 (2011).
  5. Hage, C., et al. Comparison of the accuracy of FMT/CT and PET/MRI for the assessment of Antibody biodistribution in squamous cell carcinoma xenografts. Journal of Nuclear Medicine: Official Publication, Society of Nuclear Medicine. 59 (1), 44-50 (2018).
  6. Borgert, J., et al. Fundamentals and applications of magnetic particle imaging. Journal of Cardiovascular Computed Tomography. 6 (3), 149-153 (2012).
  7. Vermeulen, I., Isin, E. M., Barton, P., Cillero-Pastor, B., Heeren, R. M. A. Multimodal molecular imaging in drug discovery and development. Drug Discovery Today. 27 (8), 2086-2099 (2022).
  8. Liu, Y. -H., et al. Accuracy and reproducibility of absolute quantification of myocardial focal tracer uptake from molecularly targeted SPECT/CT: A canine validation. Journal of Nuclear Medicine Official Publication, Society of Nuclear Medicine. 52 (3), 453-460 (2011).
  9. Zhang, Y. -D., et al. Advances in multimodal data fusion in neuroimaging: Overview, challenges, and novel orientation. An International Journal on Information Fusion. 64, 149-187 (2020).
  10. Nahrendorf, M., et al. Hybrid PET-optical imaging using targeted probes. Proceedings of the National Academy of Sciences. 107 (17), 7910-7915 (2010).
  11. Zhang, S., et al. In vivo co-registered hybrid-contrast imaging by successive photoacoustic tomography and magnetic resonance imaging. Photoacoustics. 31, 100506(2023).
  12. Yamoah, G. G., et al. Data curation for preclinical and clinical multimodal imaging studies. Molecular Imaging and Biology. 21 (6), 1034-1043 (2019).
  13. Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
  14. Filippou, V., Tsoumpas, C. Recent advances on the development of phantoms using 3D printing for imaging with CT, MRI, PET, SPECT, and ultrasound. Medical Physics. 45 (9), e740-e760 (2018).
  15. Gear, J. I., et al. Radioactive 3D printing for the production of molecular imaging phantoms. Physics in Medicine and Biology. 65 (17), 175019(2020).
  16. Sra, J. Cardiac image integration implications for atrial fibrillation ablation. Journal of Interventional Cardiac Electrophysiology: An International Journal of Arrhythmias and Pacing. 22 (2), 145-154 (2008).
  17. Zhao, H., et al. Reproducibility and radiation effect of high-resolution in vivo micro computed tomography imaging of the mouse lumbar vertebra and long bone. Annals of Biomedical Engineering. 48 (1), 157-168 (2020).
  18. Gremse, F., et al. Imalytics preclinical: interactive analysis of biomedical volume data. Theranostics. 6 (3), 328-341 (2016).
  19. Willmott, C. J., Matsuura, K. On the use of dimensioned measures of error to evaluate the performance of spatial interpolators. International Journal of Geographical Information Science. 20 (1), 89-102 (2006).
  20. Thamm, M., et al. Intrinsic respiratory gating for simultaneous multi-mouse µCT imaging to assess liver tumors. Frontiers in Medicine. 9, 878966(2022).
  21. La Riviere, P. J., Crawford, C. R. From EMI to AI: a brief history of commercial CT reconstruction algorithms. Journal of Medical Imaging. 8 (5), 052111(2021).
  22. Hoffmann, N., et al. Framework for 2D-3D image fusion of infrared thermography with preoperative MRI. Biomedical Engineering / Biomedizinische Technik. 62 (6), 599-607 (2017).
  23. Boone, J. M., Velazquez, O., Cherry, S. R. Small-animal X-ray dose from micro-CT. Molecular Imaging. 3 (3), 149-158 (2004).
  24. Gremse, F., et al. Hybrid µCt-Fmt imaging and image analysis. Journal of Visualized Experiments. 100, e52770(2015).
  25. Bhushan, C., et al. Co-registration and distortion correction of diffusion and anatomical images based on inverse contrast normalization. NeuroImage. 115, 269-280 (2015).
  26. Lee, S. Y., Jeon, S. I., Jung, S., Chung, I. J., Ahn, C. -H. Targeted multimodal imaging modalities. Advanced Drug Delivery Reviews. 76, 60-78 (2014).
  27. Dasgupta, A., Biancacci, I., Kiessling, F., Lammers, T. Imaging-assisted anticancer nanotherapy. Theranostics. 10 (3), 956-967 (2020).
  28. Zhu, X., Li, J., Peng, P., Hosseini Nassab, N., Smith, B. R. Quantitative drug release monitoring in tumors of living subjects by magnetic particle imaging nanocomposite. Nano Letters. 19 (10), 6725-6733 (2019).
  29. McDougald, W. A., Mannheim, J. G. Understanding the importance of quality control and quality assurance in preclinical PET/CT imaging. EJNMMI Physics. 9 (1), 77(2022).
  30. Birkfellner, W., et al. Multi-modality imaging: a software fusion and image-guided therapy perspective. Frontiers in Physics. 6, 00066(2018).

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

obrazowanie multimodalnekorejestracja obraz wrejestracja bezmarkerowatransformacja r nicowaobrazowanie ma ych zwierz tfuzja obraz wmarkery fiducyjnekalibracja oparta na fantomachwolumetryczne dane obrazowe

Powiązane artykuły