Artykuł metodologiczny

Wielowymiarowe ramy głębokiego uczenia wielokierunkowego do precyzyjnej diagnozy gruczołu trzmiennego

DOI:

10.3791/70231

⸱

8 maja 2026

 ,  ,  ,  ,  ,  , 
1Stomatology Department, The Affiliated Wuxi People's Hospital of Nanjing Medical University, 2Department of Oral and Maxillofacial Surgery, Zhongshan Hospital, Fudan University

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Niniejszy artykuł przedstawia wieloujęciowy multimodalny model głębokiego uczenia umożliwiający dokładną klasyfikację guzów gruczołów przyusznych za pomocą sekwencji obrazowania rezonansowego magnetycznego.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dokładne rozróżnienie między łagodnymi a złośliwymi guzami przyusznymi jest niezbędne dla rokowania pacjenta. Jednak ze względu na wysoki stopień heterogeniczności guzów przyusznych oraz ograniczoną dostępność danych obrazowych, diagnoza przedoperacyjna pozostaje istotnym wyzwaniem. Aby rozwiązać ten problem, niniejsze badanie proponuje wielomodalne ramy uczenia głębokiego oparte na uczeniu się na małych próbach. Ramy te integrują informacje MRI z wielu sekwencji oraz wykorzystują mechanizm wieloskalowej uwagi przestrzennej, aby poprawić wydajność ekstrakcji cech i klasyfikacji w sytuacjach, gdy próbki są ograniczone. Model został systematycznie oceniony na podstawie retrospektywnie zebranej kohorty 198 pacjentów z histologicznie potwierdzonymi pierwotnymi guzami przyusznych (107 łagodnych, 91 złośliwych), którzy przeszli pełne rezonanse magnetyczne przedoperacyjne — w tym obrazowanie ważone T1, T2 oraz ważone dyfuzją — w naszej placówce, bez wcześniejszego leczenia zmiany przyusznej. Kohorta została podzielona na poziomie pacjentów na zestawy treningowe (70%), walidacyjne (15%) oraz testowe (15%), wykorzystujące stratyfikowane losowe próbkowanie, aby zachować stosunek łagodnych do złośliwych, zapewniając wzajemnie wykluczające się podzbiory i zapobiegając wyciekom danych. Model osiągnął powierzchnię pod krzywą (AUC) wynoszącą 0,9822. To odkrycie podkreśla zdolność systemu do rozróżniania między łagodnymi a złośliwymi guzami. Ponadto model wykazał znaczące zalety pod względem dokładności diagnostycznej w porównaniu z doświadczonymi radiologami, podkreślając jego potencjalne zastosowanie w przedoperacyjnym różnicowaniu łagodno-złośliwym oraz w klinicznym wsparciu decyzyjnym w przypadku guzów przyusznych.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dane epidemiologiczne wskazują, że częstość występowania guzów przyusznych wzrasta. Gruczoł przyuszny, największy gruczoł ślinowy w ludzkim ciele1, jest jednym z miejsc o wysokiej częstości występowania guzów głowy i szyi. Chociaż guzy gruczołu przyusznego są stosunkowo rzadkie, stanowiąc około 5% guzów głowy i szyi, łagodne zmiany znacznie przewyższają liczbę złośliwych, stanowiąc około 80% wszystkich guzów przyusznych 2,3. Łagodne i złośliwe guzy przyuszne wykazują istotne różnice w zachowaniu biologicznym, strategiach leczenia i rokowaniu. Łagodne guzy zazwyczaj rosną powoli, wykazują rozległy wzrost i rzadko przerzutują. Pozytywne wyniki następują po całkowitej resekcji chirurgicznej. Natomiast nowotwory złośliwe wykazują wyraźne, inwazyjne wzorce wzrostu i często atakują otaczające tkanki, takie jak nerw twarzowy, skóra i kość. Są również zdolne do odległych przerzutów, co skutkuje gorszą prognozą 4,5.

Niemniej jednak przedoperacyjne rozróżnienie między łagodnymi a złośliwymi guzami przyusznymi pozostaje wyzwaniem diagnostycznym klinicznym. Ze względu na brak specyficznych objawów klinicznych, początkowym objawem większości guzów przyusznych (niezależnie od nowotworu) jest bezbolesna masa, która utrudnia różnicowanie wyłącznie na podstawie objawów 6,7. Chociaż objawy takie jak ból czy paraliż twarzy często są uważane za potencjalne wskaźniki nowotworu, w przypadku wczesnych zmian złośliwych są one rzadkie. Z kolei niektóre łagodne guzy z odpowiedziami zapalnymi mogą wykazywać podobne objawy. Przedoperacyjna ocena guzów przyusznych odbywa się głównie za pomocą badań obrazowych, które stanowią podstawową nieinwazyjną metodę takiej oceny. Należy jednak zauważyć, że każda z tych metod obrazowania ma swoje ograniczenia. Rezonans magnetyczny (MRI) uważany jest za optymalną metodę oceny guza przyusznych ze względu na wyjątkową rozdzielczość tkanek miękkich, a badania wykazały maksymalną dokładność 93% w rozróżnianiu zmian łagodnych od złośliwych8. Jednak konwencjonalne sekwencje wykazują znaczące nakładanie się charakterystyk sygnału9. Tomografia komputerowa jest głównie stosowana do oceny zajęcia kości; jednak jego czułość jest niższa niż w MRI, jeśli chodzi o rozróżnienie guzów łagodnych od złośliwych 10,11. USG jest odpowiednią metodą wstępnej oceny zmian powierzchownych; jednak jego skuteczność zależy od doświadczenia operatora12. PET-CT charakteryzuje się wysoką wrażliwością metaboliczną; Jednak jego wysokie koszty i częstotliwość fałszywie pozytywnych wyników ograniczają jego zastosowanie w początkowej diagnozie, co czyni go bardziej odpowiednim do zaawansowania i monitorowania nowotworów złośliwych. W konsekwencji pojedyncze metody obrazowania często nie są w stanie postawić precyzyjnej diagnozy, a rozróżnienie zmian łagodnych i złośliwych przed operacją zazwyczaj opiera się na kompleksowej analizie informacji multimodalnych.

W ostatnich latach dziedzina sztucznej inteligencji (AI), a szczególnie podzbiór technologii głębokiego uczenia (DL) reprezentowanych przez konwolucyjne sieci neuronowe (CNN), stała się znaczącym czynnikiem postępu w diagnostyce obrazowania nowotworów. Wynika to z potężnych możliwości ekstrakcji cech obrazu i rozpoznawania wzorców, jakie zapewniają te technologie. Modele głębokiego uczenia automatycznie wydobywać złożone, wieloskalowe cechy za pomocą wielowarstwowych sieci neuronowych, co znacząco zmniejsza poleganie na ręcznym projektowaniu cech i jednocześnie zwiększa wydajność diagnostyczną. Znaczna liczba badań potwierdziła ich potencjał w multimodalnym obrazowaniu medycznym. Gu Jionghui i in.13 opracowali multimodalny system głębokiego uczenia integrujący ultrasonografię piersi i rezonans magnetyczny, który skutecznie przewidywał odpowiedź na chemioterapię neoadiuwantacyjną, przewyższając tradycyjne metody. Lu G i in.14 osiągnęli precyzyjne rozróżnienie między łagodnymi a złośliwymi guzami piersi, integrując obrazy ultrasonograficzne, mammografii i MRI ze strategiami transferowego uczenia się, co dało AUC na poziomie 0,947. Horasan A i in.15 przeprowadzili analizę fuzji multiparametrycznego MRI prostaty (mpMRI) z wykorzystaniem 3D CNN z architekturami ResNet i Inception, osiągając dokładność około 91,3%. W obrazowaniu przyusznych Zhang G i in.16 stworzyli model głębokiego uczenia integrujący ultradźwięki i dane kliniczne dotyczące różnicowania łagodnych od złośliwych do nowotworowych; Hu X i Wang H.17 osiągnęli dokładność klasyfikacji na poziomie 92,3% (AUC=0,96) korzystając z modelu aResNet50 opartego na obrazach CT. Zbiorowe dowody z tych badań wskazują na znaczące korzyści płynące z wykorzystania modeli głębokiego uczenia do analizy obrazów guzów przyusznych i innych guzów litych.

Jednak tradycyjne metody głębokiego uczenia często opierają się na rozległych zbiorach danych, aby osiągnąć optymalną wydajność. Rak trzumienki, jako guz o niskiej częstości występowania, posiada stosunkowo ograniczone dane18. Dodatkowo guzy przyuszne wykazują wysoką heterogeniczność obrazowania, charakteryzującą się skomplikowanymi różnicami w natężeniu sygnału, strukturze morfologicznej oraz relacjach z otaczającą tkanką gruczołową. Cechy te obejmują różnorodne skale przestrzenne — na przykład globalną morfologię guza i definicję granic, a także lokalne cechy, takie jak heterogeniczność sygnałów wewnętrznych i wzorce infiltracyjne — co utrudnia pełne wychwycenie kluczowych rozróżnień między łagodnymi a złośliwymi zmianami dla metod ekstrakcji jednoskalowych lub prostych. Ponadto wcześniejsze badania często opierały się na pojedynczych sekwencjach MRI (np. wyłącznie obrazowaniu strukturalnym lub funkcjonalnym), co ogranicza możliwość uzyskania kompleksowych reprezentacji cech guza, jak przedstawiono w wcześniejszych badaniach 19,20.

Aby sprostać tym wyzwaniom, zakładamy, że wielometodalne głębokie uczenie na małej próbce, integrujące wielosekwencyjne MRI oraz wieloskalowy mechanizm uwagi przestrzennej, może skutecznie rozróżnić łagodne i złośliwe guzy przyuszne w warunkach ograniczonych danych oraz przewyższać konwencjonalne podejścia i ocenę radiologów. Konkretnie, ten system wykorzystuje strategię uczeniasię 21 w kilku przypadkach do wyuczania się cech dyskryminacyjnych z ograniczonej liczby reprezentatywnych przypadków łagodnych i złośliwych. Model wykorzystuje mechanizm uwagi przestrzennej, aby skupić się na kluczowych obszarach zmian, co poprawia dokładność w rozróżnianiu guzów przyusznych łagodnych od złośliwych. Model został oceniony na podstawie retrospektywnie zebranej kohorty 198 pacjentów z patologicznie potwierdzonymi guzami przyusznych w naszej instytucji. Badanie integruje sekwencje MRI strukturalne (T1WI, T2WI) oraz funkcjonalne (DWI), aby wspierać informacje morfologiczne i funkcjonalne. Proponowane ramy mają na celu ułatwienie przedoperacyjnego rozróżnienia między łagodnymi a złośliwymi guzami przyusznymi.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wszystkie dane pacjentów użyte w tym badaniu zostały zebrane wyłącznie w Szpitalu Ludowym Wuxi i obejmowały 198 patologicznie potwierdzonych przypadków guza przyusznych. Badanie to zostało zatwierdzone przez Instytucjonalną Radę Przeglądową Szpitala Ludowego Wuxi (IRB nr KY24068) i prowadzonych w pełni zgodnie z wytycznymi instytucjonalnymi i międzynarodowymi standardami etycznymi. Wszystkie dane zostały w pełni zanonimizowane przed analizą.

Pozyskiwanie obrazów MRI

Wszystkie sekwencje MRI (obrazowanie ważone T1, ważone T2 oraz obrazowanie ważone dyfuzją) były wykonywane na skanerze MRI o mocy 3,0 Tesli (Siemens MAGNETOM Verio lub Prisma) przy użyciu 16-kanałowej cewki głowicy i gryfuzji. Parametry akwizycji były następujące: obrazy ważone T1 uzyskano z TR/TE = 500/15 ms, grubość przekroju = 3 mm, matryca = 256 × 256, pole widzenia = 240 mm; Obrazy ważone T2 były wykonywane z TR/TE = 4000/90 ms, grubość przekroju = 3 mm, matryca = 320 × 320, pole widzenia = 240 mm; Uzyskano obrazy ważone dyfuzją z TR/TE = 5000/80 ms, wartościami b = 0 oraz 1000 s/mm2, grubością przekroju = 3 mm, matrycą = 128 × 128, polem widzenia = 240 mm, z automatycznie generowanymi mapami współczynników dyfuzji. Wszystkie sekwencje były rejestrowane w płaszczyźnie osiowej bez przerwy między przecinkami.

Projekt badania

To badanie retrospektywne przeanalizowało dane z rezonansu magnetycznego przedoperacyjnego 198 pacjentów z histologicznie potwierdzonymi pierwotnymi guzami przyusznych (107 łagodnych, 91 złośliwych). Wszyscy pacjenci przeszli pełne badania MRI przyusznych w naszej placówce, w tym obrazowanie ważone T1, T2 oraz sekwencje obrazowania ważone dyfuzją, bez wcześniejszego leczenia zmiany przyusznej. Używaj próbek resekcji chirurgicznej lub biopsji rdzenia jako standardu referencyjnego. Kryteria włączenia obejmowały histologicznie potwierdzony pierwotny guz gruczołu przyusznego, rezonans magnetyczny przedoperacyjny ze wszystkimi wymaganymi sekwencjami dostępnymi w naszej placówce oraz brak wcześniejszych operacji, radioterapii, chemioterapii ani ablacji zmiany przyusznej. Kryteria wykluczające obejmowały przerzutowe guzy do gruczołu przyusznego, istotne artefakty ruchu lub niepełne sekwencje powodujące brak diagnostyki obrazów oraz nawracające guzy po wcześniejszym leczeniu. Cała kohorta składała się ze 118 mężczyzn (59,6%) i 80 kobiet (40,4%) w wieku od 26 do 89 lat (średnia ± SD 53,0 ± 12,8 lat), a cechy demograficzne podzielone według typu guza były następujące: grupa łagodna (n=107) z 59 mężczyznami (55,1%) i 48 kobietami (44,9%), w wieku 28–87 lat (średnia ± SD 54,2 ± 12,1 lat), oraz grupa złośliwa (n=91) z 59 mężczyznami (64,8%) i 32 kobietami (35,2%), w wieku 26–89 lat (średnia ± SD 51,6 ± 13,4 lat); Zastosowano stratyfikowane losowe podejście do podziału 198 pacjentów na zestawy treningowe (70%, n=138), walidacyjne (15%, n=30) i testowe (15%, n=30), przy zachowaniu stosunku łagodnych do złośliwych w wszystkich podzbiorach (zestawy walidacyjne i testowe zawierały po 16 przypadków łagodnych i 14 złośliwych), przy czym podział przeprowadzano na poziomie pacjenta, a nie na poziomie pojedynczego lub na obraz, zapewnienie, że wszystkie zestawy treningowe, walidacyjne i testowe są wzajemnie wyłączne, bez nakładania się pacjentów między nimi, aby zapobiec wycieku danych i umożliwić bezstronną ocenę uogólnialności modelu.

Wstępne przetwarzanie danych

Badanie wdrożyło standaryzowane wstępne przetwarzanie wszystkich obrazów MRI poprzez cztery główne etapy: rejestrację i ponowne próbkowanie obrazów, usuwanie szumu dźwięku, augmentację danych oraz normalizację. Aby zradzić sobie różnice w protokołach MRI i pozycjonowaniu pacjenta, wszystkie objętości T1WI, T2WI i DWI zostały najpierw ściśle zarejestrowane w sekwencji T1WI jako przestrzeni referencyjnej i ponownie próbkowane do izotropowej rozdzielczości 1 mm3 za pomocą interpolacji trójliniowej. Następnie odszumienie wykonano na wszystkich zarejestrowanych woluminach za pomocą algorytmu Non-Local Means (NLM)22, z parametrem wygładzania automatycznie ustawionym na 0,8 razy szacowanego odchylenia standardowego szumu, z oknem wyszukiwania 21×21×21 wokseli oraz oknem podobieństwa 7×7×7 wokseli. To podejście skutecznie redukuje losowe zakłócenia, jednocześnie zachowując ważne szczegóły strukturalne. Następnie, aby zwiększyć efektywną wielkość próbki treningowej, poprawić uogólnienie modeli i zminimalizować naddopasowanie na ograniczonym zbiorze danych, zastosowano wiele strategii augmentacji danych, w tym rotację losową (±15°) i skalowanie losowe (0,9–1,1)23,24, stosowane wyłącznie na obrazach zbioru treningowego w każdej epoce treningowej, przy czym wszystkie transformacje generowano przy użyciu stałego losowego ziarna 42 dla pełnej powtarzalności; Zestawy walidacyjne i testowe pozostały niezaktualizowane, aby zapewnić obiektywną ocenę modelu. Wreszcie, aby wyeliminować systematyczne zmiany intensywności sygnału między różnymi urządzeniami skanującymi i sesjami, zastosowano normalizację Z-score do każdej objętości poprzez odejmowanie średniej i podzielenie przez odchylenie standardowe, po czym znormalizowane wartości pikseli zostały liniowo skalowane do zakresu [0, 1], aby spełnić wymagania wejściowe ramy głębokiego uczenia PyTorch25.

Architektura modelu

Niniejsze badanie proponuje wielomodalne ramy głębokiego uczenia oparte na uczeniu few-shot, które integrują uzupełniające informacje z wielu sekwencji MRI (obrazowanie ważone T1, ważone T2 oraz obrazowanie ważone dyfuzją) oraz wykorzystują wieloskalowy mechanizm uwagi przestrzennej, aby poprawić wydajność reprezentacji i klasyfikacji cech w warunkach ograniczonej próbki. Wszystkie objętości MRI zostały zarejestrowane w płaszczyźnie osiowej na tym samym skanerze; przed wejściem przeszły one ścisłą rejestrację, aby zapewnić przestrzenne wyrównanie między sekwencjami, a jakość wyrównania była weryfikowana ręcznie przez starszego radiologa, a pełne objętości 3D skupione na zmianie przyusznej zostały przycięte do ustandaryzowanego obszaru zainteresowania, ponownie próbkowane do izotropowej rozdzielczości i powielone do jednolitych wymiarów. Łącząc paradygmat uczenia z niewieloma ujęciami, wieloskalowy moduł uwagi przestrzennej oraz fuzję cech międzymodalnych poprzez konkatenację kanałową, ramy odpowiadają na wyzwania związane z uogólnianiem modeli w warunkach ograniczonych do danych i umożliwiają solidne uczenie się cech dyskryminujących z niewielkiej liczby anotowanych próbek, z pełną architekturą zilustrowaną na Rysunku 1. Chociaż zbiór danych obejmuje 198 pacjentów, zastosowano podejście z kilkoma zastrzykami, ponieważ guzy przyuszne wykazują wysoką heterogeniczność obrazowania, a anotyczne dane objętościowe multimodalne pozostają stosunkowo ograniczone względem złożoności zadania, co lepiej symuluje rzeczywiste scenariusze kliniczne przy użyciu rzadkich oznaczonych przykładów; oceniono także konwencjonalne podejście do treningu nadzorowanego do porównania, a zalety konfiguracji z kilkoma strzałami zostały pokazane w badaniach ablacji w sekcji Wyniki. Sieć szkieletowa wykorzystuje R3D-1826 (wariant 3D ResNet-18 z pełnymi konwolucjami przestrzenno-czasowymi), wstępnie wytrenowany na Kinetics-400, jako ekstraktor cech o wspólnej wadze dla każdej sekwencji MRI; Podczas adaptacji wykorzystywana jest prototypowa głowica sieciowa do klasyfikacji few shot, przy czym moduł wieloskalowej uwagi przestrzennej jest wstawiany po etapach konwolucyjnych każdej gałęzi specyficznej dla modalności, a następnie następuje fuzja międzymodalna i wspólny klasyfikator. Nowość proponowanego wieloskalowego mechanizmu uwagi przestrzennej polega na wykorzystaniu równoległych ścieżek splotowych o rozmiarach jąder 1×1, 3×3 i 5×5, gdzie każda ścieżka niezależnie generuje mapę uwagi przestrzennej w innym polu recepcyjnym, która jest następnie normalizowana za pomocą softmax i adaptacyjnie fuzowana z cechami wejściowymi poprzez sumowanie ważone; Ten projekt wyraźnie oddaje cechy zmian na wielu skalach przestrzennych — od drobnych lokalnych szczegółów, takich jak heterogeniczność sygnału wewnętrznego, po szersze struktury kontekstowe, takie jak brzegi guzów i interfejsy z otaczającymi tkankami — i zapewnia lepsze wyniki w porównaniu z konwencjonalnymi modułami uwagi. Strategia precyzyjnego dostrojenia przebiega w dwóch fazach: początkowo wstępnie wytrenowane warstwy szkieletu R3D-18 są zamrażane, aby zachować ogólne reprezentacje przestrzenno-czasowe, podczas gdy trenowane są jedynie moduły uwagi, warstwy fuzji i prototypowa głowa; następnie ostatnie dwa bloki resztkowe (warstwa 3 i warstwa 4) każdego szkieletu są odmrażane, aby umożliwić kompleksową adaptację do specyficznych dla MRI cech objętościowych. Trening przeprowadzono z użyciem optymalizatora Adama z początkową częstotliwością uczenia 0,0001, zmniejszoną o 0,1 razisty co 20 epok poprzez planowanie stopniowego spadku; Model przeszedł 100 epok treningu epizodycznego z partią 8 epizodów (każdy zawierający zestawy wsparcia i zapytań), stosując standardowy protokół FEW-shot w konfiguracji 2-way K-shot (z K=5 podczas podstawowego meta-treningu i oceny); wszystkie eksperymenty przeprowadzano na wysokowydajnym GPU z pamięcią 24 GB, a stały losowy seed 42 GB był stosowany podczas partycjonowania danych, inicjalizacji wagi i augmentacji, aby zapewnić pełną powtarzalność.

Paradygmat zadania uczenia się w kilku shotach dla klasyfikacji guzów gruzolu trzemiennego

Ze względu na ograniczoną dostępność wysokiej jakości danych adnotowanych dla guzów gruczołów przyusznych oraz wysoką heterogeniczność obrazową tych zmian, badanie przyjmuje paradygmat uczenia się kilkukrotnie oparty na metryce, mimo że całkowity zbiór danych obejmuje 198 pacjentów. Struktura zadania zbior–zestaw zapytań jest stosowana do symulacji procesu rozumowania diagnostycznego w praktyce klinicznej, gdzie zazwyczaj dostępna jest tylko niewielka liczba reprezentatywnych przykładów dla rzadkich lub heterogenicznych podtypów nowotworów. Każde zadanie treningowe jest definiowane w formacie K-shot w N-way (N=2, odpowiadające klasyfikacji łagodnych/złośliwych), co pozwala modelu uczyć się dyskryminujących reprezentacji cech z niewielkiej liczby próbek. Konkretnie, dla każdego zadania zestaw wsparcia obejmuje K próbek multimodalnych (obrazowanie ważone T1, obrazowanie ważone T2 oraz obrazowanie ważone dyfuzją) w każdej klasie, aby skonstruować prototypy klas, podczas gdy zestaw zapytań zawiera próbki do klasyfikacji. Model podejmuje decyzje klasyfikacyjne na podstawie metryk odległości, obliczając podobieństwo między cechami próbki zapytań a prototypami klas w przestrzeni osadzenia. Ten mechanizm uczenia się jest godny uwagi ze względu na zdolność do uwolnienia modelu od zależności od dużych danych adnotowanych, co czyni go bardziej odpowiednim do praktycznych zastosowań w klinicznych warunkach o ograniczonym dostępie danych. Dla bezpośredniego porównania, oceniono także konwencjonalne podejście treningowe nadzorowane z pełnym zestawem treningowym bez epizodycznego próbkowania z kilkoma strzałami, a zalety konfiguracji few shot pod względem uogólnienia i stabilności w warunkach ograniczonej próby zostały ilościowo wykazane w badaniach ablacji przedstawionych w sekcji Rezultaty.

W fazie klasyfikacji badanie wykorzystuje prototypową sieć jako klasyfikator. Dla każdej kategorii c w zbiorze podporowym oblicza się p_c wektora prototypowego jako średnią osadzonych próbek podpor:

figure-protocol-1     (1)

gdzie f(·) oznacza funkcję osadzania (ekstraktor figure-protocol-2 cech), jest i-tą próbką wsparcia kategorii c, a K to liczba strzałów na klasę.

Dla danej próby zapytania x prawdopodobieństwo przynależności do kategorii c oblicza się za pomocą funkcji softmax na ujemnych odległościach euklidesowych:

figure-protocol-3     (2)

gdzie d(·, ·) oznacza euklidesową funkcję odległości.

Architektura oparta na wielomodalnej fuzji cech

Aby w pełni wykorzystać komplementarną wartość danych MRI z wieloma sekwencjami, w tym badaniu zaprojektowano trzyodgałęziową sieć fuzji cech, która przetwarza sekwencje obrazowania ważonego T1 (T1WI), T2-ważonego (T2WI) oraz obrazowania z dyfuzją (DWI) oddzielnie. Każda sekwencja najpierw przechodzi ekstrakcję cech przy użyciu modelu R3D-18 o wspólnej wadze, wstępnie wytrenowanego na zbiorze danych Kinetics-400, z wagami uzyskanymi z oficjalnej implementacji PyTorch TorchVision; Podczas adaptacji zastosowano dwustopniową strategię precyzyjnego dostrojenia, w której wszystkie warstwy wstępnie wytrenowanego szkieletu były początkowo utrzymywane w celu zachowania ogólnych reprezentacji przestrzenno-czasowych, podczas gdy trenowano jedynie wieloskalowe moduły przestrzennej uwagi, warstwy fuzji międzymodalnej oraz prototypową głowicę sieci, po czym dwa ostatnie bloki resztkowe (warstwa 3 i warstwa 4) każdego szkieletu zostały odmrożone w celu end-to-end adaptacji do specyficznych dla MRI cech wolumetrycznych, przy czym wcześniejsze warstwy (warstwa 1 i warstwa 2) pozostają zamrożone przez cały czas treningu. Sieć ta wykorzystuje trójwymiarowe jądra splotowe przesuwające się przez wymiary przestrzenne i czasowe, aby skutecznie rejestrować morfologię wolumetryczną guza oraz informacje kontekstowe przestrzenne. Podczas fuzji cech stosuje się strategię cross-modal opartą na konkatenacjach, w której reprezentacje cech zwiększone przez uwagę z trzech modalności są łączone wzdłuż wymiaru kanału, tworząc kompleksowy multimodalny wektor cech. To podejście fuzyjne zachowuje unikalne informacje każdej metody—anatomiczną klarowność T1WI, wrażliwość tkanek T2WI oraz funkcjonalność gęstości komórkowej DWI—jednocześnie osiągając efektywną komplementarność informacji diagnostycznych, co znacząco zwiększa bogactwo ekspresji cech i moc dyskryminacyjną.

Mechanizm Wieloskalowej Uwagi Przestrzennej

Badanie to obejmuje wieloskalowy moduł uwagi przestrzennej, aby uchwycić cechy zmian na różnych skalach przestrzennych. Jak pokazano na Rysunku 2, moduł wykorzystuje równoległe ścieżki splotowe o rozmiarach jąder 1×1, 3×3 i 5×5. Każda ścieżka niezależnie generuje mapę uwagi przestrzennej, która jest normalizowana za pomocą softmax, a następnie adaptacyjnie fuzowana z cechami wejściowymi poprzez sumowanie ważone. Taki projekt pozwala modelowi skupić się na obszarach bardziej istotnych dla rozróżnienia zmian łagodnych od złośliwych, jednocześnie ograniczając wpływ nieistotnych obszarów tła. Powstałe w ten sposób mapy uwagi mogą pomóc wyróżnić interesujące obszary na zdjęciach.

DOSTĘPNOŚĆ DANYCH:

Reprezentatywny podzbiór w pełni zanonimizowanych sekwencji multimodalnych MRI (T1WI, T2WI, DWI) z kohorty badawczej jest publicznie dostępny w repozytorium Zenodo pod adresem: https://doi.org/10.5281/zenodo.17744149 (wersja v1). Dane te są udostępniane na licencji Creative Commons Attribution 4.0 International (CC-BY 4.0) bez ograniczeń dostępu. Kompletny zbiór danych zanonimizowany nie jest jeszcze publicznie dostępny i zostanie udostępniony w kolejnej wersji repozytorium po formalnej publikacji tego manuskryptu, pod warunkiem uzyskania zatwierdzenia instytucjonalnego i etycznego.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Przegląd wydajności modelu

Aby ocenić wydajność diagnostyczną modelu, zastosowano zestaw standardowych metryk, w tym dokładność, precyzję, przypomnienie oraz wynik F1. W konfiguracji dwukierunkowej z 5 strzałami, multimodalny model uczenia się kilkukrotnych oparty na R3D-18 uzyskał następujące wyniki w zestawie testowym do klasyfikacji guzów przyusznych: dokładność 96,88%, precyzja 97,50%, przywołanie 96,88% oraz wynik F1 96,83%. Macierz pomyłek pokazana na

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W tym badaniu wysunęliśmy hipotezę, że multimodalny framework głębokiego uczenia z kilkoma ujęciami, integrujący multisekwencyjne MRI (obrazowanie ważone T1, T2 i dyfuzyjne) z wieloskalowym mechanizmem uwagi przestrzennej, może precyzyjnie rozróżnić łagodne i złośliwe guzy przyusznych w ograniczonych warunkach adnotowanych danych i przewyższać zarówno konwencjonalne metody głębokiego uczenia, jak i doświadczonych radiologów.

Wyniki eksperymentalne silnie potwierdzają tę hipotezę. Na niezależny...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy deklarują brak konkurujących interesów finansowych ani niefinansowych.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badania te zostały sfinansowane przez Narodową Fundację Nauk Przyrodniczych Chin (nr 82473200), kluczowy projekt badawczy Komisji Zdrowia Prowincji Jiangsu (nr K2023061) oraz projekt Komisji Zdrowia Prowincji Jiangsu dotyczący zdrowia osób starszych (KLM2023019) dla YJH

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25Deweloperzy NumPyhttps://numpy.org/
Pandas 2.1Deweloperzy Pandashttps://pandas.pydata.org/
PycharmJetBrainshttps://www.jetbrains.com/zh-cn/pycharm/
Python 3.10Python Software Foundationhttps://www.python.org/
PyTorch 2.1Meta Platforms, Inc.https://pytorch.org/
SCIKIT-Learn 1.3Scikit-learn Developershttps://scikit-learn.org/
SHAPhttps://github.com/slundberg/shap
System rezonansu magnetycznego Siemens MAGNETOM Prisma 3.0TSiemens Healthineershttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Multimodal Deep LearningFew Shot LearningParotid Gland TumorsMRI DiagnosisSpatial AttentionTumor ClassificationBenign Malignant DifferentiationPrecision DiagnosisSmall Sample LearningClinical Decision Support

Powiązane artykuły