Obecny protokół opisuje nowatorski algorytm wykrywania istotnych obiektów. Wykorzystuje głębokie sieci neuronowe w celu zwiększenia precyzji wykrywania istotnych obiektów w skomplikowanych kontekstach środowiskowych.
Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.
Artykuł metodologiczny
Kompleksowa głęboka sieć neuronowa do wykrywania istotnych obiektów w złożonych środowiskach
W tym artykule
Podsumowanie
Streszczenie
Wykrywanie istotnych obiektów stało się rosnącym obszarem zainteresowania w dziedzinie widzenia komputerowego. Jednak dominujące algorytmy wykazują zmniejszoną precyzję, gdy mają za zadanie wykrywanie istotnych obiektów w skomplikowanych i wieloaspektowych środowiskach. W świetle tego palącego problemu, w niniejszym artykule przedstawiono kompleksową głęboką sieć neuronową, której celem jest wykrywanie istotnych obiektów w złożonych środowiskach. W badaniu przedstawiono kompleksową głęboką sieć neuronową, której celem jest wykrywanie istotnych obiektów w złożonych środowiskach. Proponowana sieć, składająca się z dwóch powiązanych ze sobą komponentów, a mianowicie wieloskalowej sieci konwolucyjnej na poziomie pikseli oraz głębokiej sieci kodera-dekodera, integruje semantykę kontekstową w celu uzyskania kontrastu wizualnego na wieloskalowych mapach obiektów, wykorzystując jednocześnie głębokie i płytkie cechy obrazu w celu poprawy dokładności identyfikacji granic obiektów. Integracja w pełni połączonego modelu warunkowego pola losowego (CRF) dodatkowo zwiększa spójność przestrzenną i wyznaczanie konturów na istotnych mapach. Proponowany algorytm jest szeroko oceniany pod kątem 10 współczesnych algorytmów w bazach danych SOD i ECSSD. Wyniki oceny pokazują, że proponowany algorytm przewyższa inne podejścia pod względem precyzji i dokładności, potwierdzając tym samym jego skuteczność w wykrywaniu istotnych obiektów w złożonych środowiskach.
Wprowadzenie
Detekcja istotnych obiektów naśladuje ludzką uwagę wizualną, szybko identyfikując kluczowe obszary obrazu przy jednoczesnym tłumieniu informacji tła. Technika ta jest powszechnie wykorzystywana jako narzędzie wstępnego przetwarzania w zadaniach takich jak kadrowanie obrazów1, segmentacja semantyczna2 oraz edycja obrazów3. Usprawnia ona procesy takie jak wymiana tła i ekstrakcja pierwszego planu, zwiększając efektywność i precyzję edycji. Ponadto wspomaga segmentację semantyczną poprzez poprawę lokalizacji celu. Potencjał detekcji istotnych obiektów w zakresie zwiększania wydajności obliczeniowej i oszczędzania pamięci podkreśla jej istotne perspektywy badawcze i aplikacyjne.
Na przestrzeni lat detekcja obiektów istotnych ewoluowała od początkowych algorytmów tradycyjnych do włączania algorytmów głębokiego uczenia. Celem tych udoskonaleń było zmniejszenie różnicy między detekcją obiektów istotnych a ludzkimi mechanizmami wizualnymi. Doprowadziło to do zastosowania modeli głębokich sieci konwolucyjnych w badaniach nad detekcją obiektów istotnych. Borji i wsp.4 podsumowali i uogólnili większość klasycznych algorytmów tradycyjnych, które opierają się na cechach podstawowych obrazu. Pomimo pewnej poprawy dokładności detekcji, doświadczenie manualne i poznawcze nadal stanowią wyzwania dla detekcji obiektów istotnych w złożonych środowiskach.
Wykorzystanie konwolucyjnych sieci neuronowych (CNN) jest powszechne w dziedzinie detekcji istotnych obiektów. W tym kontekście głębokie konwolucyjne sieci neuronowe są wykorzystywane do aktualizacji wag poprzez autonomiczne uczenie. Sieci konwolucyjne są stosowane do ekstrakcji semantyki kontekstowej z obrazów za pomocą kaskadowych warstw konwolucyjnych i warstw próbkowania (pooling), co umożliwia naukę złożonych cech obrazu na wyższych poziomach, które charakteryzują się większą zdolnością dyskryminacyjną i opisową w detekcji istotnych obiektów w różnych środowiskach.
W 2016 roku w pełni splotowe sieci neuronowe5 zyskały znaczną popularność jako powszechne podejście do detekcji istotnych obiektów, na podstawie którego badacze rozpoczęli detekcję istotnych obiektów na poziomie pikseli. Wiele modeli buduje się zazwyczaj w oparciu o istniejące sieci (np. VGG166, ResNet7), mając na celu ulepszenie reprezentacji obrazu i wzmocnienie efektu detekcji krawędzi.
Liu i wsp.8 wykorzystali wcześniej wytrenowaną sieć neuronową jako strukturę do globalnego obliczania obrazu, a następnie dopracowali granice obiektów za pomocą sieci hierarchicznej. Połączenie tych dwóch sieci tworzy końcową głęboką sieć istotności (saliency network). Osiągnięto to poprzez wielokrotne wprowadzanie do sieci wcześniej uzyskanej mapy istotności jako wiedzy a priori. Zhang i wsp.9 skutecznie połączyli semantyczne i przestrzenne informacje obrazu, wykorzystując głębokie sieci z dwukierunkowym przesyłem informacji odpowiednio z warstw płytkich do głębokich oraz z głębokich do płytkich. Detekcję obiektów istotnych z wykorzystaniem głębokiego modelu wspólnego uczenia (mutual learning) zaproponowali Wu i wsp.10. Model ten wykorzystuje informacje o pierwszym planie i krawędziach w ramach splotowej sieci neuronowej w celu usprawnienia procesu detekcji. Li i wsp.11 zastosowali „algorytm dziury” (hole algorithm) w sieciach neuronowych, aby rozwiązać problem ustalania pól recepcyjnych różnych warstw w głębokich sieciach neuronowych w kontekście detekcji obiektów istotnych. Jednak do pozyskiwania krawędzi obiektów zastosowano segmentację superpikseli, co znacznie zwiększyło nakłady obliczeniowe i czas obliczeń. Ren i wsp.12 opracowali wieloskalową sieć koder-dekoder do detekcji obiektów istotnych i wykorzystali splotowe sieci neuronowe do efektywnego łączenia cech głębokich i płytkich. Choć dzięki temu podejściu rozwiązano problem rozmycia granic w detekcji obiektów, wieloskalowa fuzja informacji nieuchronnie prowadzi do zwiększonych wymagań obliczeniowych.
Przegląd literatury13 proponuje podsumowanie detekcji istotności, od metod tradycyjnych po metody głębokiego uczenia, dzięki czemu ewolucja detekcji celu istotnego od jej początków do ery głębokiego uczenia jest bardzo wyraźna. W literaturze14 zaproponowano różne modele detekcji istotnych obiektów oparte na RGB-D, wykazujące wysoką wydajność. Powyższe opracowania przeglądają i klasyfikują różne rodzaje algorytmów detekcji istotnych obiektów oraz opisują scenariusze ich zastosowania, wykorzystywane bazy danych i metryki oceny. Artykuł ten dostarcza również jakościowej i ilościowej analizy zaproponowanych algorytmów w odniesieniu do sugerowanych baz danych i metryk oceny.
Wszystkie powyższe algorytmy osiągnęły znakomite wyniki w publicznych bazach danych, stanowiąc podstawę dla detekcji obiektów wyróżniających się (salient object detection) w złożonych środowiskach. Mimo licznych osiągnięć badawczych w tej dziedzinie, zarówno w kraju, jak i za granicą, wciąż istnieją kwestie wymagające rozwiązania. (1) Tradycyjne algorytmy niewymagające głębokiego uczenia mają tendencję do niskiej dokładności ze względu na poleganie na cechach etykietowanych ręcznie, takich jak kolor, tekstura i częstotliwość, które mogą być łatwo podatne na subiektywne doświadczenia i percepcję. W konsekwencji precyzja ich możliwości detekcji obiektów wyróżniających się jest ograniczona. Wykrywanie obiektów wyróżniających się w złożonych środowiskach przy użyciu tradycyjnych algorytmów bez głębokiego uczenia jest trudne ze względu na problemy z obsługą skomplikowanych scenariuszy. (2) Konwencjonalne metody detekcji obiektów wyróżniających się wykazują ograniczoną dokładność z powodu zależności od cech etykietowanych ręcznie, takich jak kolor, tekstura i częstotliwość. Ponadto detekcja na poziomie regionów może być kosztowna obliczeniowo, często pomija spójność przestrzenną i ma tendencję do słabego wykrywania granic obiektów. Problemy te muszą zostać rozwiązane, aby zwiększyć precyzję detekcji obiektów wyróżniających się. (3) Detekcja obiektów wyróżniających się w zawiłych środowiskach stanowi wyzwanie dla większości algorytmów. Większość algorytmów detekcji obiektów wyróżniających się napotyka poważne trudności ze względu na coraz bardziej złożone środowiska detekcji z zmiennym tłem (podobne kolory tła i pierwszego planu, złożone tekstury tła itp.), wiele niepewności, takich jak niespójne rozmiary obiektów detekcji, oraz niejasną definicję krawędzi pierwszego planu i tła.
Większość obecnych algorytmów wykazuje niską dokładność w wykrywaniu obiektów istotnych w złożonych środowiskach o podobnych kolorach tła i pierwszego planu, złożonych teksturach tła oraz rozmytych krawędziach. Chociaż obecne algorytmy wykrywania obiektów istotnych oparte na głębokim uczeniu wykazują wyższą dokładność niż tradycyjne metody detekcji, wykorzystywane przez nie podstawowe cechy obrazu wciąż nie pozwalają na efektywne charakteryzowanie cech semantycznych, co pozostawia pole do poprawy ich wydajności.
Podsumowując, w niniejszym badaniu zaproponowano end-to-end głęboką sieć neuronową dla algorytmu detekcji najbardziej wyróżniających się obiektów (salient object detection), mającą na celu zwiększenie dokładności detekcji w złożonych środowiskach, poprawę krawędzi obiektów oraz lepszą charakterystykę cech semantycznych. Wkład tej pracy przedstawia się następująco: (1) Pierwsza sieć wykorzystuje VGG16 jako sieć bazową, w której zmodyfikowano pięć warstw pulingu przy użyciu „algorytmu dziur” (hole algorithm)11. Wieloskalowa w pełni splotowa sieć neuronowa na poziomie pikseli uczy się cech obrazu z różnych skal przestrzennych, rozwiązując problem statycznych pól recepcyjnych w różnych warstwach głębokich sieci neuronowych i zwiększając dokładność detekcji w kluczowych obszarach zainteresowania w danej dziedzinie. (2) Ostatnie wysiłki zmierzające do poprawy dokładności detekcji najbardziej wyróżniających się obiektów koncentrowały się na wykorzystaniu głębszych sieci neuronowych, takich jak VGG16, w celu ekstrakcji zarówno cech głębokich z sieci kodera, jak i cech płytkich z sieci dekodera. Podejście to skutecznie zwiększa dokładność detekcji granic obiektów i poprawia informacje semantyczne, szczególnie w złożonych środowiskach o zmiennym tle, niespójnych rozmiarach obiektów i niewyraźnych granicach między pierwszym planem a tłem. (3) Niedawne próby zwiększenia precyzji detekcji najbardziej wyróżniających się obiektów kładły nacisk na stosowanie głębszych sieci, w tym VGG16, do ekstrakcji cech głębokich z sieci kodera i cech płytkich z sieci dekodera. Podejście to wykazało poprawę w wykrywaniu granic obiektów oraz bogatsze informacje semantyczne, zwłaszcza w złożonych środowiskach z różnorodnym tłem, rozmiarami obiektów i nieostrymi granicami między pierwszym planem a tłem. Ponadto zaimplementowano integrację z w pełni połączonym modelem warunkowego pola losowego (CRF), aby zwiększyć spójność przestrzenną i precyzję konturów map istotności. Skuteczność tego podejścia została oceniona na zbiorach danych SOD i ECSSD ze złożonym tłem i uznana za statystycznie istotną.
Pokrewne prace
Fu i wsp.15 zaproponowali zintegrowane podejście wykorzystujące RGB i głębokie uczenie do detekcji obiektów istotnych. Lai i wsp.16 wprowadzili model z niewielkim nadzorem do detekcji obiektów istotnych, uczący się istotności z adnotacji, głównie z wykorzystaniem etykiet typu „scribble” w celu skrócenia czasu adnotacji. Chociaż algorytmy te zaprezentowały fuzję dwóch komplementarnych sieci do detekcji obiektów istotnych, brakuje w nich pogłębionych badań nad detekcją istotności w złożonych scenariuszach. Wang i wsp.17 zaprojektowali dwumodułową iteracyjną fuzję cech sieci neuronowych, zarówno oddolną (bottom-up), jak i odgórną (top-down), sukcesywnie optymalizując wyniki poprzedniej iteracji aż do osiągnięcia zbieżności. Zhang i wsp.18 skutecznie połączyli semantyczne i przestrzenne informacje obrazu, wykorzystując głębokie sieci z dwukierunkowym transferem informacji odpowiednio z warstw płytkich do głębokich i z głębokich do płytkich. Detekcja obiektów istotnych z wykorzystaniem głębokiego modelu wspólnego uczenia została zaproponowana przez Wu i wsp.19. Model ten wykorzystuje informacje o pierwszym planie i krawędziach w ramach konwolucyjnej sieci neuronowej, aby usprawnić proces detekcji. Modele detekcji obiektów istotnych oparte na głębokich sieciach neuronowych osiągnęły niezwykłe wyniki w publicznie dostępnych zbiorach danych, umożliwiając detekcję obiektów istotnych w złożonych scenach naturalnych. Niemniej jednak projektowanie jeszcze doskonalszych modeli pozostaje ważnym celem w tej dziedzinie badawczej i stanowi główną motywację niniejszego badania.
Ogólny schemat
Schematyczna reprezentacja proponowanego modelu, przedstawiona na Rysunku 1, wywodzi się głównie z architektury VGG16, włączając w siebie zarówno wieloskalową w pełni splotową sieć neuronową na poziomie pikseli (DCL), jak i głęboką sieć typu enkoder-dekoder (DEDN). Model eliminuje wszystkie końcowe warstwy pulingu oraz warstwy w pełni połączone sieci VGG16, przyjmując wymiary obrazu wejściowego W × H. Mechanizm działania polega na wstępnym przetwarzaniu obrazu wejściowego przez DCL w celu ekstrakcji cech głębokich, podczas gdy cechy płytkie są pozyskiwane z sieci DEDN. Połączone cechy są następnie poddawane działaniu modelu w pełni połączonego warunkowego pola losowego (CRF), co zwiększa spójność przestrzenną i dokładność konturów generowanych map istotności.
Aby potwierdzić skuteczność modelu, poddano go testom i walidacji na zestawach danych SOD20 oraz ECSSD21 o złożonym tle. Po przejściu obrazu wejściowego przez DCL uzyskiwane są mapy cech o różnych skalach z różnymi polami recepcyjnymi, a następnie łączone jest znaczenie kontekstowe w celu wygenerowania mapy istotności o wymiarach W × H z koherencją międzywymiarową. DCL wykorzystuje parę warstw splotowych z jądrami 7 x 7, aby zastąpić ostatnią warstwę poolingu w oryginalnej sieci VGG16, co zwiększa zachowanie informacji przestrzennych w mapach cech. Dzięki temu, w połączeniu ze znaczeniem kontekstowym, powstaje mapa istotności W × H z koherencją międzywymiarową. Podobnie Głęboka Sieć Enkodera-Dekodera (DEDN) wykorzystuje warstwy splotowe z jądrami 3 x 3 w dekoderach oraz pojedynczą warstwę splotową po ostatnim module dekodowania. Wykorzystując cechy głębokie i płytkie obrazu, możliwe jest wygenerowanie mapy istotności o wymiarze przestrzennym W × H, co pozwala rozwiązać problem niewyraźnych granic obiektów. W badaniu opisano pionierską technikę detekcji istotnych obiektów, która łączy modele DCL i DEDN w jedną zunifikowaną sieć. Wagi tych dwóch głębokich sieci są wyuczane w procesie treningowym, a uzyskane mapy istotności są łączone, a następnie dopracowywane przy użyciu w pełni połączonego Warunkowego Pola Losowego (CRF). Głównym celem tej rafinacji jest poprawa spójności przestrzennej oraz lokalizacji konturów.
Wieloskalowa w pełni splotowa sieć neuronowa na poziomie piksela
Architektura VGG16 pierwotnie składała się z pięciu warstw uśredniających (pooling), z których każda miała krok wynoszący 2. Każda warstwa uśredniająca kompresuje rozmiar obrazu w celu zwiększenia liczby kanałów, co pozwala na uzyskanie większej ilości informacji kontekstowych. Model DCL jest inspirowany literaturą13 i stanowi udoskonalenie struktury VGG16. W niniejszym artykule zastosowano model DCL na poziomie piksela11, przedstawiony na Rysunku 2 w obrębie architektury VGG16, będącej głęboką splotową siecią neuronową. Pierwsze cztery warstwy maksymalnego uśredniania (max pooling) są połączone z trzema jądrami splotowymi. Pierwsze jądro ma rozmiar 3 × 3 × 128, drugie 1 × 1 × 128, a trzecie 1 × 1 × 1. Aby uzyskać jednolity rozmiar map cech po pierwszych czterech warstwach uśredniających połączonych z trzema jądrami, gdzie każdy rozmiar odpowiada jednej ósmej oryginalnego obrazu, wielkość kroku pierwszego jądra połączonego z tymi czterema największymi warstwami uśredniającymi ustawiono odpowiednio na 4, 2, 1 i 1.
Aby zachować oryginalne pole recepcyjne w różnych jądrach, do zwiększenia rozmiaru jądra poprzez dodawanie zer stosuje się zaproponowany w literaturze „algorytm dziur” (hole algorithm)11, co pozwala na zachowanie integralności jądra. Te cztery mapy cech są połączone z pierwszym jądrem przy zastosowaniu różnych wielkości kroku. W rezultacie mapy cech wytworzone w końcowym etapie posiadają identyczne wymiary. Cztery mapy cech stanowią zestaw cech wieloskalowych uzyskanych z różnych skal, z których każda reprezentuje inne rozmiary pól recepcyjnych. Mapy cech otrzymane z czterech warstw pośrednich są łączone (konkatenowane) z końcową mapą cech pochodzącą z VGG16, co generuje wyjście 5-kanałowe. Następnie wynik ten jest poddawany działaniu jądra 1 × 1 × 1 z funkcją aktywacji sigmoid, co w efekcie daje mapę istotności (o rozdzielczości stanowiącej jedną ósmą rozdzielczości oryginalnego obrazu). Obraz jest następnie zwiększany (up-sampled) i powiększany przy użyciu interpolacji biliniowej, aby zapewnić, że wynikowy obraz, nazywany mapą istotności (saliency map), zachowuje rozdzielczość identyczną z obrazem początkowym.
Głęboka sieć typu koder-dekoder
Podobnie, jako sieć szkieletowa wykorzystano sieć VGG16. VGG16 charakteryzuje się niewielką liczbą kanałów map cech na płytkich poziomach przy wysokiej rozdzielczości oraz dużą liczbą kanałów map cech na poziomach głębokich przy niskiej rozdzielczości. Warstwy pulingu i podpróbkowania zwiększają szybkość obliczeniową głębokiej sieci kosztem zmniejszenia rozdzielczości map cech. Aby rozwiązać ten problem, zgodnie z analizą w literaturze14, sieć kodera służy do modyfikacji pełnej łączności ostatniej warstwy pulingu w oryginalnej sieci VGG16. Modyfikacja ta polega na zastąpieniu jej dwiema warstwami splotowymi z jądrami 7 × 7 (większe jądra splotowe zwiększają pole recepcyjne). Oba jądra splotowe są wyposażone w operację normalizacji (BN) oraz zmodyfikowaną jednostkę liniową (ReLU). Taka korekta pozwala uzyskać mapę cech wyjściowych kodera, która lepiej zachowuje informacje o przestrzeni obrazu.
Podczas gdy enkoder poprawia semantykę obrazu na wysokim poziomie dla globalnej lokalizacji obiektów wyróżniających się, problem rozmycia krawędzi takiego obiektu nie zostaje skutecznie rozwiązany. Aby zapobiec temu problemowi, cechy głębokie są łączone z cechami płytkimi, w oparciu o prace nad detekcją krawędzi12, co doprowadziło do zaproponowania modelu sieci enkoder-dekoder (DEDN), przedstawionego na Rysunku 3. Architektura enkodera składa się z trzech jąder połączonych z początkowymi czterema, natomiast dekoder systematycznie zwiększa rozdzielczość mapy cech, wykorzystując wartości maksymalne pobrane z warstw maksymalnego próbkowania (max pooling).
W tej innowacyjnej metodologii detekcji obiektów wyróżniających się, w fazie dekodera wykorzystuje się warstwę splotową z jądrem 3 × 3 w połączeniu z warstwą normalizacji wsadowej oraz dostosowaną jednostką liniową. Na zakończenie ostatniego modułu dekodowania w architekturze dekodera stosuje się jednokanałową warstwę splotową w celu uzyskania mapy istotności o wymiarach przestrzennych W × H. Mapa istotności jest generowana poprzez fuzję kooperacyjną modelu enkoder-dekoder, dostarczającą wynik, oraz fuzję komplementarną dwóch elementów, tj. fuzję komplementarną informacji głębokich i płytkich. Pozwala to nie tylko na dokładną lokalizację obiektu wyróżniającego się i zwiększenie pola recepcyjnego, ale także na skuteczne zachowanie szczegółowych informacji obrazu i wzmocnienie krawędzi obiektu wyróżniającego się.
Mechanizm integracji
Architektura koderen składa się z trzech jąder, które są powiązane z czterema początkowymi warstwami maksymalnego poolingu modelu VGG16. W przeciwieństwie do niego, dekoder został celowo sformułowany tak, aby progresywnie zwiększać rozdzielczość map cech uzyskanych z warstw upsamplingu poprzez wykorzystanie maksymalnych wartości pobranych z odpowiadających im warstw poolingu. W dekoderze zastosowano następnie warstwę konwolucyjną z jądrem 3 x 3, warstwę normalizacji batch oraz zmodyfikowaną jednostkę liniową, po których następuje jednokanałowa warstwa konwolucyjna w celu wygenerowania mapy istotności o wymiarach W × H. Wagi obu głębokich sieci są uczone poprzez naprzemienne cykle treningowe. Parametry pierwszej sieci pozostały stałe, podczas gdy parametry drugiej sieci były trenowane przez łącznie pięćdziesiąt cykli. W trakcie tego procesu wagi mapy istotności (S1 oraz S2) wykorzystywane do fuzji są aktualizowane za pomocą losowego gradientu. Funkcja straty11 przyjmuje postać:
(1)
W podanym wyrażeniu symbol G reprezentuje wartość etykietowaną ręcznie, natomiast W oznacza pełny zestaw parametrów sieci. Waga βi służy jako czynnik równoważący do regulacji proporcji pikseli istotnych względem pikseli nieistotnych w procesie obliczeniowym.
Obraz I charakteryzuje trzy parametry: |I|, |I|- oraz |I|+, które reprezentują odpowiednio całkowitą liczbę pikseli, liczbę pikseli nieistotnych oraz liczbę pikseli istotnych. 
Ponieważ mapy istotności uzyskane z powyższych dwóch sieci nie uwzględniają spójności sąsiadujących pikseli, w celu poprawy spójności przestrzennej zastosowano w pełni połączony model doprecyzowania istotności na poziomie pikseli CRF15. Równanie energii11 przedstawia się następująco, rozwiązując problem binarnego etykietowania pikseli.
(2)
gdzie L oznacza etykietę binarną (wartość istotna lub wartość nieistotna) przypisaną do wszystkich pikseli. Zmienna P(li) oznacza prawdopodobieństwo, że dany piksel xi otrzyma konkretną etykietę li, co wskazuje na prawdopodobieństwo, że piksel xi jest istotny. Na początku P(1) = Si oraz P(0) = 1 - Si, gdzie Si oznacza wartość istotności w pikselu xi w ramach zfuzjonowanej mapy istotności S. θi,j(li,lj) to potencjał parowy, zdefiniowany w następujący sposób.
(3)
Wśród nich, jeśli li ≠ lj, to μ(li,lj) = 1, w przeciwnym razie μ(li,lj) = 0. Obliczanie θi,j obejmuje wykorzystanie dwóch jąder, gdzie pierwsze jądro zależy zarówno od pozycji piksela P, jak i jego intensywności I. W rezultacie piksele o podobnych kolorach wykazują zbliżone wartości istotności (saliency values). Dwa parametry, σα oraz σβ, regulują stopień, w jakim podobieństwo kolorystyczne i bliskość przestrzenna wpływają na wynik. Celem drugiego jądra jest wyeliminowanie izolowanych małych obszarów. Minimalizacja energii jest osiągana poprzez filtrowanie wielowymiarowe, co przyspiesza pole średnie rozkładu warunkowego pola losowego (Conditional Random Field, CRF). Po obliczeniach mapa istotności oznaczona jako Scrf wykazuje zwiększoną spójność przestrzenną i lepsze obrysowanie wykrytych obiektów istotnych.
Konfiguracje eksperymentalne
W niniejszym artykule, z wykorzystaniem języka Python, skonstruowano głęboką sieć do detekcji istotnych obiektów (salient target detection) opartą na sieci neuronowej VGG16. Zaproponowany model porównano z innymi metodami przy użyciu zbiorów danych SOD20 oraz ECSSD21. Baza obrazów SOD jest znana z kompleksowego i zagraconego tła, podobieństwa kolorystycznego między pierwszym planem a tłem oraz niewielkich rozmiarów obiektów. Każdemu obrazowi w tym zbiorze przypisano ręcznie etykietowaną wartość rzeczywistą w celu ilościowej i jakościowej oceny wydajności. Z kolei zbiór ECSSD składa się głównie z obrazów pochodzących z Internetu, przedstawiających bardziej złożone i realistyczne sceny naturalne o niskim kontraście między tłem obrazu a istotnymi obiektami.
Wskaźniki oceny wykorzystane do porównania modelu w niniejszej pracy obejmują powszechnie stosowaną krzywą Precision-Recall, Fβ oraz EMAE. Aby ilościowo ocenić przewidywaną mapę istotności, zastosowano krzywą Precision-Recall (P-R)22, zmieniając próg binaryzacji mapy istotności w zakresie od 0 do 255. Fβ jest kompleksową metryką oceny, obliczaną na podstawie równań precyzji i pełności wyprowadzonych z zbinaryzowanej mapy istotności oraz mapy wartości rzeczywistych.
(4)
gdzie β jest parametrem wagowym służącym do dostrojenia precyzji i pełności, przy ustawieniu β2 = 0,3. Obliczenie EMAE jest równoważne obliczeniu średniego błędu bezwzględnego między wynikową mapą istotności a mapą wzorcową (ground truth), zgodnie z poniższym wyrażeniem matematycznym:
(5)
Niech Ts (u,v) oznacza wyekstrahowaną wartość pikseli (u,v) mapy istotności, a TG (u,v) oznacza odpowiadającą im wartość pikseli (u,v) mapy prawdziwej.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Protokół
1. Konfiguracja i procedura eksperymentalna
- Załaduj wstępnie wytrenowany model VGG16.
UWAGA: Pierwszym krokiem jest załadowanie wstępnie wytrenowanego modelu VGG16 z biblioteki Keras6.- Aby załadować wstępnie wytrenowany model VGG16 w języku Python przy użyciu popularnych bibliotek uczenia głębokiego, takich jak PyTorch (zobacz tabelę materiałów), wykonaj następujące ogólne kroki:
- Importuj pochodnię. Zaimportuj torchvision.models jako modele.
- Załaduj wstępnie wytrenowany model VGG16. vgg16_model = models.vgg16(pretrained=True).
- Upewnij się, że podsumowanie modelu VGG16 to "print(vgg16_model)".
- Aby załadować wstępnie wytrenowany model VGG16 w języku Python przy użyciu popularnych bibliotek uczenia głębokiego, takich jak PyTorch (zobacz tabelę materiałów), wykonaj następujące ogólne kroki:
- Zdefiniuj modele DCL i DEDN.
- W przypadku pseudokodu algorytmu DCL podaj dane wejściowe: zestaw danych obrazu SOD i dane wyjściowe: wytrenowany model DCL.
- Zainicjuj model DCL z siecią szkieletową VGG16.
- Wstępnie przetwórz zestaw danych obrazu D (np. zmiana rozmiaru, normalizacja).
- Podziel zestaw danych na zestawy trenowania i walidacji.
- Zdefiniuj funkcję straty do trenowania modelu DCL (np. binarna entropia krzyżowa).
- Ustaw hiperparametry trenowania: współczynnik uczenia się (0,0001), liczba ustawionych epok trenowania (50), rozmiar partii to (8), optymalizator (Adam).
- Trenowanie modelu DCL: dla każdej epoki w zdefiniowanej liczbie epok wykonaj dla każdej partii w zestawie treningowym. Wprowadź następujące informacje:
- Przekazywanie do przodu: Przekazywanie obrazów wsadowych do modelu DCL. Oblicz stratę, korzystając z przewidywanych map istotności i map prawdy podstawowej.
- Przejście do tyłu: Zaktualizuj parametry modelu przy użyciu końca spadku gradientu. Obliczanie straty walidacji i innych metryk oceny na końcu zestawu walidacji.
- Zapisz wytrenowany model DCL.
- Zwróć wytrenowany model DCL.
- W przypadku pseudokodu dla algorytmu DEDN dane wejściowe: zestaw danych obrazu (X), mapy istotności prawdy podstawowej (Y), liczba iteracji trenowania (N).
- W przypadku sieci kodera upewnij się, że koder jest oparty na szkielecie VGG16 z modyfikacjami (jak wspomniano poniżej).
UWAGA: encoder_input = Wejście(kształt=input_shape)
encoder_conv1 = Conv2D(64, (3, 3), activation='relu', padding='same')(encoder_input)
encoder_pool1 = MaxPooling2D((2, 2))(encoder_conv1)
encoder_conv2 = Conv2D(128, (3, 3), activation='relu', padding='same')(encoder_pool1)
encoder_pool2 = MaxPooling2D((2, 2))(encoder_conv2)
encoder_conv3 = Conv2D(256, (3, 3), activation='relu', padding='same')(encoder_pool2)
encoder_pool3 = MaxPooling2D((2, 2))(encoder_conv3) - W przypadku sieci dekodera upewnij się, że dekoder jest oparty na szkielecie VGG16 z modyfikacjami (jak wspomniano poniżej).
UWAGA: decoder_conv1 = Conv2D(256, (3, 3), activation='relu', padding='same')(encoder_pool3)
decoder_upsample1 = UpSampling2D((2, 2))(decoder_conv1)
decoder_conv2 = Conv2D(128, (3, 3), activation='relu', padding='same')(decoder_upsample1)
decoder_upsample2 = UpSampling2D((2, 2))(decoder_conv2)
decoder_conv3 = Conv2D(64, (3, 3), activation='relu', padding='same')(decoder_upsample2)
decoder_upsample3 = UpSampling2D((2, 2))(decoder_conv3)
decoder_output = Conv2D(1, (1, 1), activation='sigmoid', padding='same')(decoder_upsample3)
- W przypadku sieci kodera upewnij się, że koder jest oparty na szkielecie VGG16 z modyfikacjami (jak wspomniano poniżej).
- Zdefiniuj model DEDN. model = Model (dane wejściowe = encoder_input, wyjścia = decoder_output).
- Skompiluj model. model.compile (optymalizator = adam, strata = binary_crossentropy).
- Wybierz pętlę treningową.
UWAGA: Dla iteracji w zakresie (N): # Losowo wybierz partię obrazów i map prawdy podstawowej; batch_X, batch_Y = randomly_select_batch(X, Y, batch_size).- Trenowanie modelu w partii. strata = model.train_on_batch(batch_X, batch_Y). Wydrukuj stratę do monitorowania.
- Zapisz wytrenowany model. model.save ('dedn_model.h5').
- W przypadku pseudokodu algorytmu DCL podaj dane wejściowe: zestaw danych obrazu SOD i dane wyjściowe: wytrenowany model DCL.
- mieszać.
- Połącz dane wyjściowe sieci DCL i DEDN i udoskonal mapę istotności przy użyciu w pełni połączonego modelu warunkowego pola losowego (CRF).
2. Przetwarzanie obrazu
- Kliknij uruchom kod, aby wyświetlić interfejs GUI (Rysunek 4).
- Kliknij otwarty obraz, aby wybrać ścieżkę, a tym samym obraz, który ma zostać wykryty.
- Kliknij wyświetlany obraz, aby wyświetlić obraz, który został wybrany do wykrycia.
- Kliknij rozpocznij wykrywanie, aby wykryć wybrany obraz.
UWAGA: Wynik wykrywania pojawi się wraz z wykrytym obrazem, tj. wynikiem istotnego obiektu (Rysunek 5). - Kliknij wybierz ścieżkę zapisu, aby zapisać wyniki obrazu wykrywania istotnego obiektu.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wyniki
Niniejsze badanie wprowadza kompleksową głęboką sieć neuronową składającą się z dwóch komplementarnych sieci: wieloskalowej w pełni konwolucyjnej sieci na poziomie pikseli oraz głębokiej sieci typu enkoder-dekoder. Pierwsza sieć integruje semantykę kontekstową w celu wyprowadzenia kontrastów wizualnych z wieloskalowych map cech, rozwiązując problem stałych pól recepcyjnych w głębokich sieciach neuronowych w różnych warstwach. Druga sieć wykorzystuje zarówno głębokie, jak i płytkie cechy obrazu, aby złagodzić problem rozm...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dyskusja
W artykule przedstawiono kompleksową głęboką sieć neuronową zaprojektowaną specjalnie do wykrywania istotnych obiektów w złożonych środowiskach. Sieć składa się z dwóch połączonych ze sobą komponentów: wieloskalowej sieci konwolucyjnej (DCL) na poziomie pikseli oraz sieci głębokiego kodera i dekodera (DEDN). Komponenty te działają synergicznie, włączając semantykę kontekstową w celu generowania kontrastów wizualnych na wieloskalowych mapach obiektów. Ponadto wykorzystują zarówno głębokie, jak i płytkie cechy obrazu, aby ...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Oświadczenia
Autorzy nie mają nic do ujawnienia.
Podziękowania
Ta praca jest wspierana przez 2024 Henan Provincial Higher Education Institutions Key Scientific Research Project Funding Program Establishment (Numer projektu:24A520053). Badanie to jest również wspierane przez Specjalistyczny Kurs Demonstracyjny Tworzenia i Integracji w Prowincji Henan.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Matlab | MathWorks | Matlab R2016a | Interfejs programistyczny MATLAB zapewnia narzędzia programistyczne poprawiające jakość kodu, łatwość konserwacji i maksymalizujące wydajność. Zapewnia narzędzia do tworzenia aplikacji przy użyciu niestandardowych interfejsów graficznych. Zapewnia narzędzia do łączenia algorytmów opartych na MATLAB z zewnętrznymi aplikacjami i językami |
| Procesor | Intel | Intel(R) Core(TM) i5-1135G7 @ 2,40 GHz | 64-bitowy Win11 11. generacji |
| Pycharm | JetBrains | PyCharm 3.0 | PyCharm to IDE Pythona (zintegrowane środowisko programistyczne) lista wymaganych python: modulesmatplotlib skimage torch os time pydensecrf opencv glob PIL torchvision numpy tkinter |
| PyTorch | PyTorch 1.4 | PyTorch to biblioteka uczenia maszynowego Python o otwartym kodzie źródłowym oparta na Torch , używana do przetwarzania języka naturalnego i innych aplikacji. PyTorch może być postrzegany zarówno jako dodatek obsługa GPU numpy , ale może być również postrzegany jako potężna głęboka sieć neuronowa z automatycznymi pochodnymi . |
Bibliografia
- Wang, W. G., Shen, J. B., Ling, H. B. A deep network solution for attention and aesthetics aware photo cropping. IEEE Transactions on Pattern Analysis and Machine Intelligence. 41 (7), 1531-1544 (2018).
- Wang, W. G., Sun, G. L., Gool, L. V. Looking beyond single images for weakly supervised semantic segmentation learning. IEEE Transactions on Pattern Analysis and Machine. , (2022).
- Mei, H. L., et al. Exploring dense context for salient object detection. IEEE Transactions on Circuits and Systems for Video Technology. 32 (3), 1378-1389 (2021).
- Borji, A., Itti, L. State-of-the-art in visual attention modeling. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (1), 185-207 (2012).
- Fully convolutional networks for semantic segmentation. Long, J., Shelhamer, E., Darrell, T. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 3431-3440 (2015).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. arXiv preprint. , 1409-1556 (2014).
- Deep residual learning for image recognition. He, K., Zhang, X., Ren, S., Sun, J. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 770-778 (2016).
- Dhsnet: Deep hierarchical saliency network for salient object detection. Liu, N., Han, J. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 678-686 (2016).
- A bi-directional message passing model for salient object detection. Zhang, L., Dai, J., Lu, H., He, Y., Wang, G. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 1741-1750 (2018).
- Wu, R., et al. A mutual learning method for salient object detection with intertwined multi-supervision. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 8150-8159 (2019).
- Deep contrast learning for salient object detection. Li, G., Yu, Y. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 478-487 (2019).
- Ren, Q., Hu, R. Multi-scale deep encoder-decoder network for salient object detection. Neurocomputing. 316, 95-104 (2018).
- Wang, W. G., et al. Salient object detection in the deep learning era: An in-depth survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. 44 (6), 3239-3259 (2021).
- Zhou, T., et al. RGB-D salient object detection: A survey. Computational Visual Media. 7, 37-69 (2021).
- Fu, K., et al. Siamese network for RGB-D salient object detection and beyond. IEEE Transactions on Pattern Analysis and Machine Intelligence. 44 (9), 5541-5559 (2021).
- Lai, Q., et al. Weakly supervised visual saliency prediction. IEEE Transactions on Image Processing. 31, 3111-3124 (2022).
- A bi-directional message passing model for salient object detection. Zhang, L., Dai, J., Lu, H., He, Y., Wang, G. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 1741-1750 (2018).
- A mutual learning method for salient object detection with intertwined multi-supervision. Wu, R. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 8150-8159 (2019).
- Wang, W., Shen, J., Dong, X., Borji, A., Yang, R. Inferring salient objects from human fixations. IEEE Transactions on Pattern Analysis and Machine Intelligence. 42 (8), 1913-1927 (2019).
- Design and perceptual validation of performance measures for salient object segmentation. Movahedi, V., Elder, J. H. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, , 49-56 (2010).
- Shi, J., Yan, Q., Xu, L., Jia, J. Hierarchical image saliency detection on extended CSSD. IEEE Transactions on Pattern Analysis and Machine Intelligence. 38 (4), 717-729 (2015).
- Frequency-tuned salient region detection. Achanta, R., Hemami, S., Estrada, F., Susstrunk, S. 2009 IEEE Conference on Computer Vision and Pattern Recognition, , 1597-1604 (2009).
- Saliency detection via graph-based manifold ranking. Yang, C., Zhang, L., Lu, H., Ruan, X., Yang, M. H. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 3166-3173 (2013).
- Wei, Y., et al. Geodesic saliency using background priors. Computer Vision-ECCV 2012. , Springer. Berlin Heidelberg. 29-42 (2012).
- What makes a patch distinct. Margolin, R., Tal, A., Zelnik-Manor, L. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 1139-1146 (2013).
- Saliency filters: Contrast based filtering for salient region detection. Perazzi, F., Krähenbühl, P., Pritch, Y., Hornung, A. 2012 IEEE Conference on Computer Vision and Pattern Recognition, , 733-740 (2012).
- Hou, X., Harel, J., Koch, C. Image signature: Highlighting sparse salient regions. IEEE Transactions on Pattern Analysis and Machine Intelligence. 34 (1), 194-201 (2011).
- Salient object detection: A discriminative regional feature integration approach. Jiang, H., et al. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 2083-2090 (2013).
- Visual saliency based on multiscale deep features. Li, G., Yu, Y. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 5455-5463 (2015).
- Deep saliency with encoded low level distance map and high-level features. Lee, G., Tai, Y. W., Kim, J. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 660-668 (2016).
- Dhsnet: Deep hierarchical saliency network for salient object detection. Liu, N., Han, J. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, , 678-686 (2016).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Przedruki i uprawnienia
