Kompleksowa głęboka sieć neuronowa do wykrywania istotnych obiektów w złożonych środowiskach

Podsumowanie

Obecny protokół opisuje nowatorski algorytm wykrywania istotnych obiektów. Wykorzystuje głębokie sieci neuronowe w celu zwiększenia precyzji wykrywania istotnych obiektów w skomplikowanych kontekstach środowiskowych.

Streszczenie

Wykrywanie istotnych obiektów stało się rosnącym obszarem zainteresowania w dziedzinie widzenia komputerowego. Jednak dominujące algorytmy wykazują zmniejszoną precyzję, gdy mają za zadanie wykrywanie istotnych obiektów w skomplikowanych i wieloaspektowych środowiskach. W świetle tego palącego problemu, w niniejszym artykule przedstawiono kompleksową głęboką sieć neuronową, której celem jest wykrywanie istotnych obiektów w złożonych środowiskach. W badaniu przedstawiono kompleksową głęboką sieć neuronową, której celem jest wykrywanie istotnych obiektów w złożonych środowiskach. Proponowana sieć, składająca się z dwóch powiązanych ze sobą komponentów, a mianowicie wieloskalowej sieci konwolucyjnej na poziomie pikseli oraz głębokiej sieci kodera-dekodera, integruje semantykę kontekstową w celu uzyskania kontrastu wizualnego na wieloskalowych mapach obiektów, wykorzystując jednocześnie głębokie i płytkie cechy obrazu w celu poprawy dokładności identyfikacji granic obiektów. Integracja w pełni połączonego modelu warunkowego pola losowego (CRF) dodatkowo zwiększa spójność przestrzenną i wyznaczanie konturów na istotnych mapach. Proponowany algorytm jest szeroko oceniany pod kątem 10 współczesnych algorytmów w bazach danych SOD i ECSSD. Wyniki oceny pokazują, że proponowany algorytm przewyższa inne podejścia pod względem precyzji i dokładności, potwierdzając tym samym jego skuteczność w wykrywaniu istotnych obiektów w złożonych środowiskach.

Wprowadzenie

Wykrywanie istotnych obiektów naśladuje ludzką uwagę wzrokową, szybko identyfikując kluczowe obszary obrazu, jednocześnie tłumiąc informacje tła. Technika ta jest szeroko stosowana jako narzędzie do wstępnego przetwarzania w zadaniach takich jak przycinanie obrazów¹, segmentacja semantyczna² i edycja obrazu³. Usprawnia zadania, takie jak zastępowanie tła i wyodrębnianie pierwszego planu, poprawiając wydajność i precyzję edycji. Dodatkowo pomaga w segmentacji semantycznej poprzez poprawę lokalizacji docelowej. Potencjał wykrywania istotnych obiektów w zakresie zwiększenia wydajności obliczeniowej i oszczędzania pamięci podkreśla znaczące perspektywy badawcze i aplikacyjne tego systemu.

Z biegiem lat, wykrywanie istotnych obiektów ewoluowało od początkowych tradycyjnych algorytmów do włączania algorytmów głębokiego uczenia. Celem tych postępów było zmniejszenie luki między wykrywaniem istotnych obiektów a ludzkimi mechanizmami wizualnymi. Doprowadziło to do przyjęcia głębokich modeli sieci konwolucyjnych do badania wykrywania istotnych obiektów. Borji et al.⁴ podsumowali i uogólnili większość klasycznych tradycyjnych algorytmów, które opierają się na podstawowych cechach obrazu. Pomimo pewnej poprawy dokładności wykrywania, doświadczenie manualne i funkcje poznawcze nadal stanowią wyzwanie dla wykrywania istotnych obiektów w złożonych środowiskach.

Korzystanie z konwolucyjnych sieci neuronowych (CNN) jest powszechne w dziedzinie wykrywania istotnych obiektów. W tym kontekście głębokie konwolucyjne sieci neuronowe są wykorzystywane do aktualizacji wagi poprzez autonomiczne uczenie się. Konwolucyjne sieci neuronowe zostały wykorzystane do wyodrębnienia semantyki kontekstowej z obrazów poprzez wykorzystanie kaskadowych warstw konwolucyjnych i pulujących, umożliwiając uczenie się złożonych cech obrazu na wyższych poziomach, które mają większą zdolność rozróżniania i charakteryzowania w celu wykrywania istotnych obiektów w różnych środowiskach.

W 2016 roku, w pełni konwolucyjne sieci neuronowe⁵ zyskały znaczącą popularność jako popularne podejście do wykrywania istotnych obiektów, na podstawie którego badacze rozpoczęli wykrywanie istotnych obiektów na poziomie pikseli. Wiele modeli jest zwykle budowanych w istniejących sieciach (np. VGG16⁶, ResNet⁷), mających na celu poprawę reprezentacji obrazu i wzmocnienie efektu wykrywania krawędzi.

Liu et al.⁸ wykorzystali już wytrenowaną sieć neuronową jako ramy do globalnego obliczenia obrazu, a następnie udoskonalili granicę obiektu za pomocą sieci hierarchicznej. Połączenie tych dwóch sieci tworzy ostateczną sieć głębokiej istotności. Osiągnięto to poprzez wprowadzenie do sieci wcześniej zdobytej mapy istotnej jako wcześniejszej wiedzy w powtarzalny sposób. Zhang et al.⁹ skutecznie połączyli semantyczne i przestrzenne informacje obrazowe za pomocą głębokich sieci z dwukierunkowym transferem informacji odpowiednio z płytkich warstw do głębokich i z głębokich do płytkich. Wykrywanie istotnych obiektów za pomocą modelu głębokiego wzajemnego uczenia się zostało zaproponowane przez Wu et al.¹⁰. Model wykorzystuje informacje na pierwszym planie i na krawędzi w konwolucyjnej sieci neuronowej, aby ułatwić proces wykrywania. Li et al.¹¹ wykorzystali "algorytm" sieci neuronowych, aby sprostać wyzwaniu, jakim było naprawienie pól recepcyjnych różnych warstw w głębokich sieciach neuronowych w kontekście wykrywania istotnych obiektów. Jednak segmentacja superpikseli jest wykorzystywana do akwizycji krawędzi obiektu, co znacznie zwiększa wysiłek obliczeniowy i czas obliczeń. Ren i in.¹² opracowali wieloskalową sieć kodera-dekodera do wykrywania istotnych obiektów i wykorzystali konwolucyjne sieci neuronowe do skutecznego łączenia głębokich i płytkich cech. Chociaż problem zacierania granic w wykrywaniu obiektów został rozwiązany dzięki takiemu podejściu, wieloskalowa fuzja informacji nieuchronnie prowadzi do zwiększonych wymagań obliczeniowych.

Przegląd literatury¹³ proponuje, aby podsumować wykrywanie istotności, od tradycyjnych metod do metod głębokiego uczenia, a ewolucję wykrywania celów istotności od jej początków do ery głębokiego uczenia można zobaczyć bardzo wyraźnie. W literaturze zaproponowano różne modele wykrywania obiektów istotnych oparte na RGB-D o dobrej wydajności¹⁴. Powyższa literatura zawiera przegląd i klasyfikację różnych typów algorytmów wykrywania obiektów istotności oraz opisuje scenariusze ich zastosowań, wykorzystywane bazy danych i metryki oceny. W artykule przedstawiono również analizę jakościową i ilościową proponowanych algorytmów pod kątem sugerowanych przez nie baz danych i metryk oceny.

Wszystkie powyższe algorytmy uzyskały niezwykłe wyniki w publicznych bazach danych, stanowiąc podstawę do wykrywania istotnych obiektów w złożonych środowiskach. Chociaż zarówno w kraju, jak i za granicą istnieje wiele osiągnięć badawczych w tej dziedzinie, nadal istnieją pewne kwestie, którymi należy się zająć. (1) Tradycyjne algorytmy bez głębokiego uczenia mają zwykle niską dokładność ze względu na ich zależność od ręcznie oznaczanych cech, takich jak kolor, tekstura i częstotliwość, na które łatwo wpływa subiektywne doświadczenie i percepcja. W związku z tym zmniejsza się precyzja ich istotnych możliwości wykrywania obiektów. Wykrywanie istotnych obiektów w złożonych środowiskach przy użyciu tradycyjnych algorytmów nieopartych na uczeniu głębokim jest trudne ze względu na ich trudności w obsłudze skomplikowanych scenariuszy. (2) Konwencjonalne metody wykrywania istotnych obiektów wykazują ograniczoną dokładność ze względu na ich zależność od ręcznie oznaczonych cech, takich jak kolor, tekstura i częstotliwość. Ponadto wykrywanie na poziomie regionu może być kosztowne obliczeniowo, często ignoruje spójność przestrzenną i ma tendencję do słabego wykrywania granic obiektów. Problemy te należy rozwiązać, aby zwiększyć precyzję wykrywania istotnych obiektów. (3) Wykrywanie istotnych obiektów w skomplikowanych środowiskach stanowi wyzwanie dla większości algorytmów. Większość algorytmów wykrywania istotnych obiektów stoi przed poważnymi wyzwaniami ze względu na coraz bardziej złożone środowisko wykrywania istotnych obiektów ze zmiennym tłem (podobne kolory tła i pierwszego planu, złożone tekstury tła itp.), wieloma niepewnościami, takimi jak niespójne rozmiary wykrywanych obiektów oraz niejasna definicja pierwszego planu i krawędzi tła.

Większość obecnych algorytmów wykazuje niską dokładność w wykrywaniu istotnych obiektów w skomplikowanych środowiskach o podobnych kolorach tła i pierwszego planu, skomplikowanych teksturach tła i rozmytych krawędziach. Chociaż obecne algorytmy obiektów istotient oparte na głębokim uczeniu wykazują wyższą dokładność niż tradycyjne metody wykrywania, wykorzystywane przez nie podstawowe cechy obrazu nadal nie są w stanie skutecznie scharakteryzować cech semantycznych, pozostawiając miejsce na poprawę ich wydajności.

Podsumowując, to badanie proponuje kompleksową głęboką sieć neuronową dla algorytmu wykrywania istotnych obiektów, mającą na celu zwiększenie dokładności wykrywania istotnych obiektów w złożonych środowiskach, poprawę krawędzi celu i lepsze scharakteryzowanie cech semantycznych. Wkład tego artykułu jest następujący: (1) Pierwsza sieć wykorzystuje VGG16 jako sieć podstawową i modyfikuje swoje pięć warstw pulowania za pomocą algorytmu 'hole'¹¹. Wieloskalowa, w pełni konwolucyjna sieć neuronowa na poziomie pikseli uczy się cech obrazu z różnych skal przestrzennych, rozwiązując problem statycznych pól recepcyjnych w różnych warstwach głębokich sieci neuronowych i zwiększając dokładność wykrywania w istotnych obszarach ostrości w terenie. (2) Niedawne wysiłki mające na celu poprawę dokładności wykrywania istotnych obiektów skupiły się na wykorzystaniu głębszych sieci neuronowych, takich jak VGG16, do wyodrębnienia zarówno cech głębi z sieci kodera, jak i płytkich cech z sieci dekodera. Takie podejście skutecznie zwiększa dokładność wykrywania granic obiektów i poprawia informacje semantyczne, szczególnie w złożonych środowiskach ze zmiennym tłem, niespójnymi rozmiarami obiektów i niewyraźnymi granicami między pierwszym planem a tłem. (3) Niedawne wysiłki mające na celu zwiększenie precyzji wykrywania istotnych obiektów położyły nacisk na wykorzystanie głębszych sieci, w tym VGG16, do wyodrębniania głębokich cech z sieci kodera i płytkich cech z sieci dekodera. Podejście to wykazało lepsze wykrywanie granic obiektów i większą ilość informacji semantycznych, zwłaszcza w złożonych środowiskach o różnym tle, rozmiarach obiektów i niewyraźnych granicach między pierwszym planem a tłem. Ponadto wdrożono integrację w pełni połączonego modelu warunkowego pola losowego (CRF) w celu zwiększenia spójności przestrzennej i precyzji konturów map istotnych. Skuteczność tego podejścia oceniono na zbiorach danych SOD i ECSSD o złożonym tle i stwierdzono, że jest ona statystycznie istotna.

Related work<br /> Fu et al.¹⁵ zaproponowali wspólne podejście wykorzystujące RGB i głębokie uczenie do wykrywania istotnych obiektów. Lai et al.¹⁶ wprowadzili słabo nadzorowany model wykrywania istotnych obiektów, ucząc się istotności na podstawie adnotacji, głównie wykorzystując etykiety bazgrołów w celu zaoszczędzenia czasu adnotacji. Chociaż algorytmy te stanowiły połączenie dwóch uzupełniających się sieci do wykrywania obiektów istotności, brakuje im dogłębnych badań nad wykrywaniem istotności w złożonych scenariuszach. Wang i in.¹⁷ zaprojektowali dwutrybową iteracyjną fuzję cech sieci neuronowej, zarówno od dołu do góry, jak i od góry do dołu, stopniowo optymalizując wyniki poprzedniej iteracji, aż do konwergencji. Zhang et al.¹⁸ skutecznie połączyli semantyczne i przestrzenne informacje obrazowe za pomocą głębokich sieci z dwukierunkowym transferem informacji odpowiednio z płytkich warstw do głębokich i z głębokich do płytkich. Wykrywanie istotnych obiektów za pomocą modelu głębokiego wzajemnego uczenia się zostało zaproponowane przez Wu et al.¹⁹. Model wykorzystuje informacje na pierwszym planie i na krawędzi w konwolucyjnej sieci neuronowej, aby ułatwić proces wykrywania. Te oparte na głębokich sieciach neuronowych modele wykrywania istotnych obiektów osiągnęły niezwykłą wydajność na publicznie dostępnych zestawach danych, umożliwiając wykrywanie istotnych obiektów w złożonych scenach naturalnych. Niemniej jednak projektowanie jeszcze bardziej zaawansowanych modeli pozostaje ważnym celem w tej dziedzinie badań i służy jako główna motywacja dla tych badań.

Ogólne ramy
Schematyczna reprezentacja proponowanego modelu, przedstawiona w Rysunek 1, wywodzi się głównie z architektury VGG16, obejmującej zarówno wieloskalową, w pełni konwolucyjną sieć neuronową (DCL) na poziomie pikseli, jak i głęboką sieć kodera-dekodera (DEDN). Model eliminuje wszystkie końcowe pule i w pełni połączone warstwy VGG16, jednocześnie dostosowując wymiary obrazu wejściowego od szer. × wys. Mechanizm operacyjny polega na wstępnym przetwarzaniu obrazu wejściowego za pośrednictwem DCL, co ułatwia ekstrakcję głębokich cech, podczas gdy płytkie cechy są uzyskiwane z sieci DEDN. Połączenie tych cech jest następnie poddawane w pełni połączonemu modelowi warunkowego pola losowego (CRF), który zwiększa spójność przestrzenną i dokładność konturów tworzonych map istotności.

Aby potwierdzić skuteczność modelu, został on poddany testom i walidacji na zestawach danych SOD²⁰ i ECSSD²¹ z zawiłymi tłami. Po przejściu obrazu wejściowego przez DCL uzyskuje się różne mapy cech skali z różnymi polami recepcyjnymi, a semantyka kontekstowa jest łączona w celu uzyskania istotnej mapy W × H ze spójnością międzywymiarową. DCL wykorzystuje parę warstw konwolucyjnych z jądrami 7 x 7 w celu zastąpienia końcowej warstwy puli oryginalnej sieci VGG16, zwiększając zachowanie informacji przestrzennych na mapach obiektów. To, w połączeniu z semantyką kontekstową, tworzy istotną mapę W × H ze spójnością międzywymiarową. Podobnie, Deep Encoder-Decoder Network (DEDN) wykorzystuje warstwy konwolucyjne z 3 x 3 jądrami w dekoderach i pojedynczą warstwą konwolucyjną po ostatnim module dekodującym. Wykorzystując głębokie i płytkie cechy obrazu, możliwe jest wygenerowanie wyraźnej mapy o wymiarze przestrzennym W × H, rozwiązując problem niewyraźnych granic obiektów. W badaniu opisano pionierską technikę wykrywania istotnych obiektów, która łączy modele DCL i DEDN w zunifikowaną sieć. Wagi tych dwóch głębokich sieci są uczone w procesie trenowania, a wynikowe mapy istotności są łączone, a następnie udoskonalane przy użyciu w pełni połączonego warunkowego pola losowego (CRF). Głównym celem tego udoskonalenia jest poprawa spójności przestrzennej i lokalizacji konturów.

Wieloskalowa, w pełni konwolucyjna sieć neuronowa na poziomie pikseli
Architektura VGG16 pierwotnie składała się z pięciu warstw poolingu, z których każda miała krok 2. Każda warstwa puli kompresuje rozmiar obrazu, aby zwiększyć liczbę kanałów, uzyskując bardziej kontekstowe informacje. Model DCL jest inspirowany literature¹³ i stanowi ulepszenie struktury VGG16. W tym artykule użyto modelu DCL na poziomie piksela¹¹, jak pokazano w Rysunek 2 w architekturze VGG16, głębokiej konwolucyjnej sieci neuronowej. Początkowe cztery maksymalne warstwy puli są połączone trzema jądrami. Pierwsze jądro to 3 × 3 × 128; drugie jądro to 1 × 1 × 128; a trzecie jądro to 1 × 1 × 1. Aby uzyskać jednolity rozmiar map obiektów po początkowych czterech warstwach puli połączonych z trzema jądrami, przy czym każdy rozmiar jest równoważny jednej ósmej oryginalnego obrazu, rozmiar kroku pierwszego jądra połączonego z tymi czterema największymi warstwami puli jest ustawiony odpowiednio na 4, 2, 1 i 1.

Aby zachować oryginalne pole receptywne w różnych jądrach, "algorytm" proponowany w literaturze¹¹ służy do zwiększania rozmiaru jądra poprzez dodawanie zer, zachowując w ten sposób integralność jądra. Te cztery mapy funkcji są połączone z pierwszym jądrem o różnych rozmiarach kroków. W związku z tym mapy cech wykonane w końcowym etapie mają identyczne wymiary. Cztery mapy cech stanowią zestaw wieloskalowych cech uzyskanych z różnych skal, z których każda reprezentuje różne rozmiary pól recepcyjnych. Wynikowe mapy cech uzyskane z czterech warstw pośrednich są łączone z ostateczną mapą cech pochodzącą z VGG16, generując w ten sposób 5-kanałowe wyjście. Powstały w ten sposób wynik jest następnie poddawany działaniu jądra 1 × 1 × 1 z funkcją aktywacji sigmoidalnej, ostatecznie tworząc istotną mapę (z rozdzielczością jednej ósmej oryginalnego obrazu). Obraz jest próbkowany w górę i powiększany przy użyciu interpolacji dwuliniowej, dzięki czemu wynikowy obraz, określany jako mapa istotności, zachowuje identyczną rozdzielczość jak obraz początkowy.

Sieć głębokiego kodera-dekodera
Podobnie sieć VGG16 jest wykorzystywana jako sieć szkieletowa. VGG16 charakteryzuje się małą liczbą płytkich kanałów map obiektów, ale wysoką rozdzielczością i dużą liczbą głębokich kanałów obiektów, ale niską rozdzielczością. Łączenie warstw i próbkowanie w dół zwiększają szybkość obliczeniową głębokiej sieci kosztem zmniejszenia rozdzielczości mapy obiektów. Aby rozwiązać ten problem, po analizie w literaturze¹⁴, sieć kodera jest używana do modyfikowania pełnej łączności ostatniej warstwy puli w oryginalnym VGG16. Modyfikacja ta polega na zastąpieniu go dwiema warstwami konwolucyjnymi z 7 × 7 jądrami (większe jądra konwolucyjne zwiększają pole recepcyjne). Oba jądra konwolucyjne są wyposażone w operację normalizacji (BN) i zmodyfikowaną jednostkę liniową (ReLU). To dopasowanie powoduje, że mapa obiektów wyjściowych kodera lepiej zachowuje informacje o przestrzeni obrazu.

Podczas gdy koder poprawia wysokopoziomową semantykę obrazu dla globalnej lokalizacji istotnych obiektów, problem zacierania granic jego istotnego obiektu nie jest skutecznie rozwiązany. Aby rozwiązać ten problem, głębokie funkcje zostały połączone z płytkimi elementami, zainspirowanymi pracą wykrywania krawędzi¹², proponując model sieci kodera-dekodera (DEDN), jak pokazano w Rysunek 3. Architektura kodera składa się z trzech jąder połączonych ze sobą początkowymi czterema, podczas gdy dekoder systematycznie zwiększa rozdzielczość mapy cech przy użyciu maksymalnych wartości pobranych z maksymalnych warstw puli.

W tej innowacyjnej metodologii wykrywania istotnych obiektów, podczas fazy dekodera, warstwa konwolucyjna z jądrem 3 × 3 jest wykorzystywana w połączeniu z warstwą normalizacji partii i dostosowaną jednostką liniową. Na zakończenie końcowego modułu dekodującego w architekturze dekodera, warstwa konwolucyjna pojedynczego kanału jest wykorzystywana do uzyskania istotnej mapy wymiarów przestrzennych W × H. Najistotniejsza mapa jest generowana przez wspólne połączenie modelu kodera-dekodera, co daje wynik, oraz komplementarną fuzję dwóch, tj. komplementarną fuzję głębokich informacji i płytkich informacji. W ten sposób nie tylko osiąga się dokładną lokalizację istotnego obiektu i zwiększa pole recepcyjne, ale także skutecznie zachowuje szczegółowe informacje o obrazie i wzmacnia granicę istotnego obiektu.

Mechanizm integracji
Architektura kodera składa się z trzech jąder, które są powiązane z początkowymi czterema maksymalnymi warstwami puli modelu VGG16. W przeciwieństwie do tego, dekoder został celowo opracowany w celu stopniowego zwiększania rozdzielczości map obiektów uzyskanych z warstw próbkowania w górę poprzez wykorzystanie maksymalnych wartości uzyskanych z odpowiednich warstw puli. Warstwa konwolucyjna wykorzystująca jądro 3 x 3, warstwę normalizacji wsadowej i zmodyfikowaną jednostkę liniową są następnie wykorzystywane w dekoderze, a następnie jednokanałowa warstwa konwolucyjna w celu wygenerowania istotnej mapy wymiarów W × H. Wagi dwóch głębokich sieci są uczone poprzez naprzemienne cykle treningowe. Parametry pierwszej sieci były utrzymywane na stałym poziomie, podczas gdy parametry drugiej sieci były trenowane łącznie przez pięćdziesiąt cykli. Podczas tego procesu wagi mapy istotności (^S1 i ^S2) używanej do fuzji są aktualizowane za pomocą losowego gradientu. Funkcja straty¹¹ to:

(1)

W podanym wyrażeniu symbol G reprezentuje ręcznie oznaczoną wartość, podczas gdy W oznacza pełny zestaw parametrów sieci. Waga _{β i} służy jako czynnik równoważący do regulowania proporcji istotnych pikseli w stosunku do nieistotnych pikseli w procesie obliczeń.

Obraz I charakteryzuje się trzema parametrami: |I|, |I|_- oraz |I|₊, które reprezentują odpowiednio łączną liczbę pikseli, liczbę nieistotnych pikseli i liczbę istotnych pikseli.

Ponieważ najważniejsze mapy uzyskane z powyższych dwóch sieci nie uwzględniają spójności sąsiednich pikseli, w pełni połączony model udoskonalania istotności na poziomie pikseli CRF¹⁵ jest używany do poprawy spójności przestrzennej. Równanie energii¹¹ jest następujące, rozwiązując problem etykietowania pikseli binarnych.

(2)

gdzie L oznacza binarną etykietę (wartość istotną lub nieistotną) przypisaną do wszystkich pikseli. Zmienna P(l_i) oznacza prawdopodobieństwo, że danemu pikselowi x_i zostanie przypisana określona etykieta l_i, wskazując na prawdopodobieństwo, że piksel x_i jest istotny. Na początku P(1) = S_i i P(0) = 1 - S_i, gdzie S_i oznacza wartość istotności w pikselu x_i w obrębie stopionej mapy istotności S. θ_i,j(l_{i,l j}) jest potencjałem par, zdefiniowanym w następujący sposób.

(3)

Wśród nich, jeśli l_i ≠ l_j, to μ(l_{i,l j}) = 1, w przeciwnym razie μ(l_{i,l j}) = 0. Obliczanie θ_i,j polega na wykorzystaniu dwóch jąder, gdzie początkowe jądro zależy zarówno od położenia piksela P, jak i intensywności piksela I. Powoduje to bliskość pikseli o podobnych kolorach wykazujących porównywalne wartości istotności. Dwa parametry, σ_α i σ_β, regulują stopień, w jakim podobieństwo kolorów i bliskość przestrzenna wpływają na wynik. Celem drugiego jądra jest wyeliminowanie izolowanych małych regionów. Minimalizacja energii jest osiągana poprzez filtrowanie wielowymiarowe, które przyspiesza średnie pole rozkładu warunkowego pola losowego (CRF). Po obliczeniach mapa istotna oznaczona jako S_crf wykazuje zwiększoną spójność przestrzenną i kontur w odniesieniu do wykrytych istotnych obiektów.

Konfiguracje eksperymentalne
W tym artykule przy użyciu języka Python skonstruowano głęboką sieć do wykrywania istotnych celów w oparciu o sieć neuronową VGG16. Proponowany model jest porównywany z innymi metodami wykorzystującymi zestawy danych SOD²⁰ i ECSSD²¹. Baza danych obrazów SOD jest znana ze złożonych i zagraconych teł, podobieństwa kolorów między pierwszym planem a tłem oraz małych rozmiarów obiektów. Każdemu obrazowi w tym zestawie danych przypisywana jest ręcznie oznaczona wartość true zarówno dla ilościowej, jak i jakościowej oceny wydajności. Z drugiej strony, zestaw danych ECSSD składa się głównie z obrazów pochodzących z Internetu, przedstawiających bardziej złożone i realistyczne naturalne sceny o niskim kontraście między tłem obrazu a widocznymi obiektami.

Indeksy oceny używane do porównania modelu w tym artykule obejmują powszechnie używaną krzywą Precyzja-Zapamiętanie, F_β i E_MAE. Aby ilościowo ocenić przewidywaną mapę istotności, stosuje się krzywą Precyzja-Zapamiętanie (P-R) ²² poprzez zmianę progu od 0 do 255 dla binaryzacji mapy istotności. F_β jest kompleksową metryką oceny, obliczaną na podstawie równań precyzji i kompletności pochodzących z binaryzowanej mapy istotient i mapy wartości rzeczywistych.

(4)

gdzie β jest parametrem wagi do dostosowania dokładności i przypomnienia, ustawienie β² = 0,3. Obliczenie E_MAE jest równoważne obliczeniu średniego błędu bezwzględnego między wynikową mapą istotności a mapą prawdy podstawowej, zgodnie z definicją wynikającego z niej wyrażenia matematycznego:

(5)

Niech T_s (u,v) oznacza wyodrębnioną wartość pikseli najistotniejszej mapy (u,v), a T_G (u,v) odpowiednią wartość pikseli prawdziwej mapy (u,v).

Protokół

1. Konfiguracja i procedura eksperymentalna

1. Załaduj wstępnie wytrenowany model VGG16.
   UWAGA: Pierwszym krokiem jest załadowanie wstępnie wytrenowanego modelu VGG16 z biblioteki Keras⁶.
   1. Aby załadować wstępnie wytrenowany model VGG16 w języku Python przy użyciu popularnych bibliotek uczenia głębokiego, takich jak PyTorch (zobacz tabelę materiałów), wykonaj następujące ogólne kroki:
      1. Importuj pochodnię. Zaimportuj torchvision.models jako modele.
      2. Załaduj wstępnie wytrenowany model VGG16. vgg16_model = models.vgg16(pretrained=True).
      3. Upewnij się, że podsumowanie modelu VGG16 to "print(vgg16_model)".
2. Zdefiniuj modele DCL i DEDN.
   1. W przypadku pseudokodu algorytmu DCL podaj dane wejściowe: zestaw danych obrazu SOD i dane wyjściowe: wytrenowany model DCL.
      1. Zainicjuj model DCL z siecią szkieletową VGG16.
      2. Wstępnie przetwórz zestaw danych obrazu D (np. zmiana rozmiaru, normalizacja).
      3. Podziel zestaw danych na zestawy trenowania i walidacji.
      4. Zdefiniuj funkcję straty do trenowania modelu DCL (np. binarna entropia krzyżowa).
      5. Ustaw hiperparametry trenowania: współczynnik uczenia się (0,0001), liczba ustawionych epok trenowania (50), rozmiar partii to (8), optymalizator (Adam).
      6. Trenowanie modelu DCL: dla każdej epoki w zdefiniowanej liczbie epok wykonaj dla każdej partii w zestawie treningowym. Wprowadź następujące informacje:
         1. Przekazywanie do przodu: Przekazywanie obrazów wsadowych do modelu DCL. Oblicz stratę, korzystając z przewidywanych map istotności i map prawdy podstawowej.
         2. Przejście do tyłu: Zaktualizuj parametry modelu przy użyciu końca spadku gradientu. Obliczanie straty walidacji i innych metryk oceny na końcu zestawu walidacji.
      7. Zapisz wytrenowany model DCL.
      8. Zwróć wytrenowany model DCL.
   2. W przypadku pseudokodu dla algorytmu DEDN dane wejściowe: zestaw danych obrazu (X), mapy istotności prawdy podstawowej (Y), liczba iteracji trenowania (N).
      1. W przypadku sieci kodera upewnij się, że koder jest oparty na szkielecie VGG16 z modyfikacjami (jak wspomniano poniżej).
         UWAGA: encoder_input = Wejście(kształt=input_shape)
         encoder_conv1 = Conv2D(64, (3, 3), activation='relu', padding='same')(encoder_input)
         encoder_pool1 = MaxPooling2D((2, 2))(encoder_conv1)
         encoder_conv2 = Conv2D(128, (3, 3), activation='relu', padding='same')(encoder_pool1)
         encoder_pool2 = MaxPooling2D((2, 2))(encoder_conv2)
         encoder_conv3 = Conv2D(256, (3, 3), activation='relu', padding='same')(encoder_pool2)
         encoder_pool3 = MaxPooling2D((2, 2))(encoder_conv3)
      2. W przypadku sieci dekodera upewnij się, że dekoder jest oparty na szkielecie VGG16 z modyfikacjami (jak wspomniano poniżej).
         UWAGA: decoder_conv1 = Conv2D(256, (3, 3), activation='relu', padding='same')(encoder_pool3)
         decoder_upsample1 = UpSampling2D((2, 2))(decoder_conv1)
         decoder_conv2 = Conv2D(128, (3, 3), activation='relu', padding='same')(decoder_upsample1)
         decoder_upsample2 = UpSampling2D((2, 2))(decoder_conv2)
         decoder_conv3 = Conv2D(64, (3, 3), activation='relu', padding='same')(decoder_upsample2)
         decoder_upsample3 = UpSampling2D((2, 2))(decoder_conv3)
         decoder_output = Conv2D(1, (1, 1), activation='sigmoid', padding='same')(decoder_upsample3)
   3. Zdefiniuj model DEDN. model = Model (dane wejściowe = encoder_input, wyjścia = decoder_output).
   4. Skompiluj model. model.compile (optymalizator = adam, strata = binary_crossentropy).
   5. Wybierz pętlę treningową.
      UWAGA: Dla iteracji w zakresie (N): # Losowo wybierz partię obrazów i map prawdy podstawowej; batch_X, batch_Y = randomly_select_batch(X, Y, batch_size).
      1. Trenowanie modelu w partii. strata = model.train_on_batch(batch_X, batch_Y). Wydrukuj stratę do monitorowania.
   6. Zapisz wytrenowany model. model.save ('dedn_model.h5').
3. mieszać.
   1. Połącz dane wyjściowe sieci DCL i DEDN i udoskonal mapę istotności przy użyciu w pełni połączonego modelu warunkowego pola losowego (CRF).

2. Przetwarzanie obrazu

1. Kliknij uruchom kod, aby wyświetlić interfejs GUI (Rysunek 4).
2. Kliknij otwarty obraz, aby wybrać ścieżkę, a tym samym obraz, który ma zostać wykryty.
3. Kliknij wyświetlany obraz, aby wyświetlić obraz, który został wybrany do wykrycia.
4. Kliknij rozpocznij wykrywanie, aby wykryć wybrany obraz.
   UWAGA: Wynik wykrywania pojawi się wraz z wykrytym obrazem, tj. wynikiem istotnego obiektu (Rysunek 5).
5. Kliknij wybierz ścieżkę zapisu, aby zapisać wyniki obrazu wykrywania istotnego obiektu.

Wyniki

To badanie przedstawia kompleksową głęboką sieć neuronową składającą się z dwóch uzupełniających się sieci: wieloskalowej, w pełni konwolucyjnej sieci na poziomie pikseli oraz głębokiej sieci kodera-dekodera. Pierwsza sieć integruje semantykę kontekstową w celu uzyskania kontrastów wizualnych z wieloskalowych map obiektów, rozwiązując problem stałych pól recepcyjnych w głębokich sieciach neuronowych w różnych warstwach. Druga sieć wykorzystuje zarówno głębokie, jak i płytkie funkcje obrazu, aby złagodzić problem rozmytyc...

Dyskusja

W artykule przedstawiono kompleksową głęboką sieć neuronową zaprojektowaną specjalnie do wykrywania istotnych obiektów w złożonych środowiskach. Sieć składa się z dwóch połączonych ze sobą komponentów: wieloskalowej sieci konwolucyjnej (DCL) na poziomie pikseli oraz sieci głębokiego kodera i dekodera (DEDN). Komponenty te działają synergicznie, włączając semantykę kontekstową w celu generowania kontrastów wizualnych na wieloskalowych mapach obiektów. Ponadto wykorzystują zarówno głębokie, jak i płytkie cechy obrazu, aby ...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Matlab	MathWorks	Matlab R2016a	Interfejs programistyczny MATLAB zapewnia narzędzia programistyczne poprawiające jakość kodu, łatwość konserwacji i maksymalizujące wydajność. Zapewnia narzędzia do tworzenia aplikacji przy użyciu niestandardowych interfejsów graficznych. Zapewnia narzędzia do łączenia algorytmów opartych na MATLAB z zewnętrznymi aplikacjami i językami
Procesor	Intel	Intel(R) Core(TM) i5-1135G7 @ 2,40 GHz	64-bitowy Win11 11. generacji
Pycharm	JetBrains	PyCharm 3.0	PyCharm to IDE Pythona (zintegrowane środowisko programistyczne) lista wymaganych python: modulesmatplotlib skimage torch os time pydensecrf opencv glob PIL torchvision numpy tkinter
PyTorch	Facebook	PyTorch 1.4	PyTorch to biblioteka uczenia maszynowego Python o otwartym kodzie źródłowym oparta na Torch , używana do przetwarzania języka naturalnego i innych aplikacji. PyTorch może być postrzegany zarówno jako dodatek obsługa GPU numpy , ale może być również postrzegany jako potężna głęboka sieć neuronowa z automatycznymi pochodnymi .