Method Article

Kompleksowa głęboka sieć neuronowa do wykrywania istotnych obiektów w złożonych środowiskach

DOI:

10.3791/65554

December 15th, 2023

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Obecny protokół opisuje nowatorski algorytm wykrywania istotnych obiektów. Wykorzystuje głębokie sieci neuronowe w celu zwiększenia precyzji wykrywania istotnych obiektów w skomplikowanych kontekstach środowiskowych.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wykrywanie istotnych obiektów stało się rosnącym obszarem zainteresowania w dziedzinie widzenia komputerowego. Jednak dominujące algorytmy wykazują zmniejszoną precyzję, gdy mają za zadanie wykrywanie istotnych obiektów w skomplikowanych i wieloaspektowych środowiskach. W świetle tego palącego problemu, w niniejszym artykule przedstawiono kompleksową głęboką sieć neuronową, której celem jest wykrywanie istotnych obiektów w złożonych środowiskach. W badaniu przedstawiono kompleksową głęboką sieć neuronową, której celem jest wykrywanie istotnych obiektów w złożonych środowiskach. Proponowana sieć, składająca się z dwóch powiązanych ze sobą komponentów, a mianowicie wieloskalowej sieci konwolucyjnej na poziomie pikseli oraz głębokiej sieci kodera-dekodera, integruje semantykę kontekstową w celu uzyskania kontrastu wizualnego na wieloskalowych mapach obiektów, wykorzystując jednocześnie głębokie i płytkie cechy obrazu w celu poprawy dokładności identyfikacji granic obiektów. Integracja w pełni połączonego modelu warunkowego pola losowego (CRF) dodatkowo zwiększa spójność przestrzenną i wyznaczanie konturów na istotnych mapach. Proponowany algorytm jest szeroko oceniany pod kątem 10 współczesnych algorytmów w bazach danych SOD i ECSSD. Wyniki oceny pokazują, że proponowany algorytm przewyższa inne podejścia pod względem precyzji i dokładności, potwierdzając tym samym jego skuteczność w wykrywaniu istotnych obiektów w złożonych środowiskach.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wykrywanie istotnych obiektów naśladuje ludzką uwagę wzrokową, szybko identyfikując kluczowe obszary obrazu, jednocześnie tłumiąc informacje tła. Technika ta jest szeroko stosowana jako narzędzie do wstępnego przetwarzania w zadaniach takich jak przycinanie obrazów1, segmentacja semantyczna2 i edycja obrazu3. Usprawnia zadania, takie jak zastępowanie tła i wyodrębnianie pierwszego planu, poprawiając wydajność i precyzję edycji. Dodatkowo pomaga w segmentacji semantycznej poprzez poprawę lokalizacji docelowej. Potencjał wykrywania istotnych obiektów w zakresie zwiększenia wydajności obliczeniowej i....

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Konfiguracja i procedura eksperymentalna

  1. Załaduj wstępnie wytrenowany model VGG16.
    UWAGA: Pierwszym krokiem jest załadowanie wstępnie wytrenowanego modelu VGG16 z biblioteki Keras6.
    1. Aby załadować wstępnie wytrenowany model VGG16 w języku Python przy użyciu popularnych bibliotek uczenia głębokiego, takich jak PyTorch (zobacz tabelę materiałów), wykonaj następujące ogólne kroki:
      1. Importuj pochodnię. Zaimportuj torchvision.models jako modele.
      2. Załaduj wstępnie wytrenowany model VGG16. vgg16_model = models.vgg16(pretrained=T....

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie przedstawia kompleksową głęboką sieć neuronową składającą się z dwóch uzupełniających się sieci: wieloskalowej, w pełni konwolucyjnej sieci na poziomie pikseli oraz głębokiej sieci kodera-dekodera. Pierwsza sieć integruje semantykę kontekstową w celu uzyskania kontrastów wizualnych z wieloskalowych map obiektów, rozwiązując problem stałych pól recepcyjnych w głębokich sieciach neuronowych w różnych warstwach. Druga sieć wykorzystuje zarówno głębokie, jak i płytkie funkcje obrazu, aby złagodzić problem rozmytyc.......

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W artykule przedstawiono kompleksową głęboką sieć neuronową zaprojektowaną specjalnie do wykrywania istotnych obiektów w złożonych środowiskach. Sieć składa się z dwóch połączonych ze sobą komponentów: wieloskalowej sieci konwolucyjnej (DCL) na poziomie pikseli oraz sieci głębokiego kodera i dekodera (DEDN). Komponenty te działają synergicznie, włączając semantykę kontekstową w celu generowania kontrastów wizualnych na wieloskalowych mapach obiektów. Ponadto wykorzystują zarówno głębokie, jak i płytkie cechy obrazu, aby .......

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ta praca jest wspierana przez 2024 Henan Provincial Higher Education Institutions Key Scientific Research Project Funding Program Establishment (Numer projektu:24A520053). Badanie to jest również wspierane przez Specjalistyczny Kurs Demonstracyjny Tworzenia i Integracji w Prowincji Henan.

....

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
MatlabMathWorksMatlab R2016aInterfejs programistyczny MATLAB zapewnia narzędzia programistyczne poprawiające jakość kodu, łatwość konserwacji i maksymalizujące wydajność.
Zapewnia narzędzia do tworzenia aplikacji przy użyciu niestandardowych interfejsów graficznych.
Zapewnia narzędzia do łączenia algorytmów opartych na MATLAB z zewnętrznymi aplikacjami i językami
Procesor IntelIntel(R) Core(TM) i5-1135G7 @ 2,40 GHz64-bitowy Win11 11. generacji 
PycharmJetBrainsPyCharm 3.0PyCharm to IDE Pythona (zintegrowane środowisko programistyczne)
lista wymaganych python:
modulesmatplotlib
skimage
torch
os
time
pydensecrf
opencv
glob
PIL
torchvision
numpy
tkinter
PyTorch FacebookPyTorch 1.4 PyTorch to biblioteka uczenia maszynowego Python o otwartym kodzie źródłowym oparta na Torch , używana do przetwarzania języka naturalnego i innych aplikacji. PyTorch może być postrzegany zarówno jako dodatek obsługa GPU numpy , ale może być również postrzegany jako potężna głęboka sieć neuronowa z automatycznymi pochodnymi .
Procesor

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, W. G., Shen, J. B., Ling, H. B. A deep network solution for attention and aesthetics aware photo cropping. IEEE Transactions on Pattern Analysis and Machine Intelligence. 41 (7), 1531-1544 (2018).
  2. Wang, W. G., Sun, G. L., Gool, L. V. Looking beyond single images for weakly supervised semantic segmentation learning.

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Salient Object DetectionDeep Neural NetworkComplex EnvironmentsConvolutional Neural NetworkEncoder Decoder NetworkConditional Random FieldImage SegmentationSOD DatabaseVGG16 BackbonePyTorch Models

Related Articles