Method Article

Rede neural profunda de ponta a ponta para detecção de objetos salientes em ambientes complexos

DOI:

10.3791/65554

December 15th, 2023

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O presente protocolo descreve um novo algoritmo de detecção de objetos salientes de ponta a ponta. Ele aproveita redes neurais profundas para melhorar a precisão da detecção de objetos salientes dentro de contextos ambientais intrincados.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A detecção de objetos salientes emergiu como uma área de interesse crescente dentro do reino da visão computacional. No entanto, os algoritmos predominantes exibem precisão diminuída quando encarregados de detectar objetos salientes em ambientes intrincados e multifacetados. À luz dessa preocupação premente, este artigo apresenta uma rede neural profunda de ponta a ponta que visa detectar objetos salientes dentro de ambientes complexos. O estudo introduz uma rede neural profunda de ponta a ponta que visa detectar objetos salientes dentro de ambientes complexos. Compreendendo dois componentes inter-relacionados, a saber, uma rede convolucional completa multiescala em nível de pixel e uma rede codificadora-decodificadora profunda, a rede proposta integra semântica contextual para produzir contraste visual em mapas de feição multiescala, enquanto emprega recursos de imagem profunda e rasa para melhorar a precisão da identificação do limite do objeto. A integração de um modelo de campo aleatório condicional (CRF) totalmente conectado aumenta ainda mais a coerência espacial e a delimitação de contorno de mapas salientes. O algoritmo proposto é extensivamente avaliado contra 10 algoritmos contemporâneos nas bases de dados SOD e ECSSD. Os resultados da avaliação demonstram que o algoritmo proposto supera outras abordagens em termos de precisão e acurácia, estabelecendo assim sua eficácia na detecção de objetos salientes em ambientes complexos.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A detecção de objetos salientes imita a atenção visual humana, identificando rapidamente as principais regiões da imagem enquanto suprime as informações de fundo. Essa técnica é amplamente empregada como ferramenta de pré-processamento em tarefas como recorte de imagens1, segmentação semântica2 e edição de imagens3. Ele simplifica tarefas como substituição de plano de fundo e extração de primeiro plano, melhorando a eficiência e a precisão da edição. Além disso, auxilia na segmentação semântica, aprimorando a localização do destino. O potencial da detecção de objetos salientes para melhorar a efic....

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Arranjo e procedimento experimental

  1. Carregue o modelo VGG16 pré-treinado.
    Observação : a primeira etapa é carregar o modelo VGG16 pré-treinado da biblioteca Keras6.
    1. Para carregar um modelo VGG16 pré-treinado em Python usando bibliotecas populares de aprendizado profundo como o PyTorch (consulte Tabela de Materiais), siga estas etapas gerais:
      1. Importar tocha. Importe torchvision.models como modelos.
      2. Carregue o modelo VGG16 pré-treinado. vgg16_model = models.vgg16(pretreined=True).
      3. Certifique-se de que o resumo do modelo VGG16 ....

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo introduz uma rede neural profunda de ponta a ponta composta por duas redes complementares: uma rede multi-escala totalmente convolucional em nível de pixel e uma rede codificadora-decodificadora profunda. A primeira rede integra semântica contextual para derivar contrastes visuais de mapas de feição em várias escalas, abordando o desafio de campos receptivos fixos em redes neurais profundas em diferentes camadas. A segunda rede utiliza recursos de imagem profunda e superficial para mitigar o problema de limit.......

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O artigo apresenta uma rede neural profunda de ponta a ponta projetada especificamente para a detecção de objetos salientes em ambientes complexos. A rede é composta por dois componentes interconectados: uma rede multiescala totalmente convolucional (DCL) em nível de pixel e uma rede codificadora-decodificadora profunda (DEDN). Esses componentes trabalham sinergicamente, incorporando semântica contextual para gerar contrastes visuais dentro de mapas de feição em multiescala. Além disso, eles aproveitam recursos de imagem.......

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm nada a revelar.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este trabalho é apoiado pelo 2024 Henan Provincial Higher Education Institutions Key Scientific Research Project Funding Program Program (Número do Projeto:24A520053). Este estudo também é apoiado pela Criação Especializada e Integração Característica Demonstração Construção Curso na Província de Henan.

....

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
MatlabMathWorksMatlab R2016aA interface de programação do MATLAB fornece ferramentas de desenvolvimento para melhorar a qualidade do código, a capacidade de manutenção e maximizar o desempenho.
Fornece ferramentas para a construção de aplicativos usando interfaces gráficas personalizadas.
Fornece ferramentas para combinar algoritmos baseados em MATLAB com aplicativos e linguagens externas
Processador Intel11ª Geração Intel(R) Core (TM) i5-1135G7 @ 2.40GHz64-bit Win11 processador 
PycharmJetBrainsPyCharm 3.0PyCharm é um IDE (Ambiente de Desenvolvimento Integrado)
uma lista de módulos python:
necessáriosmatplotlib
skimage
torch
os
time
pydensecrf
opencv
glob
PIL
torchvision
numpy
tkinter
PyTorch FacebookPyTorch 1.4 PyTorch é uma biblioteca de aprendizado de máquina Python de código aberto , baseado em Tocha , usado para processamento de linguagem natural e outros aplicativos. PyTorch pode ser visto como a adição de suporte de GPU numpy , mas também pode ser visto como uma poderosa rede neural profunda com derivadas automáticas .

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, W. G., Shen, J. B., Ling, H. B. A deep network solution for attention and aesthetics aware photo cropping. IEEE Transactions on Pattern Analysis and Machine Intelligence. 41 (7), 1531-1544 (2018).
  2. Wang, W. G., Sun, G. L., Gool, L. V. Looking beyond single images for weakly supervised semantic segmentation learning.

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Salient Object DetectionDeep Neural NetworkComplex EnvironmentsConvolutional Neural NetworkEncoder Decoder NetworkConditional Random FieldImage SegmentationSOD DatabaseVGG16 BackbonePyTorch Models

Related Articles