Method Article

Otimização Adaptativa de Streaming de Vídeo de Qualidade: Uma Estrutura Multineural Inteligente para Maior Qualidade de Experiência em Redes 5G e Além

DOI:

10.3791/69387

January 27th, 2026

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este artigo apresenta a estrutura AQVSO (Otimização Adaptativa de Qualidade de Streaming de Vídeo) como uma integração de modelos neurais e de otimização avançados projetados para aprimorar o streaming de vídeo em redes 5G e de próxima geração. A estrutura melhora a qualidade do vídeo, reduz o buffering e otimiza o uso de recursos.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

AQVSO (Otimização Adaptativa de Streaming de Vídeo) é uma nova estrutura de streaming de vídeo que visa melhorar a qualidade do streaming de vídeo e a utilização de recursos em redes 5G & Beyond. O estudo propõe uma rede multineural de ponta a ponta composta por quatro módulos co-relacionados que incorporam redes convolucionais esparsas com codificadores orientados por políticas (SCN-PDE), uma rede convolucional de atenção de grafos esparsos (SGA-ConvNet), redes neurais adaptativas com picos (ASNN) e redes profundas de crença com otimização de colônias de formigas (DBN-ACO). Esses elementos se ajustam dinamicamente às mudanças da rede com base em um modelo matemático que busca equilibrar qualidade e uso de recursos. Experimentos no conjunto de dados UCF-101 mostram que o AQVSO mantém escores SSIM semelhantes aos dos algoritmos de ponta BBA e BOLA (0,977), embora requer muito menos largura de banda (4.936/8.000 kbps). A estrutura pode economizar 38% no consumo de largura de banda mantendo alta qualidade perceptiva (PSNR = 45,89 dB) e quase eliminou ocorrências de buffering. O sistema alcança 99,9% de certeza de streaming em condições móveis, CDN (Content Delivery Network) e empresas, proporcionando um ganho real de desempenho para sistemas de entrega de vídeo em situações com recursos limitados. Isso é possível ao oferecer uma experiência gerenciável ao usuário e uso eficiente dos recursos de rede por meio de decisões de streaming adaptativas e conscientes do conteúdo.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O objetivo deste estudo é desenvolver uma estrutura integrada de streaming adaptativo multineural, denominada AQVSO, que otimize conjuntamente a qualidade perceptiva do vídeo e a utilização da largura de banda sob 5G dinâmico e além das condições de rede. O método visa unificar análise de conteúdo, controle de taxa e alocação de recursos em uma única arquitetura de decisão para alcançar uma Qualidade de Experiência (QoE) consistente com requisitos de bitrate significativamente menores.

Otimização Adaptativa de Qualidade para Streaming de Vídeo (AQVSO)

Na era do 5G e além, a AQVSO está focada em melhorar a qualidade da experiência (QoE) em streaming de vídeo adotando um modelo baseado em rede neural multineural que equilibra inteligentemente a qualidade perceptiva e a utilizaçãode recursos 1. Essa estratégia de agendamento consciente da rede pode enfrentar o desafio de fornecer fluxos de vídeo de alta qualidade em um ambiente de rede variável no tempo ou instável, com menor consumo de banda e congestionamentode servidores 2.

O tráfego de vídeo atualmente representa mais de 80% do total de dados móveis globalmente em 2023, erotilando a necessidade de sistemas eficientes de entrega multimídia aum recorde histórico: 3. Redes legadas estão sendo transformadas em redes ágeis, virtualizadas e baseadas em software, habilitadas por Software Defined Networking (SDN), Network Function Virtualization (NFV), Multi-access Edge Computing (MEC) e computação em nuvem/edge no ambiente 4,5 de quinta geração (5G). Esses avanços permitem que aplicações de próxima geração tenham taxas de dados mais rápidas, menor latência e maior densidadede conexão 6.

Diante do aumento dos níveis de concorrência, a Qualidade da Experiência (QoE) tornou-se uma das medidas mais importantes para os provedoresde serviços 7,8. A QoE não inclui apenas as métricas tradicionais de Qualidade de Serviço (QoS), mas também adiciona percepção do usuário e integra parâmetros objetivos de QoS com fatores subjetivos de experiência dos usuários, como expectativas, emoções epreferências 9,10,11. Com relação a serviços multimídia, a QoE afeta diretamente a satisfação do usuário final e pode ser considerada uma métrica universal para avaliação geral da qualidade que vincula a experiência do usuário ao desempenho da aplicação e do sistemade comunicação 12.

A qualidade de qualidade da transmissão de vídeo depende de parâmetros como latência, taxa de bits e qualidade visual. A congestão da rede causada pelo crescimento de dados e limitações de capacidade prejudica a continuidade da qualidade do streaming13,14. Abordagens comuns oferecem atributos de vídeo variáveis (com taxas de quadros e resoluções distintas), mas mobilidade do usuário e variação de canais sem fio exigem estratégias de gerenciamento maisinteligentes 15, 16, 17.

As soluções atuais de streaming adaptativo são fortemente limitadas em condições dinâmicas. O Streaming Adaptativo Dinâmico sobre HTTP (DASH) depende de heurísticas do lado do cliente que podem falhar em ambientes sem fioimprevisíveis 18. Existem métodos baseados em aprendizado por reforço (RL), como o Pensieve, que facilitam a adaptação, mas são computacionalmente caros e exigem abundantes dados de treinamento19. O Algoritmo Baseado em Buffer (BBA) considera principalmente a ocupação de buffer e ignora a complexidade do conteúdo e a qualidade perceptiva20. O Controle Preditivo de Modelo (MPC) depende fortemente das previsões de largura de banda, que podem falhar em um ambientemóvel 21. O BOLA (Algoritmo de Lyapunov baseado em Ocupação de Buffer) foca principalmente na utilidade de reprodução e não leva a justiça da qualidade emconsideração suficiente 22.

Avanços recentes, que vão desde agregação de atenção cross-modal no SCA-PVNet23, análises em tempo real habilitadas para edge no RES24 e transcodificação eficiente em nuvem deborda 25 até frameworks híbridos de denoising que melhoram a estabilidadeda entrada 26 demonstram o rápido progresso no processamento multimídia inteligente. A compreensão aprimorada de conteúdo via aprendizado espaço-temporal 2D-CNN27 e modelagem de vídeo baseada emtransformadores 28, juntamente com controle adaptativo de taxa de bits por meio das arquiteturasCNN-RNN 29, formam uma base sólida para a inteligência de streaming de próxima geração.

O AQVSO vai além desses avanços individuais ao unificar análise de conteúdo, modelagem perceptual e decisões conscientes da rede em uma única arquitetura integrada que oferece QoE consistentemente superior sob condições dinâmicas sem fio. O AQVSO é fundamentalmente diferente desses esquemas. Nesse sentido, integra codificação de vídeo, dinâmica de rede, tráfego de dados, alocação de recursos e qualidade perceptiva do usuário de forma coordenada. Esse esquema de controle abrangente supera as limitações dos métodos tradicionais adaptativos à taxa ao coordenar oito mecanismosdedicados 23.

Escopo e aplicação

O escopo do AQVSO inclui redes móveis 5G e ultrapassadas, ambientes de streaming assistidos por CDN e cenários corporativos em nuvem para redundância em entrega de vídeo em larga escala. A estrutura é desenvolvida sob a suposição de nós de computação de borda distribuídos com capacidades leves de inferência, como nas redes 5G baseadas em MEC atuais. Limitações contextuais, como custo computacional imposto por componentes neurais e dependência de previsão precisa de redes e estados de QoE, serão apresentadas, especificando quando o AQVSO funciona melhor. O sistema também não é adequado para ambientes de recursos extremamente baixos sem computação de borda, nem para aplicações interativas em tempo real que exigem latência abaixo de 10ms.

O AQVSO é composto por oito técnicas inovadoras: Rede Neural Adaptativa de Spiking (ASNN) utilizada para otimização consciente de conteúdo e rede; Algoritmo de Controle de Taxa projetado para ajustar a taxa de bits em tempo real; Rede de Crenças Profundas (DBN) utilizada para previsão de padrões de tráfego; Otimização de Colônias de Formigas (ACO) explorada para resolver o problema de alocação de recursos em rede em questão; Rede de Atenção em Grafos Esparsa (SGA), que modela relações complexas entre vídeo e topologia da rede em grande escala; Rede Convolucional Esparsa (SCN), que processa dados de alta dimensão; Policy-Driven Encoder (PDE), uma política de estratégia de codificação adaptativa que aproveita o conhecimento aprendido sobre tendências de vídeo ao longo do tempo, e Stream Bayes Change Point Identifier (BCPI), um filtro que detecta mudanças de diferentes dimensões relacionadas a redes e vídeos. Coletivamente, essas estratégias constituem o cerne do AQVSO e proporcionam otimização holística em redes de nuvem, edge e móveis, abordando simultaneamente codificação de vídeo, gerenciamento de tráfego, alocação de recursos e adaptação da qualidade perceptual.

Em resumo, o AQVSO oferece uma estrutura multineural unificada que otimiza conjuntamente o QoE perceptual, a codificação consciente do conteúdo e a alocação de recursos entre redes 5G+, alcançando eficiência superior em qualidade e taxa de bits.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O software utilizado está listado na Tabela de Materiais.

Configuração do conjunto de dados

O conjunto de dados UCF-1013 foi obtido e extraído no diretório Videos/UCF-101 . A integridade do conjunto de dados era avaliada por meio de verificação de soma de verificação ou reprodução manual, e quaisquer arquivos corrompidos eram excluídos do processamento subsequente.

Ambiente computacional

Todos os experimentos foram realizados em Python 3.10 no Windows 10/11 ou Ubuntu 20.04+. O ambiente de software incluía tensorflow==2.17.0, opencv-python, scikit-image, numpy, pandas e tqdm. Era usado no mínimo 8 GB de RAM, e a aceleração da GPU era empregada quando disponível.

Extração de quadro

Os quadros de vídeo eram lidos usando CV2. VideoCapture() e conversão em tons de cinza foram realizadas usando cv2.cvtColor. Os quadros resultantes eram armazenados em ordem sequencial dentro do diretório Frames para preservar a consistência temporal.

Rede de recursos base

Uma rede neural convolucional sequencial foi empregada para processar os 224 × 224 quadros em tons de cinza. Camadas convolucional, pooling e densa foram usadas, e o modelo foi treinado por cinco épocas com o otimizador Adam e a perda de Entropia Cruzada Binária para estabelecer representações de características de linha base.

Alocação e compressão de taxa de bits

A complexidade de quadros em nível de pixel foi estimada e usada para determinar a alocação proporcional da taxa de bits. A compressão JPEG com Q-values adaptativos era aplicada, e os quadros processados eram salvos no diretório Processado para avaliação adicional.

Avaliação de qualidade

Cálculos SSIM, PSNR e MSE foram realizados para cada quadro processado. As métricas resultantes foram compiladas em arquivos CSV, e gráficos de visualização foram gerados e armazenados no diretório Output .

Execução final

O fluxo de trabalho completo era executado usando framework.run(). Essa execução produziu o conjunto final de quadros processados, resumos de métricas e gráficos de avaliação.

1. Otimização de Streaming de Vídeo de Qualidade Adaptativa

1.1 Visão geral da arquitetura do sistema

Um método é apresentado aqui para otimizar o streaming de vídeo especificamente para redes 5G e ultrapassadas por meio do framework AQVSO. A abordagem combinava vários elementos de ponta que se complementavam para melhorar a QoE e maximizar o uso dos recursos da rede. Um pipeline complexo era utilizado para processar fluxos de vídeo, com cada componente especializado em uma área específica de otimização de vídeo. Durante todo o processo de streaming, o sistema garantiu manutenção de qualidade ideal e processamento balanceado.

1.2 Pré-processamento de vídeo e análise inicial

1.2.1 Extração de quadros e linha de base de qualidade

A estrutura de otimização dada foi construída sobre a etapa de pré-processamento de vídeo, que utilizava técnicas avançadas de análise para estabelecer padrões de qualidade e preparar o conteúdo do vídeo para processamento subsequente. Ao entrar no sistema, um fluxo de vídeo era submetido a um procedimento completo de extração de quadros que dividia o vídeo em quadros individuais e examinava correlações temporais entre quadros sucessivos. Esse processamento preliminar capturou a dinâmica temporal do vídeo e definiu os parâmetros de processamento apropriados para todo o fluxo. Para um vídeo de entrada V, os quadros foram extraídos e processados pela seguinte formulação matemática:

Equação 101(1)

A resolução do quadro era calculada como m e o total de quadros contando como n. Os quadros eram extraídos preservando a coerência temporal do vídeo para permitir o processamento paralelo em estágios posteriores. A linha de base de qualidade foi estabelecida pela implementação de uma abordagem inovadora de fusão. Múltiplas métricas de qualidade foram combinadas para criar uma avaliação abrangente de qualidade. A QoE inicial geral foi determinada usando os parâmetros especificados.

Equação 102(2)

A importância dessa abordagem de fusão foi considerada, pois abordava as limitações das métricas individuais de qualidade. O Índice de Similaridade Estrutural (SSIM) capturou aspectos da qualidade perceptiva que métricas tradicionais poderiam ter deixado passar, enquanto a Relação Sinal-Ruído Máxima (PSNR) fornecia uma medição objetiva de qualidade, e o Erro Quadrático Médio (MSE) oferecia uma comparação direta em nível de pixel. Os fatores de ponderação α1.α 2.α 3 não eram estáticos; em vez disso, adaptaram-se dinamicamente com base nas características do conteúdo. Oi-ésimo fator de peso foi calculado usando:

Equação 103(3)

Onde,

Qi é o i-ésimo referencial, i = 1,2... n

Qj é o j-ésimo referencial, j = 1,2... n, i não é igual a j

Os fatores importantesμ foram determinados por meio de análise empírica extensa de vários tipos de conteúdo de vídeo para garantir que o ajuste dinâmico do peso mantivesse uma avaliação relevante de qualidade em diferentes tipos de conteúdo e condições de visualização. Fatores como complexidade de movimento, densidade de textura e a importância perceptiva de diferentes regiões foram considerados.

1.2.2 Análise da complexidade de conteúdo

A complexidade do conteúdo foi analisada como um componente crucial da estrutura por meio de uma abordagem multidimensional que quantificou vários aspectos do conteúdo de vídeo. Essa análise foi fundamental para decisões informadas sobre alocação de recursos e parâmetros de compressão em estágios posteriores. Foi introduzida uma métrica abrangente de complexidade que considerava aspectos espaciais, temporais e perceptivos do conteúdo de vídeo, apresentada por:

Equação 104(4)

O componente de complexidade espacial Cs(f) foi calculado analisando a distribuição de detalhes e texturas dentro de cada quadro por meio de análise de gradiente. Essa medição foi usada para identificar áreas que exigiam uma alocação de bits maior para manter a qualidade.

Equação 105(5)

O componente de complexidade temporal Ct(f) foi calculado para quantificar a intensidade do movimento entre quadros consecutivos, pois essa medição era essencial para prever o comportamento de compressão e determinar tamanhos apropriados de buffer.

Equação 106(6)

O componente de complexidade perceptiva Cp(f) integrou modelos de visão humana para priorizar regiões que eram perceptualmente significativas para os observadores.

Equação 107(7)

1.3 Extração de características usando redes convolucionais de atenção de grafos esparsos

Uma nova arquitetura de Rede Convolucional de Atenção de Grafos Esparsa (SGA-ConvNet) foi implementada na etapa de extração de características do AQVSO, marcando uma melhoria substancial em relação às redes convolucionais convencionais para processamento de vídeo. O SGA-ConvNet foi projetado para ser especialmente adequado para lidar com dados de vídeo de alta dimensão em ambientes com recursos limitados, combinando a eficácia de convoluções esparsas com a adaptabilidade dos mecanismos de atenção. Essa arquitetura de rede abordou o problema básico de capturar dependências temporais e espaciais em conteúdo de vídeo. Um grafo dinâmico foi construído durante o processamento de quadros de vídeo, com cada nó representando um ponto de característica importante e arestas indicando como essas características se relacionam entre si. A sobrecarga computacional foi significativamente reduzida ao concentrar recursos em regiões relevantes, preservando a conectividade escassa, em contraste com redes convolucionais convencionais. A operação do núcleo em cada camada foi definida por:

Equação 108(8)

H(l) representava as representações de características na camada l, com A ̃ denotando a matriz de adjacência de atenção normalizada. W(l) continha as matrizes de pesos aprendíveis, e σ representava a função de ativação não linear. A rede era habilitada a aprender representações hierárquicas de características enquanto mantinha a esparsidade no grafo de computação. O mecanismo de atenção, crucial para o processamento adaptativo de características, foi calculado por meio de:

Equação 109(9)

αij representava o coeficiente de atenção entre os nós i e j, e [hi ∣∣ h j] denotava a concatenação de seus vetores de características. A ativação LeakyReLU foi usada para evitar gradientes nulos enquanto preservava a capacidade da rede de aprender com características negativas. O mecanismo de atenção ajustava dinamicamente a importância das diferentes conexões de características com base em sua relevância para o conteúdo do quadro atual.

1.4 Controle dinâmico de taxa por meio de redes neurais adaptativas com picos

O controle de taxa dinâmica foi implementado no framework AQVSO (Figura 1) via arquitetura ASNN, uma abordagem biologicamente inspirada para gerenciar taxas de streaming de vídeo. A ASNN foi projetada especificamente para lidar com a dinâmica temporal do streaming de vídeo enquanto se adaptava às condições da rede em rápida mudança. Esse componente foi considerado crucial para preservar a qualidade do streaming enquanto otimizava o uso da largura de banda em diferentes condições de rede. A informação era processada por meio de picos discretos no ASNN, imitando redes neurais biológicas, o que proporcionava várias vantagens em termos de eficiência energética e processamento temporal. O potencial de membrana dos neurônios que disparam foi permitido evoluir de acordo com:

Equação 110(10)

V(t) representava o potencial de membrana no tempo t, Vrepouso era definido como potencial de repouso, e τm era definido como a constante de tempo da membrana. I(t) foi calculado a partir das condições da rede e da complexidade do conteúdo. O ruído adaptativo foi introduzido através do σ(t)N(0,1) para melhorar a robustez. Esse termo de ruído ajudava a rede a manter a estabilidade diante de flutuações rápidas nas condições da rede. O mecanismo de controle de taxa foi implementado usando um esquema sofisticado de adaptação:

Equação 111(11)

R(t) representava a taxa de bits alvo, S(t) representava a taxa de picos da rede neural, B(t) denotava a largura de banda disponível, e E(t) representava o termo de erro derivado de métricas de qualidade. O termo exponencial expp(-λE(t)) foi usado para proporcionar adaptação suave às variações de qualidade, ao mesmo tempo em que evitava o comportamento oscilatório no sistema de controle de taxa.

1.5 Otimização de compressão orientada pela qualidade

Uma abordagem inovadora foi implementada na fase de otimização de compressão, combinando métricas de qualidade perceptiva com estratégias de compressão conscientes do conteúdo. Essa etapa foi tornada fundamental para alcançar os melhores equilíbrios entre qualidade e tamanho no fluxo de vídeo comprimido. Foi utilizado um esquema de compressão adaptativa à região que alocava bits com base tanto na importância do conteúdo quanto nos requisitos de qualidade perceptiva.

Equação 112(12)

C (r,t) representava a razão de compressão para a região r no tempo t, e C base(r) era usada como a razão de compressão base determinada pela complexidade do conteúdo. Q(r,t) foi definido para denotar o fator de qualidade. φi (r,t) foi implementado para representar vários fatores de ajuste, incluindo intensidade do movimento, densidade de arestas e importância perceptual.

1.6 Alocação de recursos por meio de redes profundas de crenças com otimização por colônia de formigas

O mecanismo de alocação de recursos no AQVSO foi configurado para implementar uma abordagem híbrida combinando Redes Profundas de Crença (DBN) com Otimização de Colônias de Formigas (ACO), estabelecendo uma solução inovadora para o complexo problema da distribuição ótima de recursos em sistemas de streaming de vídeo. As capacidades de aprendizado das redes profundas de crenças foram aproveitadas para o reconhecimento de padrões no uso de recursos, enquanto as forças de otimização dos algoritmos de colônia de formigas foram utilizadas para decisões de alocação de recursos em tempo real. O sistema DBN-ACO foi projetado para enfrentar o desafio fundamental de equilibrar os requisitos imediatos de recursos com objetivos de otimização de longo prazo em ambientes de rede dinâmicos. O componente DBN foi implementado usando uma estrutura de aprendizado hierárquica composta por múltiplas Máquinas de Boltzmann Restritas (RBMs), com cada camada capturando padrões cada vez mais abstratos na utilização dos recursos. A distribuição de probabilidade da ativação das unidades ocultas foi modelada através de:

Equação 113(13)

hi representava as unidades ocultas, v representava as unidades visíveis, bi representava os termos de viés, e Wij representava os pesos da conexão. Essa modelagem probabilística foi usada para capturar dependências complexas em padrões de uso de recursos, mantendo a adaptabilidade a condições mutáveis. O componente ACO foi implementado com uma estratégia dinâmica de otimização baseada em feromônios.

Equação 114(14)
Equação 115(15)

τij representava os níveis de feromônio, com p servindo como a taxa de evaporação Δτij (t). foi definido como a atualização de feromônios, e ηIJ representou o valor heurístico baseado nas condições atuais da rede e na disponibilidade de recursos.

1.7 Gerenciamento adaptativo de buffers e recuperação de erros

Um sofisticado sistema de gerenciamento de buffers foi implementado no framework AQVSO que se ajustava dinamicamente às diferentes condições da rede e características de conteúdo. Esse sistema foi projetado para manter a continuidade do streaming minimizando a latência e prevenindo condições de subfluxo ou transbordamento do buffer. Foi implementada uma abordagem adaptativa inovadora que considerou tanto estatísticas de rede quanto complexidade de conteúdo.

Equação 116(16)

B(t) foi mantido como o tamanho do buffer alvo, QoE(t) foi medido como a qualidade atual da experiência, σ(t) foi acompanhado como métrica de estabilidade da rede, e φ(σ(t)) foi implementado como uma função adaptativa para modular o tamanho do buffer com base na variabilidade da rede. O mecanismo de recuperação de erros foi executado usando uma abordagem em múltiplas camadas que combinava prevenção proativa de erros com estratégias de recuperação reativa. Uma janela deslizante de referências de quadro era mantida dentro do sistema.

Equação 117(17)

p foi usado para representar a probabilidade de sucesso de uma única tentativa de recuperação, n foi tomado como o número de tentativas, e T(t) foi aplicado para representar o tempo desde a detecção de erros. Esse termo de decaimento exponencial foi usado para garantir que os esforços de recuperação fossem devidamente priorizados com base na relevância temporal.

1.8 Avaliação de qualidade e integração de feedback

O sistema de avaliação de qualidade implementou uma abordagem abrangente que combinava múltiplas métricas de qualidade com fatores de experiência do usuário. Essa integração foi crucial para manter alta QoE enquanto otimizava a utilização dos recursos. O sistema implementou uma nova fusão de métricas de qualidade:

Equação 118(18)

NB(t) foi calculado como a razão de buffering normalizada, SB(t) como a frequência de comutação, e M(t) como o fator de qualidade de movimento. Os pesos wi foram ajustados dinamicamente com base no tipo de conteúdo e nas condições de visualização.

Equação 119(19)

Θi foi representado como os pesos base, e f(C(t)) foi aplicado como uma função de ajuste dependente do conteúdo. O sistema de integração por realimentação foi implementado como um mecanismo de controle em malha fechada.

Equação 120(20)

e(t) foi definido para representar o erro entre as métricas de qualidade alvo e alcançadas, e K 1,K 2,K 3 foram definidos como parâmetros adaptativos de ganho que ajustavam com base nas condições da rede e nas características do conteúdo.

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Apresente uma análise detalhada do desempenho do sistema proposto e relate os resultados da implementação. Inclua uma seção de comparação para confirmar se o sistema é adequado para o Neuro Cloud Stream, uma abordagem de ML baseada em nuvem. A Figura 2 ilustra o fluxo de trabalho do sistema AQVSO.

Descrição do conjunto de dados

Para avaliar o framework do AQVSO, use uma coleção diversificada de conteúdo em vídeo que var...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O framework Adaptive Quality Video Streaming Optimization (AQVSO) é um motor de processamento multimídia baseado em uma arquitetura de integração de codecs multi-módulo embarcada para melhorar dinamicamente a qualidade perceptiva do vídeo e a adaptividade da taxa de bits em redes sem fio. Diferentemente de preditores individuais ou controladores de taxa, por exemplo, o AQVSO utiliza SCN-PDE para aprimorar a consciência de movimento, SGA-ConvNet para modelagem de atenção espaço-temporal, ...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm conflitos de interesse a revelar.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores reconhecem o uso de uma ferramenta de criação de fluxo por IA para gerar o diagrama de blocos do framework (Figura 1) apresentado neste manuscrito.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
8 GB de RAMGenéricoMemória mínima necessária para rodar os experimentos.
Processador Intel Core i5Intel CorporationCPU usada para pipeline de avaliação AQVSO.
NumPyDesenvolvedores NumPyCálculos numéricos e operações matriciais.
OpenCV-PythonOpenCV.orgUsado para carregamento de vídeo, extração de quadros e pré-processamento.
PandasEquipe de Desenvolvimento PandasTratamento de dados, exportação de CSV, tabelas métricas.
Python 3.10 (Linguagem de Programação)Fundação de Software PythonNecessário para executar os scripts do framework AQVSO e bibliotecas dependentes.
scikit-imageReveladores de Imagem ScikitComputação de SSIM, PSNR, MSE.
TensorFlow 2.17.0GoogleBiblioteca de aprendizado profundo usada para construir módulos neurais (SCN, SGA-ConvNet, ASNN, DBN).
QDMEquipe TQDMBarras de progresso para execução em pipeline.
Sistema Operacional Windows 10 (64 bits)Microsoft CorporationSistema operacional usado para experimentos.

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Barakabitze, A. A., Walshe, R. SDN and NFV for QoE-driven multimedia services delivery: The road towards 6G and beyond networks. Comput Netw. 214, 109133(2022).
  2. Konstantoudakis, K., et al. Serverless streaming for emerging media: towards 5G network-driven cost optimization. Multimed Tools Appl. 81 (5), 7123-7162 (2022).
  3. Yang, J., Bashir, A. K., Guo, Z., Yu, K., Guizani, M. Intelligent cache and buffer optimization for mobile VR adaptive transmission. Digit Commun Netw. 9 (2), 456-468 (2023).
  4. Guzmán, P., Arce, P., Guerri, J. C. Automatic QoE evaluation for asymmetric encoding in DASH. Ad Hoc Netw. 106, 102184(2020).
  5. Al-Habashna, A. A., Wainer, G. QoE awareness in progressive caching and DASH-based D2D streaming. Wirel Netw. 26 (3), 2051-2073 (2020).
  6. Lai, P., et al. QoE-aware user allocation in edge computing systems. Future Gener Comput Syst. 112, 684-694 (2020).
  7. Piran, M. J., et al. Multimedia communication over cognitive radio networks. J Netw Comput Appl. 172, 102759(2020).
  8. Malekzadeh, M. QoE and QoS control model for mobile video. Telecommun Syst. 77 (3), 523-541 (2021).
  9. Bakhati, B., et al. Modified quality video TCP-friendly congestion control. Multimed Tools Appl. 80 (16), 20907-20928 (2021).
  10. Chapagain, B., et al. Real-time video and path quality for tele-training. Multimed Tools Appl. 80 (8), 9615-9638 (2021).
  11. Laghari, A. A., et al. QoE assessment of games. Entertain Comput. 34, 100362(2020).
  12. Seufert, A., Schröder, S., Seufert, M. Delivering user experience over networks. SN Comput Sci. 2 (1), 1-18 (2021).
  13. Liu, Z., Qiao, B., Fang, K. QoE-aware encrypted video caching. J Cloud Comput. 9 (1), 1-15 (2020).
  14. Baccour, E., et al. RL-OPRA for resource allocation in crowdsourced video. Future Gener Comput Syst. 112, 982-995 (2020).
  15. Huang, G., Zhang, B., Yao, Z., Li, C. Stochastic rate control for surveillance. Comput Netw. 190, 107904(2021).
  16. Moura, H. D., Macedo, D. F., Vieira, M. A. Wireless QoE control using RL. Comput Commun. 154, 331-346 (2020).
  17. Hung, Y. H., Wang, C. Y., Hwang, R. H. Live streaming optimization in MEC. IEEE Trans Mobile Comput. 19 (4), 922-934 (2020).
  18. Canovas, A., et al. SDN-based multimedia traffic management. J Netw Comput Appl. 150, 102498(2020).
  19. Yue, T., Wang, H., Cheng, S., Shao, J. DL-based QoE evaluation. Neurocomputing. 386, 179-190 (2020).
  20. Felici-Castell, S., Segura-Garcia, J., Garcia-Pineda, M. Adaptive QoE cloud media architecture. Clust Comput. 22 (1), 679-692 (2019).
  21. Saleem, M., Saleem, Y., Hayat, M. F. QoE-aware optimization for mobile cloud. Clust Comput. 23 (2), 1381-1396 (2020).
  22. Zhu, Z., Tan, L., Li, Y., Ji, C. PHDFS for deep learning platforms. J Syst Archit. 109, 101810(2020).
  23. Lin, D., et al. SCA-PVNet: Self- and cross-attention for 3D retrieval. arXiv. , (2023).
  24. Ali, M., et al. Real-time video analytics on edge-enhanced clouds. IEEE Trans Cloud Comput. 10 (2), 792-804 (2022).
  25. Gao, G., Wen, Y. Video transcoding for ABR streaming over edge-cloud. Digit Commun Netw. 7 (4), 598-604 (2021).
  26. Devi, B. A., Choudhry, M. D. Hybrid denoising for IoRT video. Automatika. 65 (2), 510-522 (2024).
  27. Parmar, P., Morris, B. HalluciNet spatiotemporal representation. Signals. 2 (3), 604-618 (2021).
  28. Video transformer without convolutions. Zhang, Y., et al. Proc IEEE/CVF Int Conf Comput Vis, , 13577-13587 (2021).
  29. Darwich, M., Bayoumi, M. Bitrate adaptation with CNN-RNN. Clust Comput. 27, 6355-6375 (2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Adaptive Video StreamingQuality Of Experience5G NetworksMulti Neural NetworkSparse Convolutional NetworkGraph Attention NetworkSpiking Neural NetworksDeep Belief NetworksBandwidth OptimizationContent Aware Streaming

Related Articles