Method Article

Ottimizzazione per lo streaming video di qualità adattiva: un framework multineurale intelligente per migliorare la qualità dell'esperienza nelle reti 5G e oltre

DOI:

10.3791/69387

January 27th, 2026

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo articolo presenta il framework AQVSO (Adaptive Quality Video Streaming Optimization) come integrazione di modelli neurali e di ottimizzazione avanzati progettati per migliorare lo streaming video in reti 5G e di nuova generazione. Il framework migliora la qualità video, riduce il buffer e ottimizza l'uso delle risorse.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

AQVSO (Adaptive Quality Video Streaming Optimization) è un nuovo framework di streaming video che mira a migliorare la qualità dello streaming video e l'utilizzo delle risorse nelle reti 5G & Beyond. Lo studio propone una rete multineurale end-to-end composta da quattro moduli co-correlati che incorporano reti convoluzionali sparse con encoder guidati da policy (SCN-PDE), una rete convoluzionale a attenzione a grafi sparsi (SGA-ConvNet), reti neurali a spiking adattiva (ASNN) e reti di credenze profonde con ottimizzazione delle colonie di formiche (DBN-ACO). Questi elementi si adattano dinamicamente ai cambiamenti della rete basandosi su un modello matematico che mira a trovare un equilibrio tra qualità e utilizzo delle risorse. Esperimenti sul dataset UCF-101 mostrano che AQVSO mantiene punteggi SSIM simili a quelli degli algoritmi all'avanguardia BBA e BOLA (0,977), pur richiedendo molta meno larghezza di banda (4.936/8.000 kbps). Il framework può risparmiare il 38% nel consumo di larghezza di banda mantenendo un'elevata qualità percettiva (PSNR = 45,89 dB) e ha quasi eliminato le occorrenze di buffering. Il sistema raggiunge una certezza dello streaming del 99,9% in condizioni di mobile, CDN (Content Delivery Network) e aziendale, offrendo un reale aumento di prestazioni per i sistemi di distribuzione video in situazioni a risorse limitate. Ciò è reso possibile grazie alla fornitura di un'esperienza utente gestibile e a un uso efficiente delle risorse di rete attraverso decisioni di streaming adattiva e consapevole dei contenuti.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L'obiettivo di questo studio è sviluppare un framework integrato di streaming adattivo multineurale, denominato AQVSO, che ottimizzi congiuntamente la qualità percettiva del video e l'utilizzo della larghezza di banda sotto il 5G dinamico e oltre le condizioni di rete. Il metodo mira a unificare l'analisi dei contenuti, il controllo del tasso e l'allocazione delle risorse in un'unica architettura decisionale per ottenere una Qualità dell'Esperienza (QoE) coerente con requisiti di bitrate significativamente inferiori.

Ottimizzazione dello streaming video di qualità adattiva (AQVSO)

Nell'era del 5G e oltre, AQVSO si sta concentrando sul miglioramento della qualità dell'esperienza (QoE) dello streaming video adottando un modello basato su reti multineurali che bilancia in modo intelligente la qualità percettiva e l'utilizzo dellerisorse 1. Questa strategia di pianificazione consapevole della rete può affrontare la sfida di fornire flussi video di alta qualità in un ambiente di rete variabile nel tempo o instabile, con un consumo di banda ridotto e congestionedei server 2.

Il traffico video rappresenta attualmente oltre l'80% del totale dei dati mobili a livello globale nel 2023, portando la necessità di sistemi di distribuzione multimediale efficienti a un massimostorico 3. Le reti legacy vengono trasformate in reti agili, virtualizzate e basate su software, abilitate da Software Defined Networking (SDN), Network Function Virtualization (NFV), Multi-access Edge Computing (MEC) e cloud/edge computing nell'ambiente 4,5 di quinta generazione (5G). Questi progressi consentono alle applicazioni di nuova generazione con velocità dati più elevate, latenza inferiore e maggiore densitàdi connessione 6.

Dato il crescente livello di concorrenza, la Qualità dell'Esperienza (QoE) è diventata una delle misure più importanti per i fornitoridi servizi 7,8. La QoE non include solo le tradizionali metriche di Qualità del Servizio (QoS), ma aggiunge anche la percezione dell'utente e integra parametri oggettivi della QoS con i fattori di esperienza soggettiva degli utenti, come aspettative, emozioni e preferenze 9,10,11. Per quanto riguarda i servizi multimediali, la QoE influisce direttamente sulla soddisfazione dell'utente finale e può essere considerata una metrica universale per la valutazione complessiva della qualità che collega l'esperienza utente alle prestazioni applicative e dei sistemidi comunicazione 12.

Il QoE dello streaming video si basa su parametri come latenza, bitrate e qualità visiva. La congestione della rete causata dalla crescita dei dati e dalle limitazioni di capacità compromette la continuità della qualità dello streaming13,14. Gli approcci comuni offrono attributi video variabili (con frame rate e risoluzioni distinte), ma la mobilità dell'utente e la variazione dei canali wireless richiedono strategie di gestione piùintelligenti 15, 16, 17.

Le attuali soluzioni di streaming adattivo sono fortemente limitate in condizioni dinamiche. Dynamic Adaptive Streaming over HTTP (DASH) si basa su euristiche lato client che possono fallire in ambienti wirelessimprevedibili 18. Esistono metodi basati sull'apprendimento per rinforzo (RL), come Pensieve, che facilitano l'adattamento ma sono costosi dal punto di vista computazionale e richiedono abbondanti dati diaddestramento 19. L'Algoritmo Basato sul Buffer (BBA) considera principalmente l'occupazione del buffer e ignora la complessità del contenuto e la qualità percettiva20. Il Controllo Predittivo del Modello (MPC) dipende fortemente dalle previsioni della larghezza di banda, che possono fallire in un ambiente mobile21. BOLA (Algoritmo di Lyapunov basato sull'occupazione del buffer) si concentra principalmente sull'utilità di riproduzione e non tiene in considerazione sufficiente l'equità della qualità22.

I recenti progressi che vanno dall'aggregazione di attenzione cross-modale in SCA-PVNet23, all'analisi in tempo reale abilitata per edge in RES24, e a efficiente transcoding edgecloud 25 fino ai framework ibridi di denoising che migliorano la stabilitàdegli input 26 dimostrano i rapidi progressi nell'elaborazione multimediale intelligente. La comprensione migliorata dei contenuti tramite apprendimento spaziotemporale 2D-CNN27 e modellazione video basata sutrasformatori 28, insieme al controllo adattivo del bitrate tramite le architetture CNN-RNN29, costituisce una solida base per l'intelligenza dello streaming di nuova generazione.

AQVSO va oltre questi singoli progressi unificando analisi dei contenuti, modellazione percettiva e decisioni consapevoli della rete in un'unica architettura integrata che offre una QoE costantemente superiore in condizioni wireless dinamiche. AQVSO è fondamentalmente diverso da questi schemi. In questo modo integra codifica video, dinamica di rete, traffico dati, allocazione delle risorse e qualità percettiva dell'utente in modo coordinato. Questo schema di controllo completo supera le carenze dei metodi tradizionali adattivi al tasso coordinando otto meccanismidedicati 23.

Ambito e applicazione

L'ambito di AQVSO include reti mobili 5G e oltre, ambienti di streaming assistito da CDN e scenari cloud aziendali per la ridondanza nella distribuzione video su larga scala. Il framework è sviluppato partendo dall'assunto di nodi di edge computing distribuiti con capacità di inferenza leggere, come nelle attuali reti 5G basate su MEC. Saranno presentate limitazioni contestuali, come il costo computazionale imposto dai componenti neurali e la dipendenza da una previsione precisa dello stato di rete e QoE, specificando quando AQVSO funziona meglio. Il sistema non è inoltre adatto per ambienti a risorse ultra basse senza edge computing, né per applicazioni interattive in tempo reale che richiedono una latenza inferiore a 10ms.

AQVSO è composto da otto tecniche innovative: Adaptive Spiking Neural Network (ASNN) sfruttata per l'ottimizzazione consapevole di contenuti e reti; Algoritmo di controllo del tasso progettato per regolare il bitrate in tempo reale; Deep Belief Network (DBN) utilizzata per la previsione dei modelli di traffico; Ant Colony Optimization (ACO) sfruttata per affrontare il problema di allocazione delle risorse di rete in gioco; Sparse Graph Attention Network (SGA), che modella relazioni complesse tra video e topologia di rete su larga scala; Sparse, Convolutional Network (SCN), che elabora dati ad alta dimensione; Policy-Driven Encoder (PDE), una politica di strategia di codifica adattiva che sfrutta la conoscenza appresa sulle tendenze video nel tempo, e Stream Bayes Change Point Identifier (BCPI), un filtro che rileva spostamenti da diverse dimensioni legate a reti e video. Collettivamente, queste strategie costituiscono il fulcro di AQVSO e forniscono un'ottimizzazione olistica tra cloud, edge e reti mobili, affrontando contemporaneamente la codifica video, la gestione del traffico, l'allocazione delle risorse e l'adattamento della qualità percettiva.

In sintesi, AQVSO offre un framework multineurale unificato che ottimizza congiuntamente la QoE percettiva, la codifica consapevole dei contenuti e l'allocazione delle risorse su reti 5G+, raggiungendo un'efficienza qualità e bitrate superiore.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il software utilizzato è elencato nella Tabella dei Materiali.

Configurazione del dataset

Il dataset UCF-1013 è stato ottenuto ed estratto nella directory Videos/UCF-101 . L'integrità del dataset veniva valutata tramite verifica del checksum o riproduzione manuale, e eventuali file corrotti venivano esclusi dall'elaborazione successiva.

Ambiente computazionale

Tutti gli esperimenti sono stati condotti in Python 3.10 su Windows 10/11 o Ubuntu 20.04+. L'ambiente software includeva tensorflow==2.17.0, opencv-python, scikit-image, numpy, pandas e tqdm. Veniva utilizzato un minimo di 8 GB di RAM e l'accelerazione GPU veniva impiegata quando disponibile.

Estrazione del telaio

I fotogrammi video venivano letti tramite CV2. VideoCapture() e la conversione in scala di grigi venivano effettuate utilizzando cv2.cvtColor. I frame risultanti venivano memorizzati in ordine sequenziale all'interno della directory Frames per preservare la coerenza temporale.

Rete di funzionalità di base

Una rete neurale convoluzionale sequenziale è stata impiegata per elaborare i 224 × 224 frame in scala di grigi. Sono stati utilizzati strati convoluzionali, pooling e densi, e il modello è stato addestrato per cinque epoche con l'ottimizzatore Adam e la perdita binaria di entropia incrociata per stabilire rappresentazioni di caratteristiche di base.

Allocazione e compressione del bitrate

La complessità dei frame a livello di pixel veniva stimata e utilizzata per determinare l'allocazione proporzionale del bitrate. Veniva applicata la compressione JPEG con Q-values adattivi, e i frame processati venivano salvati nella directory Processed per ulteriori valutazioni.

Valutazione della qualità

Per ogni frame elaborato venivano eseguiti calcoli SSIM, PSNR e MSE. Le metriche risultanti venivano compilate in file CSV, e i grafici di visualizzazione venivano generati e memorizzati nella directory Output .

Esecuzione finale

L'intero flusso di lavoro veniva eseguito utilizzando framework.run(). Questa esecuzione ha prodotto l'insieme finale di frame elaborati, riassunti metrici e grafici di valutazione.

1. Ottimizzazione dello streaming video di qualità adattiva

1.1 Panoramica dell'architettura di sistema

Qui viene presentato un metodo per ottimizzare lo streaming video specificamente per reti 5G e oltre attraverso il framework AQVSO. L'approccio combinava diversi elementi all'avanguardia che si completavano a vicenda per migliorare la QoE e massimizzare l'uso delle risorse di rete. Veniva utilizzata una pipeline complessa per elaborare i flussi video, con ogni componente specializzato in un'area specifica dell'ottimizzazione video. Durante tutto il processo di streaming, il sistema ha garantito una manutenzione ottimale della qualità e un'elaborazione bilanciata.

1.2 Pre-elaborazione video e analisi iniziale

1.2.1 Estrazione dei frame e base di qualità

Il framework di ottimizzazione fornito si basava sul passaggio di pre-processing video, che utilizzava tecniche avanzate di analisi per stabilire standard di qualità e preparare il contenuto video per l'elaborazione successiva. All'ingresso nel sistema, un flusso video veniva sottoposto a una procedura accurata di estrazione dei fotogrammi che suddivideva il video in singoli fotogrammi ed esaminava le correlazioni temporali tra i fotogrammi successivi. Questa elaborazione preliminare catturava la dinamica temporale del video e impostava i parametri di elaborazione appropriati per l'intero stream. Per un video in input V, i fotogrammi venivano estratti e processati attraverso la seguente formulazione matematica:

Equazione 101(1)

La risoluzione dei fotogrammi veniva calcolata come m e il conteggio totale dei fotogrammi come n. I fotogrammi venivano estratti preservando la coerenza temporale del video per consentire l'elaborazione parallela nelle fasi successive. La base di qualità è stata stabilita implementando un approccio innovativo alla fusione. Sono stati combinati più metriche di qualità per creare una valutazione di qualità completa. La QoE iniziale complessiva è stata determinata utilizzando i parametri specificati.

Equazione 102(2)

È stata considerata l'importanza di questo approccio di fusione, poiché affrontava i limiti delle singole metriche di qualità. L'Indice di Similarità Strutturale (SSIM) ha catturato aspetti della qualità percettiva che le metriche tradizionali avrebbero potuto trascurare, mentre il Rapporto Segnale-Rumore (PSNR) ha fornito una misurazione oggettiva della qualità, e l'Errore Quadratico Medio (MSE) ha offerto un confronto diretto a livello di pixel. I fattori di ponderazione α1.α 2.α 3 non erano statici; invece, si adattavano dinamicamente in base alle caratteristiche del contenuto. Ilfattore di peso i è stato calcolato usando:

Equazione 103(3)

Dove,

Qi è il sistema i, i = 1,2... n

Qj è il j-esimo frame, j = 1,2... n, i non è uguale a j

I fattoriimportanti μ sono stati determinati attraverso un'ampia analisi empirica di vari tipi di contenuti video per garantire che l'aggiustamento dinamico del peso mantenesse una valutazione della qualità rilevante tra diversi tipi di contenuti video e condizioni di visione. Sono stati considerati fattori come la complessità del movimento, la densità della texture e l'importanza percettiva delle diverse regioni.

1.2.2 Analisi della complessità dei contenuti

La complessità dei contenuti è stata analizzata come componente cruciale del quadro attraverso un approccio multidimensionale che quantificava vari aspetti dei contenuti video. Questa analisi è stata fondamentale per decisioni informate sull'allocazione delle risorse e sui parametri di compressione nelle fasi successive. È stata introdotta una metrica di complessità completa che considerava gli aspetti spaziali, temporali e percettivi dei contenuti video, data da:

Equazione 104(4)

La componente di complessità spaziale Cs(f) è stata calcolata analizzando i dettagli e la distribuzione delle texture all'interno di ogni fotogramma tramite l'analisi del gradiente. Questa misurazione veniva utilizzata per identificare aree che richiedevano una maggiore allocazione di bit per mantenere la qualità.

Equazione 105(5)

La componente di complessità temporale Ct(f) è stata calcolata per quantificare l'intensità del movimento tra fotogrammi consecutivi, poiché questa misurazione era essenziale per prevedere il comportamento di compressione e determinare le dimensioni dei buffer appropriate.

Equazione 106(6)

La componente di complessità percettiva Cp(f) ha integrato modelli di visione umana per dare priorità alle regioni che erano percettivamente significative per gli spettatori.

Equazione 107(7)

1.3 Estrazione di caratteristiche usando reti convoluzionali di attenzione a grafi scarsi

Una nuova architettura Sparse Graph Attention Convolutional Network (SGA-ConvNet) è stata implementata nella fase di estrazione delle caratteristiche di AQVSO, segnando un miglioramento sostanziale rispetto alle reti convoluzionali convenzionali per l'elaborazione video. L'SGA-ConvNet è stato progettato per essere particolarmente adatto alla gestione di dati video ad alta dimensione in contesti a risorse limitate, combinando l'efficacia delle convoluzioni rase con l'adattabilità dei meccanismi di attenzione. Questa architettura di rete affrontava il problema fondamentale della cattura delle dipendenze temporali e spaziali nei contenuti video. Durante l'elaborazione dei fotogrammi video veniva costruito un grafo dinamico, con ogni nodo che rappresentava un punto caratteristico importante e gli archi indicavano come queste caratteristiche si relazionavano tra loro. Il sovraccarico computazionale è stato significativamente ridotto concentrando le risorse sulle regioni rilevanti preservando la connettività scarsa, a differenza delle reti convoluzionali convenzionali. Il funzionamento del core in ciascun livello è stato definito attraverso:

Equazione 108(8)

H(l) rappresentava le rappresentazioni delle caratteristiche allo strato l, con A ̃ che indicava la matrice di adiacenza dell'attenzione normalizzata. W(l) conteneva le matrici di pesi apprendibili e σ rappresentava la funzione di attivazione non lineare. La rete era consentita ad apprendere rappresentazioni gerarchiche delle caratteristiche mantenendo la scarsità nel grafo di calcolo. Il meccanismo di attenzione, cruciale per l'elaborazione adattiva delle caratteristiche, veniva calcolato dai:

Equazione 109(9)

αij rappresentava il coefficiente di attenzione tra i e j, e [hi ∣∣ hj] indicava la concatenazione dei loro vettori caratteristiche. L'attivazione LeakyReLU veniva utilizzata per prevenire gradienti di nullità preservando la capacità della rete di apprendere dalle caratteristiche negative. Il meccanismo di attenzione aggiustava dinamicamente l'importanza delle diverse connessioni di caratteristiche in base alla loro rilevanza per il contenuto del frame corrente.

1.4 Controllo della velocità dinamica tramite reti neurali adattiva a spiking

Il controllo del tasso dinamico è stato implementato nel framework AQVSO (Figura 1) tramite l'architettura ASNN, un approccio biologicamente ispirato alla gestione delle velocità di streaming video. L'ASNN è stato progettato specificamente per gestire la dinamica temporale dello streaming video adattandosi alle condizioni di rete in rapido cambiamento. Questo componente è stato ritenuto cruciale per preservare la qualità dello streaming ottimizzando al contempo l'uso della larghezza di banda in diverse condizioni di rete. Le informazioni venivano elaborate tramite picchi discreti nell'ASNN, imitando le reti neurali biologiche, offrendo diversi vantaggi in termini di efficienza energetica e elaborazione temporale. Il potenziale di membrana dei neuroni che spikano è stato lasciato evolvere secondo il seguente:

Equazione 110(10)

V(t) rappresentava il potenziale di membrana al tempo t, Va riposo era impostato come potenziale di riposo e τm come la costante di tempo della membrana. I(t) è stato calcolato a partire dalle condizioni della rete e dalla complessità dei contenuti. Il rumore adattivo è stato introdotto tramite σ(t)N(0,1) per migliorare la robustezza. Questo termine di rumore aiutava la rete a mantenere la stabilità quando affrontava rapide fluttuazioni nelle condizioni di rete. Il meccanismo di controllo del tasso è stato implementato utilizzando uno schema di adattamento sofisticato:

Equazione 111(11)

R(t) rappresentava il bitrate target, S(t) rappresentava il tasso di picco della rete neurale, B(t) indicava la larghezza di banda disponibile ed E(t) rappresentava il termine di errore derivato da metriche di qualità. Il termine esponenziale expp(-λE(t)) è stato utilizzato per fornire un adattamento fluido alle variazioni di qualità prevenendo al contempo il comportamento oscillatorio nel sistema di controllo del tasso.

1.5 Ottimizzazione della compressione guidata dalla qualità

Un approccio innovativo è stato implementato nella fase di ottimizzazione della compressione che combinava metriche di qualità percettiva con strategie di compressione consapevoli dei contenuti. Questa fase è stata resa fondamentale per ottenere compromessi ottimali tra qualità e dimensione nel flusso video compresso. È stato utilizzato uno schema di compressione adattivo a regione che allocava i bit in base sia all'importanza del contenuto sia ai requisiti di qualità percettiva.

Equazione 112(12)

C (r,t) rappresentava il rapporto di compressione per la regione r al tempo t, e C base(r) veniva usato come rapporto di compressione di base determinato dalla complessità del contenuto. Q(r,t) è stato definito come indicativo del fattore qualità. φi (r,t) è stato implementato per rappresentare vari fattori di aggiustamento, tra cui intensità del movimento, densità dei bordi e importanza percettiva.

1.6 Allocazione delle risorse attraverso reti di credenze profonde con ottimizzazione delle colonie di formiche

Il meccanismo di allocazione delle risorse in AQVSO è stato configurato per implementare un approccio ibrido che combina Deep Belief Networks (DBN) con Ant Colony Optimization (ACO), stabilendo una soluzione innovativa al complesso problema della distribuzione ottimale delle risorse nei sistemi di streaming video. Le capacità di apprendimento delle reti di credenze profonde sono state sfruttate per il riconoscimento di pattern nell'uso delle risorse, mentre i punti di forza di ottimizzazione degli algoritmi di colonie di formiche sono stati utilizzati per decisioni di allocazione delle risorse in tempo reale. Il sistema DBN-ACO è stato progettato per affrontare la sfida fondamentale di bilanciare i requisiti immediati di risorse con gli obiettivi di ottimizzazione a lungo termine in ambienti di rete dinamici. Il componente DBN è stato implementato utilizzando una struttura di apprendimento gerarchica composta da più Restricted Boltzmann Machines (RBM), con ogni livello che cattura schemi sempre più astratti nell'utilizzo delle risorse. La distribuzione di probabilità dell'attivazione delle unità nascoste è stata modellata attraversando:

Equazione 113(13)

hi rappresentava le unità nascoste, v le unità visibili, bi i i i e Wij i i pesi di connessione. Questa modellazione probabilistica è stata utilizzata per catturare dipendenze complesse nei modelli di utilizzo delle risorse mantenendo l'adattabilità alle condizioni mutevoli. La componente ACO è stata implementata con una strategia di ottimizzazione dinamica basata su feromoni.

Equazione 114(14)
Equazione 115(15)

τij rappresentava i livelli di feromoni, con p che fungeva da tasso di evaporazione Δτij (t). era definito come l'aggiornamento dei feromoni, e ηIJ rappresentava il valore euristico basato sulle condizioni attuali della rete e sulla disponibilità delle risorse.

1.7 Gestione adattiva del buffer e recupero errori

Un sofisticato sistema di gestione dei buffer è stato implementato nel framework AQVSO che si adattava dinamicamente alle diverse condizioni di rete e alle caratteristiche dei contenuti. Questo sistema è stato progettato per mantenere la continuità dello streaming minimizzando la latenza e prevenendo condizioni di sottoflusso o overflow del buffer. È stato implementato un approccio adattivo innovativo che considerava sia le statistiche di rete sia la complessità dei contenuti.

Equazione 116(16)

B(t) veniva mantenuto come dimensione target del buffer, QoE(t) come qualità attuale dell'esperienza, σ(t) veniva monitorato come metrica di stabilità di rete e φ(σ(t)) implementato come funzione adattativa per modulare la dimensione del buffer in base alla variabilità della rete. Il meccanismo di recupero errore è stato eseguito utilizzando un approccio multilivello che combinava la prevenzione proattiva degli errori con strategie di recupero reattivo. All'interno del sistema veniva mantenuta una finestra scorrevole di riferimenti ai telai.

Equazione 117(17)

p veniva usato per rappresentare la probabilità di successo di un singolo tentativo di recupero, n veniva preso come il numero di tentativi e T(t) veniva applicato per rappresentare il tempo trascorso dal rilevamento dell'errore. Questo termine di decadimento esponenziale è stato utilizzato per garantire che gli sforzi di recupero fossero adeguatamente prioritizzati in base alla rilevanza temporale.

1.8 Valutazione della qualità e integrazione del feedback

Il sistema di valutazione della qualità ha implementato un approccio completo che combinava molteplici metriche di qualità con fattori di esperienza utente. Questa integrazione è stata cruciale per mantenere un'alta QoE ottimizzando al contempo l'utilizzo delle risorse. Il sistema implementò una nuova fusione metrica di qualità:

Equazione 118(18)

NB(t) veniva calcolato come il rapporto di buffering normalizzato, SB(t) come frequenza di commutazione e M(t) come fattore di qualità del movimento. I pesiw i sono stati regolati dinamicamente in base al tipo di contenuto e alle condizioni di visione.

Equazione 119(19)

Θi era rappresentato come i pesi base, e f(C(t)) veniva applicato come funzione di aggiustamento dipendente dal contenuto. Il sistema di integrazione a retroazione è stato implementato come un meccanismo di controllo ad anello chiuso.

Equazione 120(20)

e(t) era impostato per rappresentare l'errore tra la metrica di qualità target e quella raggiunta, mentre K1,K 2,K 3 erano definiti come parametri di guadagno adattivi che si adattavano in base alle condizioni di rete e alle caratteristiche del contenuto.

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Presentare un'analisi approfondita delle prestazioni del sistema proposto e riportare i risultati dell'implementazione. Includi una sezione di confronto per confermare che il sistema sia adatto a Neuro Cloud Stream, un approccio ML basato su cloud. La Figura 2 illustra il flusso di lavoro del sistema AQVSO.

Descrizione del dataset

Per valutare il framework AQVSO, utilizza una raccolta diversificata di contenuti video ch...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il framework Adaptive Quality Video Streaming Optimization (AQVSO) è un motore di elaborazione multimediale basato su un'architettura di integrazione di codec multi-modulo integrata per migliorare dinamicamente la qualità percettiva del video e l'adattività del bitrate nelle reti wireless. A differenza di singoli predittori o controllori di velocità, ad esempio, AQVSO utilizza SCN-PDE per migliorare la consapevolezza del movimento, SGA-ConvNet per la modellazione dell'attenzione spaziote...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori non hanno conflitti di interesse da divulgare.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori riconoscono l'uso di uno strumento di creazione di flussi con IA per generare il diagramma a blocchi del framework (Figura 1) presentato in questo manoscritto.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
8 GB di RAMGenericoMemoria minima richiesta per eseguire gli esperimenti.
Processore Intel Core i5Intel CorporationCPU utilizzata per la pipeline di valutazione AQVSO.
NumPySviluppatori NumPyCalcoli numerici e operazioni matriciali.
OpenCV-PythonOpenCV.orgUtilizzato per il caricamento video, l'estrazione dei fotogrammi e la pre-elaborazione.
PandasTeam di sviluppo PandasGestione dati, esportazione CSV, tabelle delle metriche.
Python 3.10 (Linguaggio di programmazione)Python Software FoundationNecessaria per eseguire gli script del framework AQVSO e le librerie dipendenti.
scikit-imageRivelatori Scikit-ImageCalcolo SSIM, PSNR, MSE.
TensorFlow 2.17.0GoogleLibreria di deep learning utilizzata per costruire moduli neurali (SCN, SGA-ConvNet, ASNN, DBN).
QDMTQDM TeamBarre di progresso per l'esecuzione della pipeline.
Sistema operativo Windows 10 (64 bit)Microsoft CorporationSistema operativo utilizzato per gli esperimenti.

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Barakabitze, A. A., Walshe, R. SDN and NFV for QoE-driven multimedia services delivery: The road towards 6G and beyond networks. Comput Netw. 214, 109133(2022).
  2. Konstantoudakis, K., et al. Serverless streaming for emerging media: towards 5G network-driven cost optimization. Multimed Tools Appl. 81 (5), 7123-7162 (2022).
  3. Yang, J., Bashir, A. K., Guo, Z., Yu, K., Guizani, M. Intelligent cache and buffer optimization for mobile VR adaptive transmission. Digit Commun Netw. 9 (2), 456-468 (2023).
  4. Guzmán, P., Arce, P., Guerri, J. C. Automatic QoE evaluation for asymmetric encoding in DASH. Ad Hoc Netw. 106, 102184(2020).
  5. Al-Habashna, A. A., Wainer, G. QoE awareness in progressive caching and DASH-based D2D streaming. Wirel Netw. 26 (3), 2051-2073 (2020).
  6. Lai, P., et al. QoE-aware user allocation in edge computing systems. Future Gener Comput Syst. 112, 684-694 (2020).
  7. Piran, M. J., et al. Multimedia communication over cognitive radio networks. J Netw Comput Appl. 172, 102759(2020).
  8. Malekzadeh, M. QoE and QoS control model for mobile video. Telecommun Syst. 77 (3), 523-541 (2021).
  9. Bakhati, B., et al. Modified quality video TCP-friendly congestion control. Multimed Tools Appl. 80 (16), 20907-20928 (2021).
  10. Chapagain, B., et al. Real-time video and path quality for tele-training. Multimed Tools Appl. 80 (8), 9615-9638 (2021).
  11. Laghari, A. A., et al. QoE assessment of games. Entertain Comput. 34, 100362(2020).
  12. Seufert, A., Schröder, S., Seufert, M. Delivering user experience over networks. SN Comput Sci. 2 (1), 1-18 (2021).
  13. Liu, Z., Qiao, B., Fang, K. QoE-aware encrypted video caching. J Cloud Comput. 9 (1), 1-15 (2020).
  14. Baccour, E., et al. RL-OPRA for resource allocation in crowdsourced video. Future Gener Comput Syst. 112, 982-995 (2020).
  15. Huang, G., Zhang, B., Yao, Z., Li, C. Stochastic rate control for surveillance. Comput Netw. 190, 107904(2021).
  16. Moura, H. D., Macedo, D. F., Vieira, M. A. Wireless QoE control using RL. Comput Commun. 154, 331-346 (2020).
  17. Hung, Y. H., Wang, C. Y., Hwang, R. H. Live streaming optimization in MEC. IEEE Trans Mobile Comput. 19 (4), 922-934 (2020).
  18. Canovas, A., et al. SDN-based multimedia traffic management. J Netw Comput Appl. 150, 102498(2020).
  19. Yue, T., Wang, H., Cheng, S., Shao, J. DL-based QoE evaluation. Neurocomputing. 386, 179-190 (2020).
  20. Felici-Castell, S., Segura-Garcia, J., Garcia-Pineda, M. Adaptive QoE cloud media architecture. Clust Comput. 22 (1), 679-692 (2019).
  21. Saleem, M., Saleem, Y., Hayat, M. F. QoE-aware optimization for mobile cloud. Clust Comput. 23 (2), 1381-1396 (2020).
  22. Zhu, Z., Tan, L., Li, Y., Ji, C. PHDFS for deep learning platforms. J Syst Archit. 109, 101810(2020).
  23. Lin, D., et al. SCA-PVNet: Self- and cross-attention for 3D retrieval. arXiv. , (2023).
  24. Ali, M., et al. Real-time video analytics on edge-enhanced clouds. IEEE Trans Cloud Comput. 10 (2), 792-804 (2022).
  25. Gao, G., Wen, Y. Video transcoding for ABR streaming over edge-cloud. Digit Commun Netw. 7 (4), 598-604 (2021).
  26. Devi, B. A., Choudhry, M. D. Hybrid denoising for IoRT video. Automatika. 65 (2), 510-522 (2024).
  27. Parmar, P., Morris, B. HalluciNet spatiotemporal representation. Signals. 2 (3), 604-618 (2021).
  28. Video transformer without convolutions. Zhang, Y., et al. Proc IEEE/CVF Int Conf Comput Vis, , 13577-13587 (2021).
  29. Darwich, M., Bayoumi, M. Bitrate adaptation with CNN-RNN. Clust Comput. 27, 6355-6375 (2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Adaptive Video StreamingQuality Of Experience5G NetworksMulti Neural NetworkSparse Convolutional NetworkGraph Attention NetworkSpiking Neural NetworksDeep Belief NetworksBandwidth OptimizationContent Aware Streaming

Related Articles