Method Article

Adaptieve kwaliteit videostreaming optimalisatie: een intelligent multi-neuraal kader voor verbeterde kwaliteit van ervaring in 5G- en daarbuiten-netwerken

DOI:

10.3791/69387

January 27th, 2026

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit artikel presenteert het AQVSO (Adaptive Quality Video Streaming Optimization) framework als een integratie van geavanceerde neurale en optimalisatiemodellen die zijn ontworpen om videostreaming in 5G- en next-generation netwerken te verbeteren. Het framework verbetert de videokwaliteit, vermindert buffering en optimaliseert het gebruik van middelen.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

AQVSO (Adaptive Quality Video Streaming Optimization) is een nieuw videostreamingframework dat tot doel heeft de kwaliteit van videostreaming en het gebruik van middelen in 5G & Beyond-netwerken te verbeteren. De studie stelt een end-to-end multi-neuraal netwerk voor, bestaande uit vier co-gerelateerde modules die sparse convolutionele netwerken met policy-driven encoders (SCN-PDE), een sparse graph attention convolutioneel netwerk (SGA-ConvNet), adaptive spiking neural networks (ASNN) en deep belief networks met mierenkolonie-optimalisatie (DBN-ACO) bevatten. Deze elementen passen zich dynamisch aan aan netwerkveranderingen op basis van een wiskundig model dat een balans wil vinden tussen kwaliteit en gebruik van middelen. Experimenten op de UCF-101 dataset tonen aan dat AQVSO SSIM-scores behoudt die vergelijkbaar zijn met die van state-of-the-art algoritmes BBA en BOLA (0,977), terwijl veel minder bandbreedte nodig is (4.936/8.000 kbps). Het framework kan 38% besparing in bandbreedte besparen terwijl het een hoge perceptuele kwaliteit (PSNR = 45,89 dB) behoudt en heeft buffering-incidenten vrijwel geëlimineerd. Het systeem bereikt 99,9% streamingzekerheid onder mobiele, CDN (Content Delivery Network) en bedrijfsomstandigheden, wat een daadwerkelijke prestatieverbetering biedt voor videoleveringssystemen in situaties met beperkte middelen. Dit wordt mogelijk gemaakt door een beheersbare gebruikerservaring en efficiënt gebruik van netwerkbronnen via adaptieve, inhoudsbewuste streamingbeslissingen.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het doel van deze studie is het ontwikkelen van een geïntegreerd multi-neuraal adaptief streamingframework, genaamd AQVSO, dat gezamenlijk de perceptuele videokwaliteit en het bandbreedtegebruik optimaliseert onder dynamische 5G- en daarbuiten netwerkcondities. De methode heeft als doel contentanalyse, snelheidscontrole en resource-allocatie te verenigen in één besluitarchitectuur om consistente Quality of Experience (QoE) te bereiken met aanzienlijk lagere bitrate-eisen.

Adaptieve Kwaliteit Videostreaming Optimalisatie (AQVSO)

In het tijdperk van 5G en daarna richt AQVSO zich op het verbeteren van de kwaliteit van videostreaming (QoE) door een multi-neuraal netwerkgebaseerd model te adopteren dat op intelligente wijze een balans houdt tussen perceptuele kwaliteit enhet gebruik van middelen. Deze netwerkbewuste planningsstrategie kan de uitdaging aanpakken om hoogwaardige videostreams te leveren in een tijdsvariabele of instabiele netwerkomgeving met verminderd bandbreedteverbruik en servercongestie2.

Videoverkeer is momenteel goed voor meer dan 80% van de totale mobiele data wereldwijd in 2023, waardoor de behoefte aan efficiënte multimedia-leveringssystemen tot een recordhoogtevan 3 stijgt. Legacy-netwerken worden getransformeerd tot agile, gevirtualiseerde, softwaregebaseerde netwerken die mogelijk worden gemaakt door Software Defined Networking (SDN), Network Function Virtualization (NFV), Multi-access Edge Computing (MEC) en cloud/edge computing in de vijfde generatie (5G) omgeving 4,5. Deze ontwikkelingen maken next-generation applicaties mogelijk met snellere datasnelheden, lagere latentie en een hogere verbindingsdichtheid6.

Gezien de toenemende concurrentie is Quality of Experience (QoE) een van de belangrijkste maatstaven geworden voor dienstverleners 7,8. QoE omvat niet alleen de traditionele Quality of Service (QoS)-metrics, maar voegt ook gebruikersperceptie toe en integreert objectieve QoS-parameters met de subjectieve ervaringsfactoren van gebruikers, zoals verwachtingen, emoties en voorkeuren 9,10,11. Met betrekking tot multimediadiensten beïnvloedt QoE direct de tevredenheid van eindgebruikers en kan het worden beschouwd als een universele maatstaf voor algehele kwaliteitsbeoordeling die de gebruikerservaring koppelt aan de prestaties van applicatie- en communicatiesystemen12.

QoE van videostreaming is afhankelijk van parameters zoals latentie, bitrate en visuele kwaliteit. Netwerkcongestie veroorzaakt door datagroei en capaciteitsbeperkingen belemmert de continuïteit van streamingkwaliteit13,14. Veelgebruikte benaderingen bieden variabele videoattributen (met verschillende framerates en resoluties), maar gebruikersmobiliteit en draadloze kanaalvariatie vereisen intelligentere beheerstrategieën 15,16,17.

Huidige adaptieve streamingoplossingen zijn sterk beperkt in dynamische omstandigheden. Dynamic Adaptive Streaming over HTTP (DASH) is afhankelijk van client-side heuristieken die kunnen haperen in onvoorspelbare draadloze omgevingen18. Er zijn op reinforcement learning (RL)-gebaseerde methoden, zoals Pensieve, die aanpassing vergemakkelijken maar rekenkrachtig zijn en veeltrainingsdata vereisen. Buffer-Based Algorithm (BBA) houdt voornamelijk rekening met bufferbezetting en negeert contentcomplexiteit en perceptuele kwaliteit20. Model Predictive Control (MPC) is sterk afhankelijk van bandbreedtevoorspellingen, die kunnen falen in een mobiele omgeving21. BOLA (Buffer Occupancy-gebaseerd Lyapunov-algoritme) richt zich voornamelijk op het afspeelprogramma en houdt geen voldoende rekening met kwaliteitseerlijkheid22.

Recente ontwikkelingen, variërend van cross-modale aandachtsaggregatie in SCA-PVNet23, edge-enabled realtime analytics in RES24 en efficiënte edge cloud transcoding25 tot hybride denoising-frameworks die de inputstabiliteit verbeteren26 tonen de snelle vooruitgang in intelligente multimediaverwerking aan. Verbeterd inhoudsbegrip via 2D-CNN ruimtelijk leren27 en transformer-gebaseerde videomodellering28, samen met adaptieve bitrate-controle via CNN-RNN architecturen29, vormen een sterke basis voor next-generation streaming intelligence.

AQVSO gaat verder dan deze individuele ontwikkelingen door contentanalyse, perceptuele modellering en netwerkbewuste besluitvorming te verenigen in één geïntegreerde architectuur die consequent superieure QoE levert onder dynamische draadloze omstandigheden. AQVSO is fundamenteel anders dan deze schema's. Daarin integreert het videocodering, netwerkdynamiek, dataverkeer en resourceallocatie en gebruikersperceptuele kwaliteit gezamenlijk op een gecoördineerde manier. Dit uitgebreide controlesysteem overwint de tekortkomingen van traditionele snelheidsadaptieve methoden door acht toegewijde mechanismente coördineren.

Reikwijdte en toepassing

De reikwijdte van AQVSO omvat mobiele 5G- en daarbuiten-netwerken, door CDN ondersteunde streamingomgevingen en enterprise cloud-scenario's voor redundantie bij grootschalige videolevering. Het framework is ontwikkeld onder de aanname van gedistribueerde edge-computing nodes met lichtgewicht inferentiemogelijkheden, zoals in de huidige MEC-gebaseerde 5G-netwerken. Contextuele beperkingen, zoals rekenkosten veroorzaakt door neurale componenten en het vertrouwen op precieze netwerk- en QoE-toestandsvoorspelling, zullen worden gepresenteerd, waarbij wordt aangegeven wanneer AQVSO het beste werkt. Het systeem is ook niet geschikt voor ultra-laag-resource omgevingen zonder edge computing, of voor realtime interactieve toepassingen die een latentie van minder dan 10 ms vereisen.

AQVSO bestaat uit acht nieuwe technieken: Adaptive Spiking Neural Network (ASNN), ingezet voor content- en netwerkbewuste optimalisatie; Rate Control Algorithm ontworpen om de bitrate in realtime aan te passen; Deep Belief Network (DBN) gebruikt voor het voorspellen van verkeerspatroonen; Ant Colony Optimization (ACO) benut om het probleem van de toewijzing van netwerkmiddelen aan te pakken; Sparse Graph Attention Network (SGA), dat ingewikkelde relaties tussen video en de netwerktopologie op grote schaal modelleert; Sparse Convolutioneel Netwerk (SCN), dat hoogdimensionale data verwerkt; Policy-Driven Encoder (PDE), een adaptief coderingsstrategiebeleid dat gebruikmaakt van de geleerde kennis over videotrends in de loop van de tijd, en Stream Bayes Change Point Identifier (BCPI), een filter dat verschuivingen detecteert vanuit verschillende dimensies gerelateerd aan netwerken en video's. Gezamenlijk vormen deze strategieën de kern van AQVSO en bieden ze holistische optimalisatie over cloud-, edge- en mobiele netwerken door tegelijkertijd videocodering, verkeersbeheer, resourceallocatie en perceptuele kwaliteitsaanpassing aan te pakken.

Samenvattend levert AQVSO een uniform multi-neuraal kader dat gezamenlijk perceptuele QoE, contentbewuste codering en resource-allocatie over 5G+-netwerken optimaliseert, waarmee superieure kwaliteits-bitrate-efficiëntie wordt bereikt.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De gebruikte software staat vermeld in de Materiaaloverzicht.

Dataset-opstelling

De UCF-1013 dataset werd verkregen en gepakt in de Videos/UCF-101 directory. De integriteit van de dataset werd beoordeeld via checksumverificatie of handmatige weergave, en eventuele beschadigde bestanden werden uitgesloten van latere verwerking.

Computationele omgeving

Alle experimenten werden uitgevoerd in Python 3.10 op Windows 10/11 of Ubuntu 20.04+. De softwareomgeving omvatte tensorflow==2.17.0, opencv-python, scikit-image, numpy, pandas en tqdm. Er werd minimaal 8 GB RAM gebruikt, en GPU-versnelling werd toegepast wanneer beschikbaar.

Frame-extractie

Videoframes werden gelezen met behulp van CV2. VideoCapture()- en grijswaardenconversie werd uitgevoerd met cv2.cvtColor. De resulterende frames werden in opeenvolgende volgorde opgeslagen binnen de Frames-directory om de temporele consistentie te behouden.

Basiskenkenschapsnetwerk

Een sequentieel convolutioneel neuraal netwerk werd gebruikt om de 224 × 224 grijstonenframes te verwerken. Convolutionele, pooling- en dichte lagen werden gebruikt, en het model werd vijf tijdperken getraind met de Adam-optimizer en Binary Cross-Entropy loss om basisrepresentaties van kenmerken te creëren.

Bitrate-toewijzing en compressie

De framecomplexiteit op pixelniveau werd geschat en gebruikt om de proportionele bitrate-toewijzing te bepalen. JPEG-compressie met adaptieve Q-waarden werd toegepast en de verwerkte frames werden opgeslagen in de Verwerkt-map voor verdere evaluatie.

Kwaliteitsevaluatie

SSIM-, PSNR- en MSE-berekeningen werden uitgevoerd voor elk verwerkt frame. De resulterende metrics werden gecompileerd in CSV-bestanden, en visualisatiegrafieken werden gegenereerd en opgeslagen in de Output-map .

Definitieve executie

De volledige workflow werd uitgevoerd met framework.run(). Deze uitvoering leverde de uiteindelijke set verwerkte frames, statistieksamenvattingen en evaluatiegrafieken op.

1. Adaptieve kwaliteit videostreaming optimalisatie

1.1 Overzicht van de systeemarchitectuur

Hier wordt een methode gepresenteerd om videostreaming specifiek te optimaliseren voor 5G- en andere netwerken via het AQVSO-framework. De aanpak combineerde verschillende geavanceerde elementen die elkaar aanvulden om QoE te verbeteren en het gebruik van netwerkbronnen te maximaliseren. Er werd een complexe pijplijn gebruikt om videostreams te verwerken, waarbij elk component zich specialiseerde in een bepaald gebied van video-optimalisatie. Gedurende het hele streamingproces zorgde het systeem voor optimaal kwaliteitsbehoud en evenwichtige verwerking.

1.2 Video-voorbewerking en initiële analyse

1.2.1 Frame-extractie en kwaliteitsbaseline

Het gegeven optimalisatiekader was gebaseerd op de video-voorbewerkingsstap, die geavanceerde analysetechnieken gebruikte om kwaliteitsnormen vast te stellen en de videocontent voor te bereiden op latere verwerking. Bij het binnenkomen in het systeem werd een videostream onderworpen aan een grondige frame-extractieprocedure waarbij de video werd opgesplitst in individuele frames en temporele correlaties tussen opeenvolgende frames werden onderzocht. Deze voorlopige verwerking legde de temporele dynamiek van de video vast en stelde de juiste verwerkingsparameters vast voor de gehele stroom. Voor een invoervideo V werden frames geëxtraheerd en verwerkt via de volgende wiskundige formulering:

Vergelijking 101(1)

De frameresolutie werd berekend als m en het totale aantal frames als n. Frames werden geëxtraheerd terwijl de temporele coherentie van de video behouden bleef om parallelle verwerking in latere fasen mogelijk te maken. De kwaliteitsbasis werd vastgesteld door een nieuwe fusiebenadering te implementeren. Meerdere kwaliteitsindicatoren werden gecombineerd om een uitgebreide kwaliteitsbeoordeling te creëren. De totale initiële QoE werd bepaald met behulp van de gespecificeerde parameters.

Vergelijking 102(2)

Het belang van deze fusiebenadering werd overwogen, omdat het de beperkingen van individuele kwaliteitsmetrics aanpakte. De Structural Similarity Index (SSIM) legde perceptuele kwaliteitsaspecten vast die traditionele metrics misschien over het hoofd zagen, terwijl de Peak Signal-to-Noise Ratio (PSNR) een objectieve kwaliteitsmeting bood en de Mean Squared Error (MSE) een directe pixelvergelijking. De weegfactoren α1,α 2,α 3 waren niet statisch; in plaats daarvan pasten ze zich dynamisch aan op basis van inhoudelijke kenmerken. Dei-de gewichtsfactor werd berekend met behulp van:

Vergelijking 103(3)

Waar,

Qi is het i-de frame, i = 1,2... n

Qj is het j-de frame, j = 1,2... N, i is niet gelijk aan j

De belangrijke factoren μi werden bepaald door uitgebreide empirische analyse van verschillende videocontenttypes om ervoor te zorgen dat de dynamische gewichtsaanpassing relevante kwaliteitsbeoordeling handhaafde over verschillende typen videocontent en kijkomstandigheden. Factoren zoals bewegingscomplexiteit, textuurdichtheid en het perceptuele belang van verschillende regio's werden meegenomen.

1.2.2 Analyse van inhoudscomplexiteit

Contentcomplexiteit werd geanalyseerd als een cruciaal onderdeel van het framework via een multidimensionale benadering die verschillende aspecten van videocontent kwantificeerde. Deze analyse was fundamenteel voor weloverwogen beslissingen over resourceallocatie en compressieparameters in latere fasen. Er werd een uitgebreide complexiteitsmetriek geïntroduceerd die ruimtelijke, temporele en perceptuele aspecten van videocontent in overweging nam, gegeven door:

Vergelijking 104(4)

De ruimtelijke complexiteitscomponent Cs(f) werd berekend door de detail- en textuurverdeling binnen elk frame te analyseren via gradiëntanalyse. Deze meting werd gebruikt om gebieden te identificeren die een hogere bitallocatie vereisten om kwaliteit te behouden.

Vergelijking 105(5)

De temporele complexiteitscomponent Ct(f) werd berekend om de bewegingsintensiteit tussen opeenvolgende frames te kwantificeren, aangezien deze meting essentieel was voor het voorspellen van compressiegedrag en het bepalen van geschikte buffergroottes.

Vergelijking 106(6)

De perceptuele complexiteitscomponent Cp(f) integreerde menselijke zichtmodellen om gebieden te prioriteren die perceptueel belangrijk waren voor kijkers.

Vergelijking 107(7)

1.3 Feature-extractie met behulp van spaarzame grafaandacht-convolutionele netwerken

Een nieuwe Sparse Graph Attention Convolutional Network (SGA-ConvNet) architectuur werd geïmplementeerd in de feature-extractiefase van AQVSO, wat een aanzienlijke verbetering betekende ten opzichte van conventionele convolutionele netwerken voor videoverwerking. De SGA-ConvNet is ontworpen om bijzonder geschikt te zijn voor het verwerken van videodata met hoge afmetingen in omgevingen met beperkte middelen, door de effectiviteit van spaar convoluties te combineren met de aanpasbaarheid van aandachtsmechanismen. Deze netwerkarchitectuur heeft het fundamentele probleem van het vastleggen van temporele en ruimtelijke afhankelijkheden in videocontent aangepakt. Tijdens de videoframeverwerking werd een dynamische grafiek gebouwd, waarbij elke knoop een belangrijk kenmerkpunt vertegenwoordigde en randen aangaven hoe deze kenmerken zich tot elkaar verhielden. De computationele overhead werd aanzienlijk verminderd door middelen te concentreren op relevante regio's, terwijl de beperkte connectiviteit behouden bleef, in tegenstelling tot conventionele convolutionele netwerken. De kernoperatie op elke laag werd gedefinieerd door:

Vergelijking 108(8)

H(l) vertegenwoordigde de kenmerkrepresentaties op laag l, waarbij A ̃ de genormaliseerde aandachts-adjacentiematrix aanduidde. W(l) bevatte de leerbare gewichtmatrices, en σ vertegenwoordigde de niet-lineaire activatiefunctie. Het netwerk kon hiërarchische feature-representaties leren terwijl de schaarsheid in de computatiegraaf behouden bleef. Het aandachtsmechanisme, dat cruciaal was voor adaptieve feature-verwerking, werd berekend door:

Vergelijking 109(9)

αij vertegenwoordigde de aandachtscoëfficiënt tussen knopen i en j, en [hi ∣∣ hj] duidde de concatenatie van hun kenmerkvectoren aan. De LeakyReLU-activatie werd gebruikt om verdwijnende gradiënten te voorkomen, terwijl het netwerk het vermogen om van negatieve kenmerken te leren behouden bleef. Het aandachtsmechanisme paste dynamisch het belang van verschillende feature-verbindingen aan op basis van hun relevantie voor de inhoud van het huidige frame.

1.4 Dynamische snelheidsregeling via adaptieve spiking neurale netwerken

Dynamische snelheidscontrole werd geïmplementeerd in het AQVSO-framework (Figuur 1) via de ASNN-architectuur, een biologisch geïnspireerde benadering voor het beheren van videostreamingsnelheden. De ASNN is specifiek ontworpen om de temporele dynamiek van videostreaming aan te kunnen, terwijl het zich aanpast aan snel veranderende netwerkomstandigheden. Deze component werd als cruciaal beschouwd voor het behouden van streamingkwaliteit en het optimaliseren van het bandbreedtegebruik over verschillende netwerkomstandigheden. Informatie werd verwerkt via discrete pieken in de ASNN, die biologische neurale netwerken nabootsten, wat verschillende voordelen bood op het gebied van energie-efficiëntie en temporele verwerking. Het membraanpotentiaal van de spikerende neuronen mocht evolueren volgende:

Vergelijking 110(10)

V(t) vertegenwoordigde het membraanpotentiaal op tijd t, Vrust werd ingesteld als rustpotentiaal, en τm werd gedefinieerd als de membraantijdconstante. I(t) werd berekend op basis van netwerkcondities en contentcomplexiteit. Adaptieve ruis werd geïntroduceerd via σ(t)N(0,1) om de robuustheid te verbeteren. Deze ruisterm hielp het netwerk stabiliteit te behouden bij snelle schommelingen in netwerkomstandigheden. Het snelheidsregelingsmechanisme werd geïmplementeerd met behulp van een geavanceerd aanpassingsschema:

Vergelijking 111(11)

R(t) stond voor de doelbitrate, S(t) voor de pieksnelheid van het neuraal netwerk, B(t) voor de beschikbare bandbreedte, en E(t) voor de foutterm afgeleid van kwaliteitsmetrics. De exponentiële term expp(-λE(t)) werd gebruikt om een soepele aanpassing aan kwaliteitsvariaties te bieden, terwijl oscillerende gedraging in het snelheidscontrolesysteem werd voorkomen.

1.5 Kwaliteitsgedreven compressieoptimalisatie

In de compressieoptimalisatiefase werd een nieuwe benadering geïmplementeerd die perceptuele kwaliteitsindicatoren combineerde met inhoudsbewuste compressiestrategieën. Deze fase werd fundamenteel gemaakt voor het bereiken van optimale afwegingen tussen kwaliteit en grootte in de gecomprimeerde videostroom. Er werd een regio-adaptief compressieschema gebruikt dat bits toekende op basis van zowel inhoudsbelang als perceptuele kwaliteitsvereisten.

Vergelijking 112(12)

C (r,t) vertegenwoordigde de compressieverhouding voor regio r op tijdstip t, en Cbase(r) werd gebruikt als basiscompressieverhouding bepaald door inhoudscomplexiteit. Q(r,t) werd gedefinieerd als aanduiding van de kwaliteitsfactor. φi (r,t) werd geïmplementeerd om verschillende aanpassingsfactoren weer te geven, waaronder bewegingsintensiteit, randdichtheid en perceptuele belangrijkheid.

1.6 Resource-allocatie via diepe geloofsnetwerken met mierenkolonieoptimalisatie

Het resourceallocatiemechanisme in AQVSO werd geconfigureerd om een hybride benadering te implementeren waarbij Deep Belief Networks (DBN) werden gecombineerd met Ant Colony Optimization (ACO), waarmee een nieuwe oplossing werd gecreëerd voor het complexe probleem van optimale resourcedistributie in videostreamingsystemen. De leermogelijkheden van deep belief networks werden benut voor patroonherkenning bij het gebruik van middelen, terwijl de optimalisatie-sterktes van mierenkolonie-algoritmen werden benut voor realtime beslissingen over resource-allocatie. Het DBN-ACO-systeem is ontworpen om de fundamentele uitdaging aan te pakken om directe resourcebehoeften te balanceren met langetermijnoptimalisatiedoelen in dynamische netwerkomgevingen. De DBN-component werd geïmplementeerd met behulp van een hiërarchische leerstructuur bestaande uit meerdere Restricted Boltzmann Machines (RBM's), waarbij elke laag steeds abstractere patronen in het gebruik van middelen vastlegde. De kansverdeling van activatie van verborgen eenheden werd gemodelleerd door:

Vergelijking 113(13)

hi stond voor de verborgen eenheden, v voor de zichtbare eenheden, bi voor de bias-termen en Wij voor de verbindingsgewichten. Deze probabilistische modellering werd gebruikt om complexe afhankelijkheden in resourcegebruikpatronen vast te leggen, terwijl de aanpassingsvermogen aan veranderende omstandigheden behouden bleef. De ACO-component werd geïmplementeerd met een dynamische feromoongebaseerde optimalisatiestrategie.

Vergelijking 114(14)
Vergelijking 115(15)

τij vertegenwoordigde de feromoonniveaus, waarbij p de verdampingssnelheid Δτij (t) was. werd gedefinieerd als de feromoonupdate, en ηij de heuristische waarde vertegenwoordigde op basis van de huidige netwerkomstandigheden en beschikbaarheid van middelen.

1.7 Adaptief bufferbeheer en foutherstel

Een geavanceerd bufferbeheersysteem werd geïmplementeerd in het AQVSO-raamwerk dat zich dynamisch aanpaste aan wisselende netwerkomstandigheden en inhoudskenmerken. Dit systeem is ontworpen om de continuïteit van streaming te behouden, terwijl latentie wordt geminimaliseerd en buffer-onder- of overloopcondities worden voorkomen. Er werd een nieuwe adaptieve benadering ingezet die zowel netwerkstatistieken als contentcomplexiteit meenam.

Vergelijking 116(16)

B(t) werd gehandhaafd als de doelbuffergrootte, QoE(t) werd gemeten als de huidige kwaliteit van de ervaring, σ(t) werd bijgehouden als de netwerkstabiliteitsmetriek, en φ(σ(t)) werd geïmplementeerd als een adaptieve functie om de buffergrootte te moduleren op basis van netwerkvariabiliteit. Het foutherstelmechanisme werd uitgevoerd met een meerlaagse aanpak die proactieve foutpreventie combineerde met strategieën voor reactief herstel. Een schuifvenster van framereferenties werd binnen het systeem behouden.

Vergelijking 117(17)

p werd gebruikt om de slagingskans van een enkele herstelpoging weer te geven, n werd genomen als het aantal pogingen, en T(t) werd toegepast om de tijd sinds foutdetectie weer te geven. Deze exponentiële vervalterm werd gebruikt om ervoor te zorgen dat herstelinspanningen correct werden geprioriteerd op basis van temporele relevantie.

1.8 Kwaliteitsbeoordeling en feedbackintegratie

Het kwaliteitsbeoordelingssysteem implementeerde een allesomvattende aanpak die meerdere kwaliteitsindicatoren combineerde met gebruikerservaringsfactoren. Deze integratie was cruciaal om een hoge QoE te behouden en tegelijkertijd het gebruik van middelen te optimaliseren. Het systeem implementeerde een nieuwe fusie van kwaliteitsmetriek:

Vergelijking 118(18)

NB(t) werd berekend als de genormaliseerde bufferingverhouding, SB(t) als de schakelfrequentie, en M(t) als de bewegingskwaliteitsfactor. De gewichten wi werden dynamisch aangepast op basis van het type inhoud en de kijkomstandigheden.

Vergelijking 119(19)

Θi werd weergegeven als de basisgewichten, en f(C(t)) werd toegepast als een inhoudsafhankelijke aanpassingsfunctie. Het feedback-integratiesysteem werd geïmplementeerd als een gesloten-lus besturingsmechanisme.

Vergelijking 120(20)

e(t) werd ingesteld om de fout tussen de doel- en behaalde kwaliteitsmetrics weer te geven, en K1, K2, K3 werden gedefinieerd als adaptieve gainparameters die zich aanpasten op basis van netwerkcondities en inhoudskenmerken.

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Presenteer een grondige analyse van de prestaties van het voorgestelde systeem en rapporteer de implementatieresultaten. Voeg een vergelijkingssectie toe om te bevestigen dat het systeem geschikt is voor Neuro Cloud Stream, een cloudgebaseerde ML-benadering. Figuur 2 illustreert de workflow van het AQVSO-systeem.

Datasetbeschrijving

Om het AQVSO-kader te evalueren, gebruik je een diverse verzameling videocontent die var...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het Adaptive Quality Video Streaming Optimization (AQVSO) framework is een multimediaverwerkingsengine gebaseerd op een embedded multi-module codec-integratiearchitectuur om de perceptuele videokwaliteit en bitrate-adaptiviteit in draadloze netwerken dynamisch te verbeteren. In tegenstelling tot individuele voorspellers of snelheidscontrollers gebruikt AQVSO bijvoorbeeld SCN-PDE om bewegingsbewustzijn te verbeteren, SGA-ConvNet voor ruimtelijke aandachtsmodellering, ASNN voor lage-latent...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben geen belangenconflicten om te melden.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs erkennen het gebruik van een AI-tool voor het creëren van stromen om het raamwerkblokdiagram (Figuur 1) te genereren dat in dit manuscript wordt gepresenteerd.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
8 GB RAMGenericMinimale vereiste geheugen voor het uitvoeren van de experimenten.
Intel Core i5 ProcessorIntel CorporationCPU gebruikt voor AQVSO evaluatie pipeline.
NumPyNumPy DevelopersNumerieke berekeningen en matrix operaties.
OpenCV-PythonOpenCV.orgGebruikt voor het laden van video, frame extractie en voorverwerking.
PandasPandas Development TeamGegevensverwerking, CSV-export, metrische tabellen.
Python 3.10 (Programmeertaal)Python Software FoundationVereist voor het uitvoeren van de AQVSO framework scripts en afhankelijke bibliotheken.
scikit-imageScikit-Image DevelopersSSIM, PSNR, MSE berekening.
TensorFlow 2.17.0GoogleDeep learning bibliotheek gebruikt voor het bouwen van neurale modules (SCN, SGA-ConvNet, ASNN, DBN).
tqdmTQDM TeamVoortgangsbalken voor de uitvoering van de pipeline.
Windows 10 (64-bit) BesturingssysteemMicrosoft CorporationBesturingssysteem gebruikt voor experimenten.

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Barakabitze, A. A., Walshe, R. SDN and NFV for QoE-driven multimedia services delivery: The road towards 6G and beyond networks. Comput Netw. 214, 109133(2022).
  2. Konstantoudakis, K., et al. Serverless streaming for emerging media: towards 5G network-driven cost optimization. Multimed Tools Appl. 81 (5), 7123-7162 (2022).
  3. Yang, J., Bashir, A. K., Guo, Z., Yu, K., Guizani, M. Intelligent cache and buffer optimization for mobile VR adaptive transmission. Digit Commun Netw. 9 (2), 456-468 (2023).
  4. Guzmán, P., Arce, P., Guerri, J. C. Automatic QoE evaluation for asymmetric encoding in DASH. Ad Hoc Netw. 106, 102184(2020).
  5. Al-Habashna, A. A., Wainer, G. QoE awareness in progressive caching and DASH-based D2D streaming. Wirel Netw. 26 (3), 2051-2073 (2020).
  6. Lai, P., et al. QoE-aware user allocation in edge computing systems. Future Gener Comput Syst. 112, 684-694 (2020).
  7. Piran, M. J., et al. Multimedia communication over cognitive radio networks. J Netw Comput Appl. 172, 102759(2020).
  8. Malekzadeh, M. QoE and QoS control model for mobile video. Telecommun Syst. 77 (3), 523-541 (2021).
  9. Bakhati, B., et al. Modified quality video TCP-friendly congestion control. Multimed Tools Appl. 80 (16), 20907-20928 (2021).
  10. Chapagain, B., et al. Real-time video and path quality for tele-training. Multimed Tools Appl. 80 (8), 9615-9638 (2021).
  11. Laghari, A. A., et al. QoE assessment of games. Entertain Comput. 34, 100362(2020).
  12. Seufert, A., Schröder, S., Seufert, M. Delivering user experience over networks. SN Comput Sci. 2 (1), 1-18 (2021).
  13. Liu, Z., Qiao, B., Fang, K. QoE-aware encrypted video caching. J Cloud Comput. 9 (1), 1-15 (2020).
  14. Baccour, E., et al. RL-OPRA for resource allocation in crowdsourced video. Future Gener Comput Syst. 112, 982-995 (2020).
  15. Huang, G., Zhang, B., Yao, Z., Li, C. Stochastic rate control for surveillance. Comput Netw. 190, 107904(2021).
  16. Moura, H. D., Macedo, D. F., Vieira, M. A. Wireless QoE control using RL. Comput Commun. 154, 331-346 (2020).
  17. Hung, Y. H., Wang, C. Y., Hwang, R. H. Live streaming optimization in MEC. IEEE Trans Mobile Comput. 19 (4), 922-934 (2020).
  18. Canovas, A., et al. SDN-based multimedia traffic management. J Netw Comput Appl. 150, 102498(2020).
  19. Yue, T., Wang, H., Cheng, S., Shao, J. DL-based QoE evaluation. Neurocomputing. 386, 179-190 (2020).
  20. Felici-Castell, S., Segura-Garcia, J., Garcia-Pineda, M. Adaptive QoE cloud media architecture. Clust Comput. 22 (1), 679-692 (2019).
  21. Saleem, M., Saleem, Y., Hayat, M. F. QoE-aware optimization for mobile cloud. Clust Comput. 23 (2), 1381-1396 (2020).
  22. Zhu, Z., Tan, L., Li, Y., Ji, C. PHDFS for deep learning platforms. J Syst Archit. 109, 101810(2020).
  23. Lin, D., et al. SCA-PVNet: Self- and cross-attention for 3D retrieval. arXiv. , (2023).
  24. Ali, M., et al. Real-time video analytics on edge-enhanced clouds. IEEE Trans Cloud Comput. 10 (2), 792-804 (2022).
  25. Gao, G., Wen, Y. Video transcoding for ABR streaming over edge-cloud. Digit Commun Netw. 7 (4), 598-604 (2021).
  26. Devi, B. A., Choudhry, M. D. Hybrid denoising for IoRT video. Automatika. 65 (2), 510-522 (2024).
  27. Parmar, P., Morris, B. HalluciNet spatiotemporal representation. Signals. 2 (3), 604-618 (2021).
  28. Video transformer without convolutions. Zhang, Y., et al. Proc IEEE/CVF Int Conf Comput Vis, , 13577-13587 (2021).
  29. Darwich, M., Bayoumi, M. Bitrate adaptation with CNN-RNN. Clust Comput. 27, 6355-6375 (2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Adaptive Video StreamingQuality Of Experience5G NetworksMulti Neural NetworkSparse Convolutional NetworkGraph Attention NetworkSpiking Neural NetworksDeep Belief NetworksBandwidth OptimizationContent Aware Streaming

Related Articles