Method Article

Adaptif Kalite Video Akışı Optimizasyonu: 5G ve Öteki Ağlarda Geliştirilmiş Deneyim Kalitesi İçin Zeki Çok Sinirli Bir Çerçeve

DOI:

10.3791/69387

January 27th, 2026

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu makale, 5G ve yeni nesil ağlarda video akışını geliştirmek için tasarlanmış gelişmiş sinirsel ve optimizasyon modellerinin entegrasyonu olarak AQVSO (Adaptif Kalite Video Akışı Optimizasyonu) çerçevesini sunmaktadır. Çerçeve, video kalitesini artırır, tamponlamayı azaltır ve kaynak kullanımını optimize eder.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

AQVSO (Adaptif Kalite Video Akışı Optimizasyonu), 5G ve Ötesi ağlarda video akış kalitesini ve kaynak kullanımını artırmayı amaçlayan yeni bir video akış çerçevesidir. Çalışma, politika odaklı kodlayıcılarla seyrek konvolüsyon ağları (SCN-PDE), seyrek grafik dikkat konvolüsyon ağını (SGA-ConvNet), uyarlanabilir spiking sinir ağlarını (ASNN) ve karınca kolonisi optimizasyonuna sahip derin inanç ağlarını (DBN-ACO) içeren dört birlikte ilgili modülden oluşan uçtan uca çok sinirli bir ağ önermektedir. Bu unsurlar, kalite ile kaynak kullanımı arasında denge kurmayı amaçlayan matematiksel bir modele dayalı ağ değişikliklerine dinamik olarak uyum sağlar. UCF-101 veri seti üzerinde yapılan deneyler, AQVSO'nun son teknoloji algoritmalar BBA ve BOLA'ya (0.977) benzer SSIM puanlarını koruduğunu ancak çok daha az bant genişliği (4.936/8.000 kbps) gerektirdiğini göstermektedir. Çerçeve, yüksek algı kalitesini (PSNR = 45.89 dB) korurken bant genişliği tüketiminde %38 tasarruf sağlayabilir ve tamponlama durumlarını neredeyse ortadan kaldırmıştır. Sistem, mobil, CDN (İçerik Dağıtım Ağı) ve kurumsal koşullarda %99,9 akış kesinliği sağlar ve kaynak sınırlı durumlarda video dağıtım sistemleri için gerçek bir performans artışı sağlar. Bu, uyarlanabilir, içerik farkında akış kararları yoluyla yönetilebilir bir kullanıcı deneyimi ve ağ kaynaklarının verimli kullanımı sağlanmasıyla mümkün olur.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışmanın amacı, dinamik 5G ve ötes ağ koşullarında algısal video kalitesini ve bant genişliği kullanımını ortak optimize eden entegre çok sinirli uyarlanabilir akış çerçevesi olan AQVSO geliştirmektir. Yöntem, içerik analizi, hız kontrolü ve kaynak tahsisini tek bir karar mimarisinde birleştirerek önemli ölçüde daha düşük bit hızı gereksinimlerinde tutarlı Deneyim Kalitesi (QoE) elde etmeyi amaçlar.

Uyarlanabilir Kalite Video Akışı Optimizasyonu (AQVSO)

5G çağında ve sonrasında, AQVSO, algı kalitesi ve kaynak kullanımını akıllıca dengeleyen çok sinirli ağ tabanlı bir model benimseyerek video akış deneyim kalitesini (QoE) geliştirmeyeodaklanmaktadır 1. Bu ağ farkında zamanlama stratejisi, zaman değişkenliği veya kararsız bir ağ ortamında yüksek kaliteli video akışları sağlama zorluğunu daha düşük bant genişliği tüketimi ve sunucutıkanıklığı ile ele alabilir 2.

2023 yılında video trafiği, küresel toplam mobil verinin %80'inden fazlasını oluşturuyor ve bu da verimli multimedya dağıtım sistemlerine olan ihtiyacı tüm zamanların en yüksekseviyesine çıkarıyor 3. Eski ağlar, beşinci nesil (5G) ortamında Yazılım Tanımlı Ağ (SDN), Ağ Fonksiyonu Sanallaştırma (NFV), Çok Erişimli Kenar Bilişim (MEC) ve bulut/kenar hesaplama ile çevik, sanallaştırılmış, yazılım tabanlı ağlaradönüştürülmektedir 4,5. Bu gelişmeler, daha hızlı veri hızları, daha düşük gecikme ve daha yüksek bağlantı yoğunluğu ile yeni nesil uygulamalara olanaktanır 6.

Artan rekabet seviyeleri göz önüne alındığında, Deneyim Kalitesi (QoE) hizmet sağlayıcıları için en önemliölçütlerden biri haline geldi 7,8. QoE sadece geleneksel Hizmet Kalitesi (QoS) ölçütlerini içermekle kalmaz, aynı zamanda kullanıcı algısını da ekler ve nesnel QoS parametrelerini beklentiler, duygular ve tercihler gibi kullanıcıların öznel deneyim faktörleriyleentegre eder 9,10,11. Multimedya hizmetleriyle ilgili olarak, QoE doğrudan son kullanıcı memnuniyetini etkiler ve kullanıcı deneyimini uygulama ve iletişim sistemi performansıyla ilişkilendiren genel kalite değerlendirmesi için evrensel bir ölçüt olarak kabul edilebilir.

Video akışının QoE'si, gecikme, bit hızı ve görsel kalite gibi parametrelere dayanır. Veri artışı ve kapasite kısıtlamaları nedeniyle oluşan ağ tıkanıklığı, akış kalitesinin sürekliliğiniolumsuz etkiler 13,14. Yaygın yaklaşımlar değişken video özellikleri sunar (farklı kare hızları ve çözünürlükle), ancak kullanıcı hareketliliği ve kablosuz kanal varyasyonu daha akıllı yönetim stratejilerigerektirir 15,16,17.

Mevcut adaptif akış çözümleri dinamik koşullarda ağır şekilde kısıtlanmıştır. HTTP üzerinden Dinamik Adaptif Akış (DASH), öngörülemez kablosuz ortamlarda tökezleyebilen istemci tarafı sezgilerinedayanır 18. Pensieve gibi güçlendirme (RL) tabanlı yöntemler var; bu yöntemler adaptasyonu kolaylaştırıyor ancak hesaplama açısından pahalıdır ve bol eğitim verisi gerektirir19. Tampon Tabanlı Algoritma (BBA) öncelikle tampon dalışını dikkate alır ve içerik karmaşıklığını ile algısal kaliteyi göz ardıeder 20. Model Öngörücü Kontrol (MPC) büyük ölçüde bant genişliği tahminlerine dayanır ve bu tahminler mobil ortamda başarısızolabilir 21. BOLA (Buffer Occupancy tabanlı Lyapunov Algoritması) esas olarak oynatma aracına odaklanır ve kalite adaletini yeterince dikkate almaz22.

SCA-PVNet23'te çapraz modal dikkat toplama, RES24'te kenar özellikli gerçek zamanlı analitik, verimli kenar bulututranskodlama 25 ve girdi kararlılığını artıran hibrit ses yalıtımçerçeveleri gibi son gelişmeler, akıllı multimedya işlemedeki hızlı ilerlemeyi göstermektedir. 2D-CNN uzaylı-zamansal öğrenme27 ve transformator tabanlı video modelleme28 ile geliştirilmiş içerik anlayışı, CNN-RNNmimarileri 29 üzerinden uyarlanabilir bit hızı kontrolü, yeni nesil akış zekası için güçlü bir temel oluşturur.

AQVSO, bu bireysel gelişmelerin ötesine geçerek, içerik analizi, algısal modelleme ve ağ farkında karar vermeyi, dinamik kablosuz koşullarda tutarlı üstün QoE sağlayan tek bir entegre mimaride birleştirir. AQVSO bu planlardan temelde farklıdır. Bu amaçla, video kodlama, ağ dinamikleri, veri trafiği ve kaynak tahsisi ile kullanıcı algı kalitesini koordineli bir şekilde birlikte entegre eder. Bu kapsamlı kontrol şeması, geleneksel hız uyumlu yöntemlerin eksikliklerini sekiz özel mekanizmayı koordine ederekaşmaktadır 23.

Kapsam ve uygulama

AQVSO'nun kapsamı, mobil 5G ve öteki ağları, CDN destekli yayın ortamlarını ve büyük ölçekli video teslimatında yedeklilik için kurumsal bulut senaryolarını kapsamaktadır. Çerçeve, günümüz MEC tabanlı 5G ağlarında olduğu gibi, hafif çıkarım yeteneklerine sahip dağıtık kenar hesaplama düğümleri varsayımıyla geliştirilmiştir. Sinirsel bileşenlerin uyguladığı hesaplama maliyeti ve hassas ağ ile QoE durumu tahminine güvenme gibi bağlamsal sınırlamalar sunulacak ve AQVSO'nun en iyi ne zaman çalıştığını belirtecek. Sistem ayrıca, kenar hesaplama gerektirmeyen ultra düşük kaynaklı ortamlar veya 10ms'in altında gecikme gerektiren gerçek zamanlı etkileşimli uygulamalar için uygun değildir.

AQVSO, sekiz yeni teknikten oluşmaktadır: İçerik ve ağ farkında optimizasyon için kullanılan Adaptif Spiking Sinir Ağı (ASNN); Gerçek zamanlı bit hızını ayarlamak için tasarlanmış Hız Kontrol Algoritması; Trafik desenleri tahmini için kullanılan Deep Belief Network (DBN); Ağ kaynak tahsisi sorununu çözmek için kullanılan Karınca Kolonisi Optimizasyonu (ACO); Video ile ağ topolojisi arasındaki karmaşık ilişkileri büyük ölçekte modelleyen Sparse Graph Attention Network (SGA); Yüksek boyutlu verileri işleyen Sparse Convolütional Network (SCN); Politika Odaklı Kodlayıcı (PDE), video trendleri hakkında öğrenilen bilgileri zamanla kullanan uyarlanabilir kodlama stratejisi politikası ve ağlar ile videolarla ilgili farklı boyutlardan değişimleri algılayan bir filtre olan Stream Bayes Değişim Noktası Tanımlayıcısı (BCPI). Bu stratejiler topluca, AQVSO'nun temelini oluşturur ve video kodlama, trafik yönetimi, kaynak tahsisleri ve algısal kalite uyumunu eşzamanlı olarak ele alarak bulut, kenar ve mobil ağlarda bütünsel optimizasyon sağlar.

Özetle, AQVSO, 5G+ ağlar arasında algısal QoE, içerik farkında kodlama ve kaynak tahsisini ortak optimize eden birleşik çok sinirli bir çerçeve sunar ve üstün kalite-bit hızı verimliliği sağlar.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Kullanılan yazılım, Materyaller Tablosu'nda listelenmiştir.

Veri seti kurulumu

UCF-1013 veri seti elde edilip Videos/UCF-101 dizinine alındı. Veri seti bütünlüğü kontrol toplamı doğrulaması veya manuel oynatma yoluyla değerlendirildi ve bozuk dosyalar sonraki işlemlerden hariç tutuldu.

Hesaplamalı ortam

Tüm deneyler Windows 10/11 veya Ubuntu 20.04+ üzerinde Python 3.10 ile gerçekleştirilmiştir. Yazılım ortamı tensorflow==2.17.0, opencv-python, scikit-image, numpy, pandas ve tqdm içeriyordu. En az 8 GB RAM kullanılıyordu ve mevcut olduğunda GPU hızlandırma uygulanıyordu.

Çerçeve çıkarımı

Video kareleri cv2 ile okundu. VideoCapture() ve gri tonlu dönüşüm cv2.cvtColor kullanılarak gerçekleştirildi. Ortaya çıkan çerçeveler, zamansal tutarlılığı korumak için Frames dizininde sıralı sırayla saklanıyordu.

Temel özellik ağı

224 × 224 gri tonlu çerçeveleri işlemek için ardışık bir konvolüsyon sinir ağı kullanıldı. Konvolüsyonel, havuzlama ve yoğun katmanlar kullanıldı ve model, Adam optimizatoru ve İkili Çapraz Entropi kaybı ile beş dönem boyunca eğitilerek temel özellik temsillerini oluşturdu.

Bitrate tahsisi ve sıkıştırma

Piksel düzeyindeki kareye karmaşıklık tahmin edilip, orantılı bit hızı dağılımı için kullanıldı. Uyarlanabilir Q-değerlerle JPEG sıkıştırması uygulandı ve işlenen kareler daha fazla değerlendirme için İşlenmiş dizininde kaydedildi.

Kalite değerlendirmesi

Her işlenen kare için SSIM, PSNR ve MSE hesaplamaları yapıldı. Ortaya çıkan metrikler CSV dosyalarına derlendi ve görselleştirme grafikleri oluşturulup Output dizininde saklandı.

Son infaz

Tüm iş akışı framework.run() kullanılarak gerçekleştirildi. Bu uygulama, işlenen son çerçeveler, metrik özetler ve değerlendirme grafikleri setini üretti.

1. Uyarlanabilir Kalitede Video Akışı Optimizasyonu

1.1 Sistem mimarisi genel bakış

Burada, AQVSO çerçevesi aracılığıyla 5G ve ötesi ağlar için video akışını optimize etmek için bir yöntem sunulmaktadır. Bu yaklaşım, QoE'yi iyileştirmek ve ağ kaynaklarının kullanımını en üst düzeye çıkarmak için birbirini tamamlayan birkaç yenilikçi unsuru birleştirdi. Video akışlarını işlemek için karmaşık bir boru hattı kullanıldı ve her bileşen video optimizasyonunun belirli bir alanında uzmanlaşmıştı. Akış süreci boyunca sistem, en iyi kalite bakımı ve dengeli işlemeyi sağladı.

1.2 Video ön işleme ve ilk analiz

1.2.1 Çerçeve çıkarımı ve kalite temeli

Verilen optimizasyon çerçevesi, kalite standartları oluşturmak ve video içeriğini sonraki işlemeye hazırlamak için gelişmiş analiz teknikleri kullanan video ön işleme adımı üzerine inşa edilmiştir. Sisteme girildiğinde, video akışı kapsamlı bir kare çıkarma prosedürüne tabi tutularak videoyu bireysel karelere ayırdı ve ardışık kareler arasındaki zamansal korelasyonları inceledi. Bu ön işleme, videonun zamansal dinamiklerini yakalamış ve tüm akış için uygun işlem parametrelerini belirlemiştir. Giriş videosu V için, kareler çıkarılıp aşağıdaki matematiksel formülasyonla işlenmiştir:

Denklem 101(1)

Kare çözünürlüğü m olarak hesaplandı ve toplam kare sayısı n olarak hesaplandı. Kadralar, videonun zamansal tutarlılığı korunarak sonraki aşamalarda paralel işleme mümkün kılınarak çıkarıldı. Kalite temeli, yeni bir füzyon yaklaşımı uygulanarak belirlendi. Birden fazla kalite ölçütü birleştirilerek kapsamlı bir kalite değerlendirmesi oluşturuldu. Genel başlangıç QoE, belirtilen parametrelerle belirlendi.

Denklem 102(2)

Bu füzyon yaklaşımının önemi, bireysel kalite metriklerinin sınırlamalarını ele aldığı için değerlendirildi. Yapısal Benzerlik Endeksi (SSIM), geleneksel metriklerin gözden kaçırabileceği algısal kalite yönlerini yakalarken, Zirve Sinyal-Gürültü Oranı (PSNR) nesnel kalite ölçümü sağlarken, Ortalama Kare Hatası (MSE) doğrudan piksel düzeyinde karşılaştırma sunuyordu. 1.α 2.α 3 α ağırlık faktörleri statik değildi; Bunun yerine, içerik özelliklerine göre dinamik olarak uyum sağladılar. Birinci ağırlık faktörü şu şekilde hesaplandı:

Denklem 103(3)

Burada,

Qi i. çerçevedir, i = 1,2... n

Qj, j. çerçevedir, j = 1,2... n, i j ile eşit değildir

I μ önemli faktörler, dinamik ağırlık ayarlamasının farklı video içerik türleri ve izleme koşullarında ilgili kalite değerlendirmesini sürdürmesini sağlamak için çeşitli video içerik türlerinin kapsamlı ampirik analizleriyle belirlendi. Hareket karmaşıklığı, doku yoğunluğu ve farklı bölgelerin algısal önemi gibi faktörler dikkate alındı.

1.2.2 İçerik karmaşıklığı analizi

İçerik karmaşıklığı, video içeriğinin çeşitli yönlerini niceleyen çok boyutlu bir yaklaşımla çerçevenin kritik bir bileşeni olarak analiz edildi. Bu analiz, sonraki aşamalarda kaynak tahsisi ve sıkıştırma parametreleri hakkında bilinçli kararlar için temel oldu. Video içeriğinin mekânsal, zamansal ve algısal yönlerini dikkate alan kapsamlı bir karmaşıklık ölçütü tanıtıldı ve bu ölçüm şu şekilde verildi:

Denklem 104(4)

Mekansal karmaşıklık bileşeni Cs(f), her çerçevedeki detay ve doku dağılımı gradyan analiziyle analiz edilerek hesaplandı. Bu ölçüm, kaliteyi korumak için daha yüksek bit tahsisi gerektiren alanları belirlemek için kullanıldı.

Denklem 105(5)

Zamansal karmaşıklık bileşeni Ct(f), ardışık kareler arasındaki hareket yoğunluğunu nicelendirmek için hesaplandı; çünkü bu ölçüm, sıkıştırma davranışını tahmin etmek ve uygun tampon boyutlarının belirlenmesi için şarttı.

Denklem 106(6)

Algısal karmaşıklık bileşeni Cp(f), izleyiciler için algısal olarak önemli bölgeleri önceliklendirmek için insan görme modellerini entegre etti.

Denklem 107(7)

1.3 Seyrek grafik dikkat konvolüsyon ağları kullanılarak özellik çıkarma

AQVSO'nun özellik çıkarma aşamasında yeni bir Sparse Graph Attention Konvolüsyon Ağ (SGA-ConvNet) mimarisi uygulandı ve video işleme için geleneksel konvolüsyon ağlara kıyasla önemli bir gelişme işaret etmiştir. SGA-ConvNet, kaynak kısıtlı ortamlarda yüksek boyutlu video verilerini işlemek için özellikle iyi bir şekilde tasarlandı; seyrek konvolüsyonların etkinliğini dikkat mekanizmalarının uyumlanabilirliğiyle harmanlamaktı. Bu ağ mimarisi, video içeriğinde zamansal ve mekansal bağımlılıkların yakalama temel sorununu ele almıştır. Video çerçeve işleme sırasında dinamik bir grafik oluşturuldu; her düğüm önemli bir özellik noktasını temsil ediyor ve kenarlar bu özelliklerin birbirleriyle nasıl ilişkili olduğunu gösteriyordu. Hesaplamalı ek yük, kaynakları ilgili bölgelere yoğunlaştırarak ve seyrek bağlantıyı koruyarak önemli ölçüde azaltıldı; bu durum geleneksel konvolüsyon ağlara kıyaslandı. Her katmandaki çekirdek operasyon şu şekilde tanımlandı:

Denklem 108(8)

H(l), katman l'deki özellik temsillerini temsil ederken, A ̃ normalize dikkat bitişiklik matrisini gösterir. W(l) öğrenilebilir ağırlık matrislerini içeriyordu ve σ doğrusal olmayan aktivasyon fonksiyonunu temsil ediyordu. Ağ, hesaplama grafiğinde seyrekliği korurken hiyerarşik özellik temsillerini öğrenebiliyordu. Uyarlanabilir özellik işleme için kritik olan dikkat mekanizması şu şekilde hesaplandı:

Denklem 109(9)

αij, i ve j düğümleri arasındaki dikkat katsayısını, [hi ∣∣ hj] ise onların özellik vektörlerinin birleşmesini gösterirdi. LeakyReLU aktivasyonu, kadın yok olmasını önlemek ve ağın olumsuz özelliklerden öğrenme yeteneğini korumak için kullanıldı. Dikkat mekanizması, farklı özellik bağlantılarının önemini, mevcut çerçevenin içeriğiyle ilgisine göre dinamik olarak ayarladı.

1.4 Adaptif spiking sinir ağları aracılığıyla dinamik hız kontrolü

Dinamik hız kontrolü, video akış hızlarını yönetmek için biyolojik esinli bir yaklaşım olan ASNN mimarisi aracılığıyla AQVSO çerçevesinde (Şekil 1) uygulanmıştır. ASNN, video akışının zamansal dinamiklerini yönetirken hızla değişen ağ koşullarına uyum sağlamak için özel olarak tasarlandı. Bu bileşen, akış kalitesini korumak ve farklı ağ koşullarında bant genişliği kullanımını optimize etmek için kritik görüldü. Bilgi, ASNN'deki ayrık spike'larla işlenir; bu da biyolojik sinir ağlarını taklit ederek, güç verimliliği ve zamansal işleme açısından çeşitli avantajlar sağlamıştır. Spiking nöronların zar potansiyeli aşağıdaki şekilde evrimleşti:

Denklem 110(10)

V(t) t zamanındaki zar potansiyelini temsil eder, Vdinlenme potansiyeli olarak ayarlanır ve τm zar zaman sabiti olarak tanımlanır. I(t) ağ koşulları ve içerik karmaşıklığından hesaplandı. Uyum sağlayan gürültü, dayanıklılığı artırmak için σ(t)N(0,1) ile tanıtıldı. Bu gürültü terimi, ağ koşullarındaki hızlı dalgalanmalarla karşılaşıldığında ağın istikrarını korumasına yardımcı olmuştur. Hız kontrol mekanizması, gelişmiş bir uyarlama şeması kullanılarak uygulandı:

Denklem 111(11)

R(t) hedef bit hızını, S(t) sinir ağının yükselme hızını, B(t) mevcut bant genişliğini, E(t) ise kalite metriklerinden türetilen hata terimini temsil ederdi. Üstel terim expp(-λE(t)) kalite değişimlerine sorunsuz uyum sağlamak ve hız kontrol sisteminde salınımlı davranışı önlemek için kullanıldı.

1.5 Kalite odaklı sıkıştırma optimizasyonu

Sıkıştırma optimizasyon aşamasında, algısal kalite metriklerini içerik farkında sıkıştırma stratejileriyle birleştiren yeni bir yaklaşım uygulandı. Bu aşama, sıkıştırılmış video akışında kalite ve boyut arasında optimal dengeler elde etmek için temel hale getirilmiştir. Bölgeye uyarlanabilir bir sıkıştırma şeması kullanıldı; bitler hem içerik önemi hem de algısal kalite gereksinimlerine göre tahsis edildi.

Denklem 112(12)

C (r,t), t zamanındaki r bölgesi için sıkıştırma oranını temsil ederken, Cbaz(r) ise içerik karmaşıklığına göre belirlenen temel sıkıştırma oranı olarak kullanılmıştır. Q(r,t) özelliği faktörünü belirtmek için tanımlanmıştır. φi (r,t), hareket yoğunluğu, kenar yoğunluğu ve algısal önem gibi çeşitli ayarlama faktörlerini temsil etmek için uygulanmıştır.

1.6 Karınca kolonisi optimizasyonu ile derin inanç ağları aracılığıyla kaynak tahsisi

AQVSO'daki kaynak tahsis mekanizması, Derin İnanç Ağları (DBN) ile Karınca Kolonisi Optimizasyonu (ACO) birleştiren hibrit bir yaklaşım uygulayacak şekilde yapılandırıldı ve video akış sistemlerinde optimal kaynak dağıtımı gibi karmaşık soruna yeni bir çözüm ortaya koydu. Derin inanç ağlarının öğrenme yetenekleri, kaynak kullanımında desen tanıma için kullanıldı, karınca kolonisi algoritmalarının optimizasyon güçleri ise gerçek zamanlı kaynak tahsisi kararlarında kullanıldı. DBN-ACO sistemi, dinamik ağ ortamlarında acil kaynak gereksinimlerini uzun vadeli optimizasyon hedefleriyle dengeleme temel zorluğunu ele almak için tasarlanmıştır. DBN bileşeni, birden fazla Kısıtlı Boltzmann Makinesi'nden (RBM) oluşan hiyerarşik bir öğrenme yapısı kullanılarak uygulandı ve her katman kaynak kullanımında giderek soyut kalıpları yakalamaktadır. Gizli birim aktivasyonunun olasılık dağılımı şu şekilde modellendi:

Denklem 113(13)

hi gizli birimleri, v görünür birimleri, bi önyargı terimlerini ve Wij bağlantı ağırlıklarını temsil ediyordu. Bu olasılıksal modelleme, kaynak kullanım kalıplarındaki karmaşık bağımlılıkları yakalamak için kullanıldı ve değişen koşullara uyum sağlamayı korudu. ACO bileşeni, dinamik feromon tabanlı optimizasyon stratejisiyle uygulandı.

Denklem 114(14)
Denklem 115(15)

τij, feromon seviyelerini temsil ederken, p buharlaşma oranı Δτij (t) olarak hizmet ederdi. feromon güncellemesi olarak tanımlandı ve ηIJ , mevcut ağ koşullarına ve kaynak kullanılabilirliğine dayalı sezgisel değeri temsil ediyordu.

1.7 Adaptif tampon yönetimi ve hata kurtarma

AQVSO çerçevesinde, değişken ağ koşullarına ve içerik özelliklerine dinamik olarak uyum sağlayan gelişmiş bir tampon yönetim sistemi uygulandı. Bu sistem, gecikmeyi en aza indirirken ve tampon alt-taşma veya taşma koşullarını önleyerek akış sürekliliğini koruyacak şekilde tasarlanmıştır. Hem ağ istatistiklerini hem de içerik karmaşıklığını dikkate alan yenilikçi bir uyarlanabilir yaklaşım uygulandı.

Denklem 116(16)

B(t) hedef tampon boyutu olarak korundu, QoE(t) mevcut deneyim kalitesi olarak ölçüldü, σ(t) ağ kararlılığı metriği olarak takip edildi ve φ(σ(t)) ağ değişkenliğine göre tampon boyutunu modüle etmek için uyarlanabilir bir fonksiyon olarak uygulandı. Hata iyileştirme mekanizması, proaktif hata önleme ile tepkisel kurtarma stratejilerini birleştiren çok katmanlı bir yaklaşımla yürütüldü. Sistem içinde çerçeve referanslarından oluşan bir sürgülü pencere tutuluyordu.

Denklem 117(17)

p tek bir kurtarma girişiminin başarı olasılığını temsil etmek için kullanıldı, n deneme sayısı olarak alındı ve hata tespitinden sonraki zamanı temsil etmek için T(t) uygulandı. Bu üstel bozulma terimi, iyileşme çabalarının zamansal öneme dayalı olarak doğru önceliklendirilmesini sağlamak için kullanıldı.

1.8 Kalite değerlendirmesi ve geri bildirim entegrasyonu

Kalite değerlendirme sistemi, birden fazla kalite ölçütünü kullanıcı deneyimi faktörleriyle birleştiren kapsamlı bir yaklaşım uyguladı. Bu entegrasyon, yüksek QoE'yi korumak ve kaynak kullanımını optimize etmek için kritik öneme sahipti. Sistem, yeni bir kalitede metrik füzyon uyguladı:

Denklem 118(18)

NB(t) normalleştirilmiş tamponlama oranı olarak, SB(t) anahtarlama frekansı olarak hesaplandı ve M(t) hareket kalite faktörü olarak hesaplandı. Ağırlıklar w i içerik türü ve izleme koşullarına göre dinamik olarak ayarlandı.

Denklem 119(19)

Θi temel ağırlıklar olarak temsil edildi ve f(C(t)) içeriğe bağlı bir ayarlama fonksiyonu olarak uygulandı. Geri besleme entegrasyon sistemi, kapalı döngü kontrol mekanizması olarak uygulandı.

Denklem 120(20)

e(t) hedef ile elde edilen kalite metrikleri arasındaki hatayı temsil edecek şekilde ayarlandı ve K1,K 2, K3 , ağ koşulları ve içerik özelliklerine göre ayarlanan uyarlanabilir kazanç parametreleri olarak tanımlandı.

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Önerilen sistemin performansının kapsamlı bir analizini sunmak ve uygulama sonuçlarını raporlamak gerekir. Sistemin bulut tabanlı bir makine öğrenimi yaklaşımı olan Neuro Cloud Stream için uygun olup olmadığını doğrulamak için bir karşılaştırma bölümü ekleyin. Şekil 2, AQVSO sistem iş akışını göstermektedir.

Veri seti açıklaması

AQVSO çerçevesini değerlendirmek için, 10 saniyeden 2 saat ve 30 dakikaya kadar çeşitli vide...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Adaptif Kalite Video Akışı Optimizasyonu (AQVSO) çerçevesi, kablosuz ağlarda algısal video kalitesini ve bit hızı uyumluluğunu dinamik olarak artırmak için gömülü çoklu modüllü kodek entegrasyon mimarisine dayanan bir multimedya işleme motorudur. Örneğin, bireysel tahminciler veya hız kontrolörlerinin aksine, AQVSO hareket farkındalığını artırmak için SCN-PDE, uzaylı-zaman dikkat modelleme için SGA-ConvNet, düşük gecikmeli uyarlanabilir hız kontrolü için ASNN ve küresel optimize edilmiş ...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların açıklamak zorunda kalacak bir çıkar çatışması yoktur.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar, bu el yazmasında sunulan çerçeve blok diyagramını (Şekil 1) oluşturmak için bir yapay zeka akış oluşturma aracının kullanıldığını kabul etmektedir.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
8 GB RAMGenelDeneyleri çalıştırmak için minimum bellek gereklidir.
Intel Core i5 İşlemciIntel CorporationAQVSO değerlendirme boru hattı için kullanılan CPU.
NumPyNumPy GeliştiricileriSayısal hesaplamalar ve matris işlemleri.
OpenCV-PythonOpenCV.orgVideo yükleme, kare çıkarma ve ön işleme için kullanılır.
PandalarPandas Gelişim EkibiVeri işleme, CSV dışatı, metrik tablolar.
Python 3.10 (Programlama Dili)Python Yazılım VakfıAQVSO çerçeve betikleri ve bağımlı kütüphaneleri çalıştırmak için gereklidir.
scikit-imageScikit-Image GeliştiricileriSSIM, PSNR, MSE hesaplaması.
TensorFlow 2.17.0GoogleSinirsel modüller oluşturmak için kullanılan derin öğrenme kütüphanesi (SCN, SGA-ConvNet, ASNN, DBN).
tqdmTQDM TakımıPipeline yürütme için ilerleme çubukları.
Windows 10 (64-bit) İşletim SistemiMicrosoft CorporationDeneyler için kullanılan işletim sistemi.

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Barakabitze, A. A., Walshe, R. SDN and NFV for QoE-driven multimedia services delivery: The road towards 6G and beyond networks. Comput Netw. 214, 109133(2022).
  2. Konstantoudakis, K., et al. Serverless streaming for emerging media: towards 5G network-driven cost optimization. Multimed Tools Appl. 81 (5), 7123-7162 (2022).
  3. Yang, J., Bashir, A. K., Guo, Z., Yu, K., Guizani, M. Intelligent cache and buffer optimization for mobile VR adaptive transmission. Digit Commun Netw. 9 (2), 456-468 (2023).
  4. Guzmán, P., Arce, P., Guerri, J. C. Automatic QoE evaluation for asymmetric encoding in DASH. Ad Hoc Netw. 106, 102184(2020).
  5. Al-Habashna, A. A., Wainer, G. QoE awareness in progressive caching and DASH-based D2D streaming. Wirel Netw. 26 (3), 2051-2073 (2020).
  6. Lai, P., et al. QoE-aware user allocation in edge computing systems. Future Gener Comput Syst. 112, 684-694 (2020).
  7. Piran, M. J., et al. Multimedia communication over cognitive radio networks. J Netw Comput Appl. 172, 102759(2020).
  8. Malekzadeh, M. QoE and QoS control model for mobile video. Telecommun Syst. 77 (3), 523-541 (2021).
  9. Bakhati, B., et al. Modified quality video TCP-friendly congestion control. Multimed Tools Appl. 80 (16), 20907-20928 (2021).
  10. Chapagain, B., et al. Real-time video and path quality for tele-training. Multimed Tools Appl. 80 (8), 9615-9638 (2021).
  11. Laghari, A. A., et al. QoE assessment of games. Entertain Comput. 34, 100362(2020).
  12. Seufert, A., Schröder, S., Seufert, M. Delivering user experience over networks. SN Comput Sci. 2 (1), 1-18 (2021).
  13. Liu, Z., Qiao, B., Fang, K. QoE-aware encrypted video caching. J Cloud Comput. 9 (1), 1-15 (2020).
  14. Baccour, E., et al. RL-OPRA for resource allocation in crowdsourced video. Future Gener Comput Syst. 112, 982-995 (2020).
  15. Huang, G., Zhang, B., Yao, Z., Li, C. Stochastic rate control for surveillance. Comput Netw. 190, 107904(2021).
  16. Moura, H. D., Macedo, D. F., Vieira, M. A. Wireless QoE control using RL. Comput Commun. 154, 331-346 (2020).
  17. Hung, Y. H., Wang, C. Y., Hwang, R. H. Live streaming optimization in MEC. IEEE Trans Mobile Comput. 19 (4), 922-934 (2020).
  18. Canovas, A., et al. SDN-based multimedia traffic management. J Netw Comput Appl. 150, 102498(2020).
  19. Yue, T., Wang, H., Cheng, S., Shao, J. DL-based QoE evaluation. Neurocomputing. 386, 179-190 (2020).
  20. Felici-Castell, S., Segura-Garcia, J., Garcia-Pineda, M. Adaptive QoE cloud media architecture. Clust Comput. 22 (1), 679-692 (2019).
  21. Saleem, M., Saleem, Y., Hayat, M. F. QoE-aware optimization for mobile cloud. Clust Comput. 23 (2), 1381-1396 (2020).
  22. Zhu, Z., Tan, L., Li, Y., Ji, C. PHDFS for deep learning platforms. J Syst Archit. 109, 101810(2020).
  23. Lin, D., et al. SCA-PVNet: Self- and cross-attention for 3D retrieval. arXiv. , (2023).
  24. Ali, M., et al. Real-time video analytics on edge-enhanced clouds. IEEE Trans Cloud Comput. 10 (2), 792-804 (2022).
  25. Gao, G., Wen, Y. Video transcoding for ABR streaming over edge-cloud. Digit Commun Netw. 7 (4), 598-604 (2021).
  26. Devi, B. A., Choudhry, M. D. Hybrid denoising for IoRT video. Automatika. 65 (2), 510-522 (2024).
  27. Parmar, P., Morris, B. HalluciNet spatiotemporal representation. Signals. 2 (3), 604-618 (2021).
  28. Video transformer without convolutions. Zhang, Y., et al. Proc IEEE/CVF Int Conf Comput Vis, , 13577-13587 (2021).
  29. Darwich, M., Bayoumi, M. Bitrate adaptation with CNN-RNN. Clust Comput. 27, 6355-6375 (2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Adaptive Video StreamingQuality Of Experience5G NetworksMulti Neural NetworkSparse Convolutional NetworkGraph Attention NetworkSpiking Neural NetworksDeep Belief NetworksBandwidth OptimizationContent Aware Streaming

Related Articles