$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Kullanılan yazılım, Materyaller Tablosu'nda listelenmiştir.
Veri seti kurulumu
UCF-1013 veri seti elde edilip Videos/UCF-101 dizinine alındı. Veri seti bütünlüğü kontrol toplamı doğrulaması veya manuel oynatma yoluyla değerlendirildi ve bozuk dosyalar sonraki işlemlerden hariç tutuldu.
Hesaplamalı ortam
Tüm deneyler Windows 10/11 veya Ubuntu 20.04+ üzerinde Python 3.10 ile gerçekleştirilmiştir. Yazılım ortamı tensorflow==2.17.0, opencv-python, scikit-image, numpy, pandas ve tqdm içeriyordu. En az 8 GB RAM kullanılıyordu ve mevcut olduğunda GPU hızlandırma uygulanıyordu.
Çerçeve çıkarımı
Video kareleri cv2 ile okundu. VideoCapture() ve gri tonlu dönüşüm cv2.cvtColor kullanılarak gerçekleştirildi. Ortaya çıkan çerçeveler, zamansal tutarlılığı korumak için Frames dizininde sıralı sırayla saklanıyordu.
Temel özellik ağı
224 × 224 gri tonlu çerçeveleri işlemek için ardışık bir konvolüsyon sinir ağı kullanıldı. Konvolüsyonel, havuzlama ve yoğun katmanlar kullanıldı ve model, Adam optimizatoru ve İkili Çapraz Entropi kaybı ile beş dönem boyunca eğitilerek temel özellik temsillerini oluşturdu.
Bitrate tahsisi ve sıkıştırma
Piksel düzeyindeki kareye karmaşıklık tahmin edilip, orantılı bit hızı dağılımı için kullanıldı. Uyarlanabilir Q-değerlerle JPEG sıkıştırması uygulandı ve işlenen kareler daha fazla değerlendirme için İşlenmiş dizininde kaydedildi.
Kalite değerlendirmesi
Her işlenen kare için SSIM, PSNR ve MSE hesaplamaları yapıldı. Ortaya çıkan metrikler CSV dosyalarına derlendi ve görselleştirme grafikleri oluşturulup Output dizininde saklandı.
Son infaz
Tüm iş akışı framework.run() kullanılarak gerçekleştirildi. Bu uygulama, işlenen son çerçeveler, metrik özetler ve değerlendirme grafikleri setini üretti.
1. Uyarlanabilir Kalitede Video Akışı Optimizasyonu
1.1 Sistem mimarisi genel bakış
Burada, AQVSO çerçevesi aracılığıyla 5G ve ötesi ağlar için video akışını optimize etmek için bir yöntem sunulmaktadır. Bu yaklaşım, QoE'yi iyileştirmek ve ağ kaynaklarının kullanımını en üst düzeye çıkarmak için birbirini tamamlayan birkaç yenilikçi unsuru birleştirdi. Video akışlarını işlemek için karmaşık bir boru hattı kullanıldı ve her bileşen video optimizasyonunun belirli bir alanında uzmanlaşmıştı. Akış süreci boyunca sistem, en iyi kalite bakımı ve dengeli işlemeyi sağladı.
1.2 Video ön işleme ve ilk analiz
1.2.1 Çerçeve çıkarımı ve kalite temeli
Verilen optimizasyon çerçevesi, kalite standartları oluşturmak ve video içeriğini sonraki işlemeye hazırlamak için gelişmiş analiz teknikleri kullanan video ön işleme adımı üzerine inşa edilmiştir. Sisteme girildiğinde, video akışı kapsamlı bir kare çıkarma prosedürüne tabi tutularak videoyu bireysel karelere ayırdı ve ardışık kareler arasındaki zamansal korelasyonları inceledi. Bu ön işleme, videonun zamansal dinamiklerini yakalamış ve tüm akış için uygun işlem parametrelerini belirlemiştir. Giriş videosu V için, kareler çıkarılıp aşağıdaki matematiksel formülasyonla işlenmiştir:
(1)
Kare çözünürlüğü m olarak hesaplandı ve toplam kare sayısı n olarak hesaplandı. Kadralar, videonun zamansal tutarlılığı korunarak sonraki aşamalarda paralel işleme mümkün kılınarak çıkarıldı. Kalite temeli, yeni bir füzyon yaklaşımı uygulanarak belirlendi. Birden fazla kalite ölçütü birleştirilerek kapsamlı bir kalite değerlendirmesi oluşturuldu. Genel başlangıç QoE, belirtilen parametrelerle belirlendi.
(2)
Bu füzyon yaklaşımının önemi, bireysel kalite metriklerinin sınırlamalarını ele aldığı için değerlendirildi. Yapısal Benzerlik Endeksi (SSIM), geleneksel metriklerin gözden kaçırabileceği algısal kalite yönlerini yakalarken, Zirve Sinyal-Gürültü Oranı (PSNR) nesnel kalite ölçümü sağlarken, Ortalama Kare Hatası (MSE) doğrudan piksel düzeyinde karşılaştırma sunuyordu. 1.α 2.α 3 α ağırlık faktörleri statik değildi; Bunun yerine, içerik özelliklerine göre dinamik olarak uyum sağladılar. Birinci ağırlık faktörü şu şekilde hesaplandı:
(3)
Burada,
Qi i. çerçevedir, i = 1,2... n
Qj, j. çerçevedir, j = 1,2... n, i j ile eşit değildir
I μ önemli faktörler, dinamik ağırlık ayarlamasının farklı video içerik türleri ve izleme koşullarında ilgili kalite değerlendirmesini sürdürmesini sağlamak için çeşitli video içerik türlerinin kapsamlı ampirik analizleriyle belirlendi. Hareket karmaşıklığı, doku yoğunluğu ve farklı bölgelerin algısal önemi gibi faktörler dikkate alındı.
1.2.2 İçerik karmaşıklığı analizi
İçerik karmaşıklığı, video içeriğinin çeşitli yönlerini niceleyen çok boyutlu bir yaklaşımla çerçevenin kritik bir bileşeni olarak analiz edildi. Bu analiz, sonraki aşamalarda kaynak tahsisi ve sıkıştırma parametreleri hakkında bilinçli kararlar için temel oldu. Video içeriğinin mekânsal, zamansal ve algısal yönlerini dikkate alan kapsamlı bir karmaşıklık ölçütü tanıtıldı ve bu ölçüm şu şekilde verildi:
(4)
Mekansal karmaşıklık bileşeni Cs(f), her çerçevedeki detay ve doku dağılımı gradyan analiziyle analiz edilerek hesaplandı. Bu ölçüm, kaliteyi korumak için daha yüksek bit tahsisi gerektiren alanları belirlemek için kullanıldı.
(5)
Zamansal karmaşıklık bileşeni Ct(f), ardışık kareler arasındaki hareket yoğunluğunu nicelendirmek için hesaplandı; çünkü bu ölçüm, sıkıştırma davranışını tahmin etmek ve uygun tampon boyutlarının belirlenmesi için şarttı.
(6)
Algısal karmaşıklık bileşeni Cp(f), izleyiciler için algısal olarak önemli bölgeleri önceliklendirmek için insan görme modellerini entegre etti.
(7)
1.3 Seyrek grafik dikkat konvolüsyon ağları kullanılarak özellik çıkarma
AQVSO'nun özellik çıkarma aşamasında yeni bir Sparse Graph Attention Konvolüsyon Ağ (SGA-ConvNet) mimarisi uygulandı ve video işleme için geleneksel konvolüsyon ağlara kıyasla önemli bir gelişme işaret etmiştir. SGA-ConvNet, kaynak kısıtlı ortamlarda yüksek boyutlu video verilerini işlemek için özellikle iyi bir şekilde tasarlandı; seyrek konvolüsyonların etkinliğini dikkat mekanizmalarının uyumlanabilirliğiyle harmanlamaktı. Bu ağ mimarisi, video içeriğinde zamansal ve mekansal bağımlılıkların yakalama temel sorununu ele almıştır. Video çerçeve işleme sırasında dinamik bir grafik oluşturuldu; her düğüm önemli bir özellik noktasını temsil ediyor ve kenarlar bu özelliklerin birbirleriyle nasıl ilişkili olduğunu gösteriyordu. Hesaplamalı ek yük, kaynakları ilgili bölgelere yoğunlaştırarak ve seyrek bağlantıyı koruyarak önemli ölçüde azaltıldı; bu durum geleneksel konvolüsyon ağlara kıyaslandı. Her katmandaki çekirdek operasyon şu şekilde tanımlandı:
(8)
H(l), katman l'deki özellik temsillerini temsil ederken, A ̃ normalize dikkat bitişiklik matrisini gösterir. W(l) öğrenilebilir ağırlık matrislerini içeriyordu ve σ doğrusal olmayan aktivasyon fonksiyonunu temsil ediyordu. Ağ, hesaplama grafiğinde seyrekliği korurken hiyerarşik özellik temsillerini öğrenebiliyordu. Uyarlanabilir özellik işleme için kritik olan dikkat mekanizması şu şekilde hesaplandı:
(9)
αij, i ve j düğümleri arasındaki dikkat katsayısını, [hi ∣∣ hj] ise onların özellik vektörlerinin birleşmesini gösterirdi. LeakyReLU aktivasyonu, kadın yok olmasını önlemek ve ağın olumsuz özelliklerden öğrenme yeteneğini korumak için kullanıldı. Dikkat mekanizması, farklı özellik bağlantılarının önemini, mevcut çerçevenin içeriğiyle ilgisine göre dinamik olarak ayarladı.
1.4 Adaptif spiking sinir ağları aracılığıyla dinamik hız kontrolü
Dinamik hız kontrolü, video akış hızlarını yönetmek için biyolojik esinli bir yaklaşım olan ASNN mimarisi aracılığıyla AQVSO çerçevesinde (Şekil 1) uygulanmıştır. ASNN, video akışının zamansal dinamiklerini yönetirken hızla değişen ağ koşullarına uyum sağlamak için özel olarak tasarlandı. Bu bileşen, akış kalitesini korumak ve farklı ağ koşullarında bant genişliği kullanımını optimize etmek için kritik görüldü. Bilgi, ASNN'deki ayrık spike'larla işlenir; bu da biyolojik sinir ağlarını taklit ederek, güç verimliliği ve zamansal işleme açısından çeşitli avantajlar sağlamıştır. Spiking nöronların zar potansiyeli aşağıdaki şekilde evrimleşti:
(10)
V(t) t zamanındaki zar potansiyelini temsil eder, Vdinlenme potansiyeli olarak ayarlanır ve τm zar zaman sabiti olarak tanımlanır. I(t) ağ koşulları ve içerik karmaşıklığından hesaplandı. Uyum sağlayan gürültü, dayanıklılığı artırmak için σ(t)N(0,1) ile tanıtıldı. Bu gürültü terimi, ağ koşullarındaki hızlı dalgalanmalarla karşılaşıldığında ağın istikrarını korumasına yardımcı olmuştur. Hız kontrol mekanizması, gelişmiş bir uyarlama şeması kullanılarak uygulandı:
(11)
R(t) hedef bit hızını, S(t) sinir ağının yükselme hızını, B(t) mevcut bant genişliğini, E(t) ise kalite metriklerinden türetilen hata terimini temsil ederdi. Üstel terim expp(-λE(t)) kalite değişimlerine sorunsuz uyum sağlamak ve hız kontrol sisteminde salınımlı davranışı önlemek için kullanıldı.
1.5 Kalite odaklı sıkıştırma optimizasyonu
Sıkıştırma optimizasyon aşamasında, algısal kalite metriklerini içerik farkında sıkıştırma stratejileriyle birleştiren yeni bir yaklaşım uygulandı. Bu aşama, sıkıştırılmış video akışında kalite ve boyut arasında optimal dengeler elde etmek için temel hale getirilmiştir. Bölgeye uyarlanabilir bir sıkıştırma şeması kullanıldı; bitler hem içerik önemi hem de algısal kalite gereksinimlerine göre tahsis edildi.
(12)
C (r,t), t zamanındaki r bölgesi için sıkıştırma oranını temsil ederken, Cbaz(r) ise içerik karmaşıklığına göre belirlenen temel sıkıştırma oranı olarak kullanılmıştır. Q(r,t) özelliği faktörünü belirtmek için tanımlanmıştır. φi (r,t), hareket yoğunluğu, kenar yoğunluğu ve algısal önem gibi çeşitli ayarlama faktörlerini temsil etmek için uygulanmıştır.
1.6 Karınca kolonisi optimizasyonu ile derin inanç ağları aracılığıyla kaynak tahsisi
AQVSO'daki kaynak tahsis mekanizması, Derin İnanç Ağları (DBN) ile Karınca Kolonisi Optimizasyonu (ACO) birleştiren hibrit bir yaklaşım uygulayacak şekilde yapılandırıldı ve video akış sistemlerinde optimal kaynak dağıtımı gibi karmaşık soruna yeni bir çözüm ortaya koydu. Derin inanç ağlarının öğrenme yetenekleri, kaynak kullanımında desen tanıma için kullanıldı, karınca kolonisi algoritmalarının optimizasyon güçleri ise gerçek zamanlı kaynak tahsisi kararlarında kullanıldı. DBN-ACO sistemi, dinamik ağ ortamlarında acil kaynak gereksinimlerini uzun vadeli optimizasyon hedefleriyle dengeleme temel zorluğunu ele almak için tasarlanmıştır. DBN bileşeni, birden fazla Kısıtlı Boltzmann Makinesi'nden (RBM) oluşan hiyerarşik bir öğrenme yapısı kullanılarak uygulandı ve her katman kaynak kullanımında giderek soyut kalıpları yakalamaktadır. Gizli birim aktivasyonunun olasılık dağılımı şu şekilde modellendi:
(13)
hi gizli birimleri, v görünür birimleri, bi önyargı terimlerini ve Wij bağlantı ağırlıklarını temsil ediyordu. Bu olasılıksal modelleme, kaynak kullanım kalıplarındaki karmaşık bağımlılıkları yakalamak için kullanıldı ve değişen koşullara uyum sağlamayı korudu. ACO bileşeni, dinamik feromon tabanlı optimizasyon stratejisiyle uygulandı.
(14)
(15)
τij, feromon seviyelerini temsil ederken, p buharlaşma oranı Δτij (t) olarak hizmet ederdi. feromon güncellemesi olarak tanımlandı ve ηIJ , mevcut ağ koşullarına ve kaynak kullanılabilirliğine dayalı sezgisel değeri temsil ediyordu.
1.7 Adaptif tampon yönetimi ve hata kurtarma
AQVSO çerçevesinde, değişken ağ koşullarına ve içerik özelliklerine dinamik olarak uyum sağlayan gelişmiş bir tampon yönetim sistemi uygulandı. Bu sistem, gecikmeyi en aza indirirken ve tampon alt-taşma veya taşma koşullarını önleyerek akış sürekliliğini koruyacak şekilde tasarlanmıştır. Hem ağ istatistiklerini hem de içerik karmaşıklığını dikkate alan yenilikçi bir uyarlanabilir yaklaşım uygulandı.
(16)
B(t) hedef tampon boyutu olarak korundu, QoE(t) mevcut deneyim kalitesi olarak ölçüldü, σ(t) ağ kararlılığı metriği olarak takip edildi ve φ(σ(t)) ağ değişkenliğine göre tampon boyutunu modüle etmek için uyarlanabilir bir fonksiyon olarak uygulandı. Hata iyileştirme mekanizması, proaktif hata önleme ile tepkisel kurtarma stratejilerini birleştiren çok katmanlı bir yaklaşımla yürütüldü. Sistem içinde çerçeve referanslarından oluşan bir sürgülü pencere tutuluyordu.
(17)
p tek bir kurtarma girişiminin başarı olasılığını temsil etmek için kullanıldı, n deneme sayısı olarak alındı ve hata tespitinden sonraki zamanı temsil etmek için T(t) uygulandı. Bu üstel bozulma terimi, iyileşme çabalarının zamansal öneme dayalı olarak doğru önceliklendirilmesini sağlamak için kullanıldı.
1.8 Kalite değerlendirmesi ve geri bildirim entegrasyonu
Kalite değerlendirme sistemi, birden fazla kalite ölçütünü kullanıcı deneyimi faktörleriyle birleştiren kapsamlı bir yaklaşım uyguladı. Bu entegrasyon, yüksek QoE'yi korumak ve kaynak kullanımını optimize etmek için kritik öneme sahipti. Sistem, yeni bir kalitede metrik füzyon uyguladı:
(18)
NB(t) normalleştirilmiş tamponlama oranı olarak, SB(t) anahtarlama frekansı olarak hesaplandı ve M(t) hareket kalite faktörü olarak hesaplandı. Ağırlıklar w i içerik türü ve izleme koşullarına göre dinamik olarak ayarlandı.
(19)
Θi temel ağırlıklar olarak temsil edildi ve f(C(t)) içeriğe bağlı bir ayarlama fonksiyonu olarak uygulandı. Geri besleme entegrasyon sistemi, kapalı döngü kontrol mekanizması olarak uygulandı.
(20)
e(t) hedef ile elde edilen kalite metrikleri arasındaki hatayı temsil edecek şekilde ayarlandı ve K1,K 2, K3 , ağ koşulları ve içerik özelliklerine göre ayarlanan uyarlanabilir kazanç parametreleri olarak tanımlandı.