Оптимизация видео с адаптивным качеством потокового потока: интеллектуальный мультинейронный фреймворк для повышения качества опыта в сетях 5G и за их пределами

Summary

В этой статье представлен фреймворк AQVSO (Adaptive Quality Video Streaming Optimization) как интеграция продвинутых нейронных и оптимизационных моделей, предназначенных для улучшения видеопотокового потока в 5G и сетях следующего поколения. Фреймворк улучшает качество видео, снижает буферизацию и оптимизирует использование ресурсов.

Abstract

AQVSO (Adaptive Quality Video Streaming Optimization) — это новый фреймворк для видеопотокового потока, направленный на повышение качества и использование ресурсов в сетях 5G и Beyond сервиса. В исследовании предлагается сквозная многонейронная сеть, включающая четыре сопутствующих модуля, включающих разреженные сверточные сети с энкодерами, управляемыми политиками (SCN-PDE), сверточную сеть с разрежённым графом внимания (SGA-ConvNet), адаптивные нейронные сети с спайкингом (ASNN) и сети глубоких убеждений с оптимизацией муравьиных колоний (DBN-ACO). Эти элементы динамически адаптируются к изменениям в сети на основе математической модели, направленной на баланс между качеством и использованием ресурсов. Эксперименты с набором данных UCF-101 показывают, что AQVSO сохраняет показатели SSIM, аналогичные современным алгоритмам BBA и BOLA (0,977), при этом требуя значительно меньшей пропускной способности (4 936/8 000 кбит/с). Фреймворк позволяет экономить 38% на расходе пропускной способности, сохраняя при этом высокое качество восприятия (PSNR = 45,89 дБ) и практически устраняет буферизацию. Система достигает 99,9% уверенности потокового потока в мобильных, CDN (Content Delivery Network) и корпоративных условиях, обеспечивая фактический прирост производительности для видеодоставки в условиях ограниченных ресурсов. Это стало возможным благодаря удобному пользовательскому опыту и эффективному использованию сетевых ресурсов через адаптивные, ориентированные на контент решения в стриминге.

Introduction

Цель данного исследования — разработать интегрированную мультинейронную адаптивную стриминговую структуру, названную AQVSO, которая совместно оптимизирует качество восприятия видео и использование пропускной способности в динамических условиях 5G и за пределами сетевых условий. Метод направлен на объединение контент-анализа, управления скоростью и распределения ресурсов в единую архитектуру принятия решений для достижения единого качества опыта (QoE) при значительно более низких требованиях к битрейту.

Оптимизация видео с адаптивным качеством стриминга (AQVSO)

В эпоху 5G и далее AQVSO сосредоточена на повышении качества видеопотокового опыта (QoE), внедряя модель на основе мультинейронных сетей, которая разумно балансирует между качеством восприятия и использованием^{ресурсов 1}. Эта стратегия планирования, ориентированная на сеть, может решить задачу предоставления высококачественных видеопотоков в изменяющейся во времени или нестабильной сетевой среде с уменьшенным потреблением пропускной способности и перегрузкой^{серверов 2}.

В 2023 году видеотрафик составляет более 80% от общего объема мобильных данных в мире, что подняло потребность в эффективных системах мультимедийной доставки до рекордно^{высокого уровня 3}. Устаревшие сети преобразуются в гибкие, виртуализированные программно-ориентированные сети, поддерживаемые программно-определяемыми сетями (SDN), виртуализацией сетевых функций (NFV), многодоступными edge-вычислениями (MEC) и облачными/edge-вычислениями в среде пятого поколения (^{5G) 4,5}. Эти достижения позволяют приложениям следующего поколения обеспечивать более высокую скорость передачи данных, меньшую задержку и большую плотность^{соединения 6}.

С учётом растущего уровня конкуренции качество опыта (QoE) стало одним из важнейших показателей для поставщиков услуг ^7,8. QoE включает не только традиционные метрики качества обслуживания (QoS), но и добавляет восприятие пользователя и интегрирует объективные параметры QoS с субъективными факторами опыта пользователя, такими как ожидания, эмоции и предпочтения^{9, 10, 11}. Что касается мультимедийных сервисов, QoE напрямую влияет на удовлетворённость конечных пользователей и может рассматриваться как универсальный показатель общей оценки качества, связывающий пользовательский опыт с производительностью приложений и коммуникационных^{систем 12}.

QoE потоковой передачи видео зависит от таких параметров, как задержка, битрейт и качество изображения. Перегрузка сети, вызванная ростом данных и ограничениями пропускной способности, нарушает непрерывность качества^{потокового вещания 13,14}. Распространённые подходы предлагают переменные видеоатрибуты (с разными частотами кадров и разрешением), но мобильность пользователя и вариации беспроводных каналов требуют более интеллектуальных стратегий управления^{15, 16, 17}.

Современные адаптивные стриминговые решения сильно ограничены в динамических условиях. Динамический адаптивный потоковый поток через HTTP (DASH) основан на эвристиках на стороне клиента, которые могут сбиваться в непредсказуемых беспроводных^{условиях 18}. Существуют методы, основанные на подкреплённом обучении (RL), такие как Pensieve, которые облегчают адаптацию, но требуют вычислительной стоимости и объёма обучающих^{данных 19}. Буферный алгоритм (BBA) в первую очередь учитывает заполнение буфера и игнорирует сложность контента и качество^{восприятия 20}. Предиктивное управление моделями (MPC) во многом зависит от прогнозов пропускной способности, которые могут сработать в мобильной^{среде 21}. BOLA (алгоритм Ляпунова на основе заполнения буферов) в основном сосредоточен на утилитах воспроизведения и не учитывает справедливость качества²².

Недавние достижения, включающие кроссмодальную агрегацию внимания в SCA-PVNet²³, аналитику в реальном времени с поддержкой edge-поддержки в^{RES 24} и эффективное облачное транскодирование edge^{cloud 25} до гибридных фреймворков для удаления шума, повышающих стабильность^{входа 26}, демонстрируют быстрый прогресс в интеллектуальной мультимедийной обработке. Расширенное понимание контента с помощью 2D-CNN пространственно-временного^{обучения 27} и видеомоделирования на основе^{трансформеров 28}, а также адаптивного управления битрейтом через архитектуры CNN-RNN²⁹ формируют прочную основу для интеллекта в потоковом интеллекте следующего поколения.

AQVSO выходит за рамки этих индивидуальных достижений, объединяя анализ контента, перцептивное моделирование и сетевое осознание решений в единую интегрированную архитектуру, обеспечивающую стабильно превосходящее качество качества в условиях динамической беспроводной связи. AQVSO принципиально отличается от этих схем. В рамках этого система интегрирует кодирование видео, динамику сети, трафик данных, распределение ресурсов и качество восприятия пользователя совместно в координированной форме. Эта комплексная схема управления преодолевает недостатки традиционных методов адаптации скорости, координируя восемь специализированных^{механизмов 23}.

Область применения и сфера применения

Сфера деятельности AQVSO включает мобильные сети 5G и выше, среды потокового обслуживания с поддержкой CDN и корпоративные облачные сценарии для дублирования в крупномасштабной доставке видео. Фреймворк разработан с предположением распределённых узлов edge-вычислений с лёгкими возможностями вывода, как в современных 5G-сетях на базе MEC. Будут представлены контекстные ограничения, такие как вычислительные затраты, налагаемые нейронными компонентами, и зависимость от точного прогнозирования состояния сети и QoE, указывающих, когда AQVSO работает лучше всего. Система также не подходит для сверхмалоресурсных сред без периферийных вычислений или для интерактивных приложений в реальном времени, требующих задержки менее 10 мс.

AQVSO состоит из восьми новых методов: адаптивная нейронная сеть (ASNN), используемая для оптимизации с учетом контента и сети; Алгоритм управления скоростью, разработанный для регулировки битрейта в реальном времени; Deep Belief Network (DBN) используется для прогнозирования паттернов трафика; Муравьиная колония оптимизации (ACO), используемая для решения проблемы распределения ресурсов в сети; Sparse Graph Attention Network (SGA), которая моделирует сложные взаимосвязи между видео и топологией сети в больших масштабах; Sparse Convolutional Network (SCN), которая обрабатывает высокоразмерные данные; Policy-Driven Encoder (PDE) — политика адаптивной стратегии кодирования, использующая полученные знания о видеотрендах с течением времени, и Stream Bayes Change Point Identifier (BCPI) — фильтр, обнаруживающий сдвиги из различных измерений, связанных с сетями и видео. В совокупности эти стратегии составляют суть AQVSO и обеспечивают комплексную оптимизацию в облаках, edge- и мобильных сетях, одновременно охватывая видеокодирование, управление трафиком, распределение ресурсов и адаптацию перцептивного качества.

В заключение, AQVSO предоставляет единый мультинейронный фреймворк, который совместно оптимизирует перцептивное QoE, контент-ориентированное кодирование и распределение ресурсов по сетям 5G+, обеспечивая высочайшую эффективность битрейта.

Protocol

Используемое программное обеспечение указано в Таблице материалов.

Настройка набора данных

Набор данных UCF-101³ был получен и извлечен в каталог Videos/UCF-101 . Целостность набора данных оценивалась с помощью проверки контрольной суммы или ручного воспроизведения, и любые повреждённые файлы исключались из последующей обработки.

Вычислительная среда

Все эксперименты проводились на Python 3.10 на Windows 10/11 или Ubuntu 20.04+. Программная среда включала tensorflow==2.17.0, opencv-python, scikit-image, numpy, pandas и tqdm. Использовалось минимум 8 ГБ оперативной памяти, а ускорение GPU применялось по мере доступности.

Извлечение кадров

Видеокадры читались с помощью cv2. VideoCapture() и преобразование в оттенках серого выполнялись с помощью cv2.cvtColor. Полученные кадры хранились в последовательном порядке в каталоге Frames для сохранения временной согласованности.

Базовая сеть объектов

Для обработки 224 × 224 оттенков серого была использована последовательная сверточная нейронная сеть. Использовались сверточные, пулирующие и плотные слои, а модель была обучена для пяти эпох с оптимизатором Адама и потерей бинарной перекрестной энтропии для установления базовых представлений признаков.

Распределение битрейта и сжатие

Сложность кадра на уровне пикселей оценивалась и использовалась для определения пропорционального распределения битрейта. Применялась JPEG-компрессия с адаптивными Q-значениями, а обработанные кадры сохранялись в каталоге Processed для дальнейшей оценки.

Оценка качества

Для каждого обработанного кадра выполнялись расчёты SSIM, PSNR и MSE. Полученные метрики компилировались в CSV-файлы, а графики визуализации генерировались и хранились в каталоге Output .

Окончательная казнь

Весь рабочий процесс выполнялся с помощью framework.run(). Это выполнение дало итоговый набор обработанных кадров, метрических сводок и графиков оценки.

1. Оптимизация видео с адаптивным качеством стриминга

1.1 Обзор архитектуры системы

Здесь представлен метод оптимизации потокового видео специально для сетей 5G и выше через фреймворк AQVSO. Подход сочетал в себе несколько передовых элементов, которые дополняли друг друга для улучшения качества качества и максимизации использования сетевых ресурсов. Для обработки видеопотоков использовался сложный конвейер, каждый компонент специализировался на определённой области видеооптимизации. На протяжении всего процесса стриминга система обеспечивала оптимальное качество обслуживания и сбалансированную обработку.

1.2 Предварительная обработка видео и начальный анализ

1.2.1 Извлечение кадров и базовый уровень качества

Данная структура оптимизации была построена на этапе предварительной обработки видео, который использовал передовые методы анализа для установления стандартов качества и подготовки видеоконтента к последующей обработке. При входе в систему видеопоток подвергался тщательной процедуре извлечения кадров, которая делила видео на отдельные кадры и изучала временные корреляции между последовательными кадрами. Эта предварительная обработка фиксировала временную динамику видео и устанавливала соответствующие параметры обработки для всего потока. Для входного видео V кадры извлекались и обрабатывались с помощью следующей математической формулировки:

(1)

Разрешение кадров рассчитывалось как m, а общее количество кадров — как n. Кадры извлекались при сохранении временной когерентности видео для обеспечения параллельной обработки на более поздних этапах. Базовый уровень качества был установлен путём внедрения нового подхода к термоядерному синтезу. Несколько метрик качества были объединены для создания комплексной оценки качества. Общее начальное QoE определялось с использованием указанных параметров.

(2)

Было рассмотрено значение этого подхода к слиянию, поскольку он учитывал ограничения индивидуальных показателей качества. Индекс структурного сходства (SSIM) отражал перцептивные аспекты качества, которые традиционные метрики могли бы упустить, в то время как пиковое отношение сигнал/шум (PSNR) обеспечивал объективное измерение качества, а среднеквадратическая ошибка (MSE) — прямое сравнение на уровне пикселей. Весовые коэффициенты α_{1,α 2,α 3} не были статичными; Вместо этого они динамически адаптировались в зависимости от характеристик содержания. ^i-й коэффициент веса рассчитывался с использованием следующих факторов:

(3)

Где,

Q_i — i-я система, i = 1,2... n

Q_j — j-й фрейм, j = 1,2... n, i не равен j

Важные факторы μ_i были определены посредством обширного эмпирического анализа различных типов видеоконтента, чтобы убедиться, что динамическая корректировка веса поддерживает соответствующую оценку качества при различных типах видеоконтента и условиях просмотра. Учитывались такие факторы, как сложность движения, плотность текстуры и перцептивная значимость различных областей.

1.2.2 Анализ сложности контента

Сложность контента была проанализирована как ключевой компонент фреймворка с помощью многомерного подхода, количественно оценивающего различные аспекты видеоконтента. Этот анализ был основополагающим для обоснованных решений о распределении ресурсов и параметрах сжатия на последующих этапах. Был введён комплексный метрик сложности, учитывающий пространственные, временные и перцептивные аспекты видеоконтента, который был задан:

(4)

Компонент пространственной сложности C_s(f) рассчитывался путём анализа детализации и распределения текстур в каждом кадре с помощью градиентного анализа. Это измерение использовалось для выявления областей, требующих большего распределения битов для поддержания качества.

(5)

Компонент временной сложности C_t(f) был рассчитан для количественной оценки интенсивности движения между последовательными кадрами, так как это измерение было необходимо для прогнозирования поведения сжатия и определения подходящих размеров буферов.

(6)

Компонент перцептивной сложности C_p(f) интегрировал модели человеческого зрения для приоритизирования областей, значимых для зрителей перцептивно.

(7)

1.3 Извлечение признаков с использованием сверточных сетей с разрежённым графом внимания

Новая архитектура Sparse Graph Attention Convolutional Network (SGA-ConvNet) была реализована на этапе извлечения признаков AQVSO, что стало значительным улучшением по сравнению с традиционными сверточными сетями для обработки видео. SGA-ConvNet был разработан так, чтобы быть особенно подходящим для обработки высокомерных видеоданных в условиях с ограниченными ресурсами, сочетая эффективность разрежённых свёрток с адаптивностью механизмов внимания. Эта сетевая архитектура решала основную проблему фиксации временных и пространственных зависимостей в видеоконтенте. Динамический граф был построен во время обработки видеокадров, при этом каждый узел представлял важную точку признака, а рёбра — указывали на то, как эти особенности взаимосвязаны. Вычислительные накладные расходы значительно сократились за счёт концентрации ресурсов на соответствующих областях при сохранении разреженной связности, в отличие от традиционных сверточных сетей. Работа ядра на каждом уровне определялась посредством:

(8)

H^(l) представлял представления признаков на уровне l, а A ̃ — нормированную матрицу смежности внимания. W^(l) содержала обучаемые матрицы веса, а σ представляла нелинейную функцию активации. Сеть получила возможность изучать иерархические представления признаков при сохранении разреженности в графе вычислений. Механизм внимания, который был ключевым для адаптивной обработки признаков, вычислялся посредством:

(9)

α_ij обозначал коэффициент внимания между узлами i и j, а [h_i ∣∣∣ _{h j}] обозначал конкатенацию их векторов признаков. Активация LeakyReLU использовалась для предотвращения исчезновения градиентов при сохранении способности сети учиться на негативных особенностях. Механизм внимания динамически корректировал важность различных признаковых связей в зависимости от их релевантности к текущему содержанию кадра.

1.4 Динамическое управление скоростью через адаптивные спайкинг-нейронные сети

Динамическое управление скоростью было реализовано в фреймворке AQVSO (рисунок 1) с помощью архитектуры ASNN — биологически вдохновлённого подхода к управлению скоростями потокового потока видео. ASNN был специально разработан для обработки временной динамики видеопотоковой передачи при адаптации к быстро меняющимся сетевым условиям. Этот компонент был признан ключевым для сохранения качества потокового потока при одновременной оптимизации использования пропускной способности в различных условиях сети. Информация обрабатывалась с помощью дискретных спайков в ASNN, имитирующих биологические нейронные сети, что обеспечивало ряд преимуществ с точки зрения энергоэффективности и временной обработки. Мембранный потенциал шипующих нейронов эволюционировал в соответствии с следующим:

(10)

V(t) обозначал мембранный потенциал в момент времени t,_{V rest} устанавливался как потенциал покоя, а τ_m определялся как константа времени мембраны. I(t) рассчитывался исходя из состояния сети и сложности контента. Адаптивный шум был введён через σ(t)N(0,1) для повышения устойчивости. Этот шумовой термин помогал сети сохранять стабильность при резких колебаниях условий сети. Механизм управления скоростью был реализован с использованием сложной схемы адаптации:

(11)

R(t) — целевой битрейт, S(t) — скорость скачки нейронной сети, B(t) — доступная пропускная способность, а E(t) — ошибочный термин, полученный из метрик качества. Экспоненциальный термин expp(-λE(t)) использовался для обеспечения плавной адаптации к вариациям качества при предотвращении колебательного поведения в системе управления скоростью.

1.5 Оптимизация сжатия, основанная на качестве

На этапе оптимизации сжатия был реализован новый подход, сочетающий перцептивные метрики качества с стратегиями сжатия, ориентированными на контент. Этот этап стал фундаментальным для достижения оптимальных компромиссов между качеством и размером в сжатом видеопотоке. Использовалась регионально-адаптивная схема сжатия, которая распределяла биты как по важности содержания, так и по перцептивным требованиям к качеству.

(12)

C (r,t) обозначал степень сжатия для области r в момент времени t, а C_base(r) использовался как базовое сжатие, определяемое сложностью содержания. Q(r,t) была определена для обозначения коэффициента качества. φ_i (r,t) был реализован для представления различных факторов корректировки, включая интенсивность движения, плотность краёв и перцептивную важность.

1.6 Распределение ресурсов через глубокие сети убеждений с оптимизацией муравьиных колоний

Механизм распределения ресурсов в AQVSO был настроен для реализации гибридного подхода, объединяющего глубокие сети убеждений (DBN) с оптимизацией муравьиных колоний (ACO), что позволило создать новое решение сложной задачи оптимального распределения ресурсов в видеопотоковых системах. Возможности обучения в сетях глубоких убеждений использовались для распознавания шаблонов при использовании ресурсов, а оптимизационные возможности алгоритмов муравьиных колоний применялись для принятия решений о распределении ресурсов в реальном времени. Система DBN-ACO была разработана для решения фундаментальной задачи баланса немедленных потребностей в ресурсах с долгосрочными целями оптимизации в динамических сетевых средах. Компонент DBN был реализован с использованием иерархической структуры обучения, состоящей из нескольких ограниченных машин Больцмана (RBM), каждый из которых фиксировал всё более абстрактные закономерности использования ресурсов. Распределение вероятностей активации скрытых единиц было смоделировано посредством:

(13)

h_i — скрытые единицы, v — видимые единицы, b_i — смещенные термины, а w_ij — веса связей. Это вероятностное моделирование использовалось для фиксации сложных зависимостей в паттернах использования ресурсов при сохранении адаптивности к изменяющимся условиям. Компонент ACO был реализован с использованием динамической стратегии оптимизации на основе феромонов.

(14)
(15)

τ_ij обозначал уровни феромонов, при этом p служила скоростью испарения Δτ_ij (t). определялся как обновление феромонов, а _{η IJ} представлял эвристическое значение на основе текущих состояний сети и доступности ресурсов.

1.7 Адаптивное управление буфером и восстановление ошибок

В фреймворке AQVSO была реализована сложная система управления буфером, которая динамически адаптировалась к изменяющимся условиям сети и характеристикам контента. Эта система была разработана для поддержания непрерывности потока при минимизации задержки и предотвращении условий переполнения или переполнения буфера. Был внедрён новый адаптивный подход, учитывающий как сетевую статистику, так и сложность контента.

(16)

B(t) сохранялся как целевой размер буфера, QoE(t) измерялся как текущее качество опыта, σ(t) отслеживался как метрика стабильности сети, а φ(σ(t)) реализовывался как адаптивная функция для модуляции размера буфера на основе изменчивости сети. Механизм восстановления ошибок был реализован с использованием многоуровневого подхода, сочетающего проактивное предотвращение ошибок с реактивными стратегиями восстановления. В системе сохранялось скользящее окно с референсами.

(17)

p использовалось для обозначения вероятности успеха одной попытки восстановления, n — как количество попыток, а T(t) применялось для обозначения времени с момента обнаружения ошибки. Этот термин экспоненциального распада использовался для того, чтобы приоритеты по восстановлению были правильно распределены с точки зрения временной значимости.

1.8 Оценка качества и интеграция обратной связи

Система оценки качества реализовала комплексный подход, сочетающий несколько метрик качества с факторами пользовательского опыта. Эта интеграция была крайне важна для поддержания высокого качества качества и оптимизации использования ресурсов. Система реализовала новый метод термоядерного синтеза качества:

(18)

NB(t) рассчитывался как нормированное буферное отношение, SB(t) — как частота переключения, а M(t) — как коэффициент качества движения. Веса w_i регулировались динамически в зависимости от типа контента и условий просмотра.

(19)

Θi представлялась как базовые веса, а f(C(t)) применялась как функция корректировки, зависящая от содержания. Система интеграции обратной связи была реализована как механизм управления с замкнутым контуром.

(20)

e(t) был установлен для отображения ошибки между целевой и достигнутой метрикой качества, а K₁,_{K 2},_{K 3} определялись как адаптивные параметры усиления, корректирующиеся в зависимости от условий сети и характеристик контента.

Results

Представить тщательный анализ эффективности предлагаемой системы и сообщить о результатах внедрения. Добавьте раздел сравнения, чтобы убедиться, что система подходит для Neuro Cloud Stream — облачного ML-подхода. Рисунок 2 иллюстрирует рабочий процесс системы AQVSO.

Описание набора данных

Для оценки фреймворка AQVSO используйте разнообразный набор видеоконтента продолжительностью от 10 секунд до 2 часов 30 минут. Обширн...

Discussion

Фреймворк Adaptive Quality Video Streaming Optimization (AQVSO) — это мультимедийный процессорный движок, основанный на встроенной многомодульной архитектуре интеграции кодеков для динамического улучшения перцептивного качества видео и адаптивности битрейта в беспроводных сетях. В отличие от отдельных предикторов или контроллеров скорости, например, AQVSO использует SCN-PDE для повышения осознанности движений, SGA-ConvNet для пространственно-временного моделирования внимания, ASNN для ад...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
8 ГБ оперативной памяти	Дженерик		Минимальная память, необходимая для проведения экспериментов.
Процессор Intel Core i5	Intel Corporation		процессор, используемый для конвейера оценки AQVSO.
NumPy	Разработчики NumPy		Численные вычисления и матричные операции.
OpenCV-Python	OpenCV.org		Используется для загрузки видео, извлечения кадров и предварительной обработки.
Панды	Команда разработки Pandas		Обработка данных, экспорт CSV, метрические таблицы.
Python 3.10 (язык программирования)	Фонд программного обеспечения Python		Требуется для выполнения скриптов фреймворка AQVSO и зависимых библиотек.
scikit-image	Разработчики Scikit-Image		Вычисления SSIM, PSNR, MSE.
TensorFlow 2.17.0	Google		Библиотека глубокого обучения, используемая для создания нейронных модулей (SCN, SGA-ConvNet, ASNN, DBN).
TQDM	Команда TQDM		Индикаторы прогресса для выполнения конвейера.
Операционная система Windows 10 (64-bit)	Microsoft Corporation		Операционная система, используемая для экспериментов.