自适应质量视频流优化：一个智能多神经框架，提升5G及其他网络的体验质量

Summary

本文介绍了AQVSO（自适应质量视频流优化）框架，作为先进神经模型与优化模型的整合，旨在提升5G及下一代网络中的视频流。该框架提升视频质量，减少缓冲，并优化资源使用。

Abstract

AQVSO（自适应质量视频流优化）是一个新的视频流框架，旨在提升5G及以上网络中的视频流质量和资源利用率。本研究提出了一个端到端多神经网络，由四个相关模块组成，这些模块包含带策略驱动编码器的稀疏卷积网络（SCN-PDE）、稀疏图注意力卷积网络（SGA-ConvNet）、自适应尖峰神经网络（ASNN）以及带有蚂蚁群落优化的深度信念网络（DBN-ACO）。这些元素会根据数学模型动态调整网络变化，旨在平衡质量与资源使用。UCF-101数据集上的实验显示，AQVSO保持的SSIM分数与最先进算法BBA和BOLA相似（0.977），同时所需的带宽更少（4,936/8,000 kbps）。该框架在保持高感知质量（PSNR = 45.89 dB）的同时，可节省38%的带宽消耗，并且几乎消除了缓冲现象。该系统在移动、内容分发网络（CDN）和企业环境下实现了99.9%的流媒体确定性，为资源有限的视频传输系统带来了实际的性能提升。这得益于通过自适应、内容感知的流媒体决策，提供可管理的用户体验和高效利用网络资源。

Introduction

本研究的目标是开发一个集成的多神经自适应流式流框架，称为AQVSO，能够共同优化动态5G及更高网络条件下的感知视频质量和带宽利用率。该方法旨在将内容分析、速率控制和资源分配统一为单一决策架构，以显著降低比特率要求实现一致的体验质量（QoE）。

自适应质量视频流优化（AQVSO）

在5G及以后时代，AQVSO专注于通过采用多神经网络模型，智能平衡感知质量与资源利用，提升视频流体验质量（QoE^）。这种网络感知调度策略能够解决在时间变化或不稳定的网络环境中，降低带宽消耗和服务器拥堵的同时，提供高质量视频流的^挑战。

截至2023年，视频流量占全球移动数据总量的80%以上，推动了高效的多媒体传输系统需求达到历史新高^。3。传统网络正在转型为敏捷、虚拟化、基于软件的网络，这些网络由软件定义网络（SDN）、网络功能虚拟化（NFV）、多接入边缘计算（MEC）以及第五代（5G）环境中的云/边缘计算支持 ^4,5。这些进步使下一代应....

Protocol

所用软件列于 材料表中。

数据集设置

UCF-101³ 数据集被获取并提取到 Videos/UCF-101 目录中。通过校验和验证或手动回放评估数据集完整性，任何损坏的文件均排除在后续处理之外。

计算环境

所有实验均在Windows 10/11或Ubuntu 20.04+上的Python 3.10中完成。软件环境包括tensorflow==2.17.0、opencv-python、scikit-image、numpy、pandas和tqdm。使用至少8GB内存，并在可用时采用GPU加速。

帧提取

视频帧通过 CV2读取。使用VideoCapture（）和灰度转换，使用 cv2.cvtColor完成。生成的帧按顺序存储在 帧 目录中，以保持时间一致性。

Results

对拟议系统的性能进行全面分析，并报告实施结果。包含对比部分，以确认系统是否适合基于云的机器学习方法Neuro Cloud Stream。 图2 展示了AQVSO系统的工作流程。

数据集描述

评估AQVSO框架时，使用从10秒到2小时30分钟的多样化视频内容集合。该综合测试数据集包含UCF101数据，包含13,320个视频片段。将数据集分为训练（75%）、验证（12.5%）和测试（12.5%）三组，以确保评估的平衡。每个子文件夹应根据其剪辑的动作类进行标记，并附有包含每个子集目录的剪辑名称、路径和标签的CSV文件。这种多样化的时间范围和内容类型使得对框架在不同流媒体场景下的适应性和性能进行了全面评估。

所提模型的性能分析

图3展示了分.......

Discussion

自适应质量视频流优化（AQVSO）框架是一个基于嵌入式多模块编解码器集成架构的多媒体处理引擎，用于动态提升无线网络中的感知视频质量和比特率自适应性。例如，与单个预测器或速率控制器不同，AQVSO利用SCN-PDE增强运动感知，SGA-ConvNet用于时空注意力建模，ASNN用于低延迟自适应速率控制，DBN-ACO用于全局优化比特分配。这种连贯的方法与大多数早期基于吞吐量或基于规则的ABR技术形成对比，如Darwich和Bayoumi¹或Yeo等人，后者主要基于带宽估计，缺乏感知或内容感知。AQVSO区别于基于下一帧的预测方法，将视觉质量建模与资源控制结合在单一决策循环内，以在真实流媒体动态下保持稳定性能。

影响方案成功的关键步骤

多个协议组件对系统的稳定性、视频质量一致性和可重复性有着重要影响。对下游建模必须可靠地提取语义和结构特征。预处理不准确（例如不当调整大小或归一化）直接降低了 SGA-ConvNet 和 ASNN 的.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
8GB 内存	通用		运行实验所需的最小内存。
英特尔Core i5处理器	英特尔公司		用于AQVSO评估流水线的CPU。
数字派	NumPy 开发者		数值计算与矩阵运算。
OpenCV-Python	OpenCV.org		用于视频加载、帧提取和预处理。
熊猫	熊猫开发团队		数据处理、CSV导出、度量表。
Python 3.10（编程语言）	Python 软件基础		执行AQVSO框架脚本和依赖库的必备工具。
scikit-image	Scikit-Image 开发者		SSIM、PSNR、MSSE 计算。
张量流 2.17.0	谷歌		用于构建神经模块（SCN、SGA-ConvNet、ASNN、DBN）的深度学习库。
TQDM	TQDM团队		管道执行的进度条。
Windows 10（64 位）作系统	Microsoft公司		用于实验的作系统。