적응형 품질 비디오 스트리밍 최적화: 5G 및 그 이상에서 경험의 질 향상을 위한 지능형 다중 신경 프레임워크

Summary

이 글에서는 5G 및 차세대 네트워크에서 비디오 스트리밍을 향상시키기 위해 설계된 고급 신경 및 최적화 모델의 통합으로 AQVSO(적응형 품질 비디오 스트리밍 최적화) 프레임워크를 소개합니다. 이 프레임워크는 영상 품질을 향상시키고, 버퍼링을 줄이며, 자원 사용을 최적화합니다.

Abstract

AQVSO(적응형 품질 비디오 스트리밍 최적화)는 5G 및 그 이상(Beyond Network)에서 비디오 스트리밍 품질과 자원 활용도를 향상시키는 것을 목표로 하는 새로운 비디오 스트리밍 프레임워크입니다. 이 연구는 정책 기반 인코더가 포함된 희소 컨볼루션 네트워크(SCN-PDE), 희소 그래프 주의 컨볼루션 네트워크(SGA-ConvNet), 적응형 스파이킹 신경망(ASNN), 개미 집단 최적화가 포함된 딥 빌리프 네트워크(DBN-ACO)를 포함하는 네 개의 상호 관련 모듈로 구성된 종단 간 다중 신경망을 제안합니다. 이 요소들은 품질과 자원 사용 간의 균형을 맞추기 위한 수학적 모델을 기반으로 네트워크 변화에 동적으로 조정됩니다. UCF-101 데이터셋에서의 실험은 AQVSO가 최첨단 알고리즘인 BBA와 BOLA 점수와 유사한 SSIM 점수(0.977)를 유지하면서도 훨씬 적은 대역폭(4,936/8,000 kbps)을 요구하는 것으로 나타났습니다. 이 프레임워크는 높은 지각 품질(PSNR = 45.89 dB)을 유지하면서 대역폭 소비를 38% 절감할 수 있으며, 버퍼링 발생을 거의 없애버렸습니다. 이 시스템은 모바일, CDN(콘텐츠 전달 네트워크), 기업 환경에서 99.9%의 스트리밍 확실성을 달성하여, 자원이 제한된 상황에서 비디오 전송 시스템에 실제 성능 향상을 제공합니다. 이는 적응적이고 콘텐츠 인식 있는 스트리밍 결정을 통해 관리 가능한 사용자 경험과 네트워크 자원의 효율적인 사용을 제공함으로써 가능해집니다.

Introduction

본 연구의 목적은 동적 5G 및 그 이상의 네트워크 조건에서 인지 비디오 품질과 대역폭 활용을 공동으로 최적화하는 통합 다중 신경 적응형 스트리밍 프레임워크인 AQVSO를 개발하는 것입니다. 이 방법은 콘텐츠 분석, 속도 제어, 자원 할당을 단일 의사결정 아키텍처로 통합하여 훨씬 낮은 비트레이트 요구사항으로 일관된 경험 품질(QoE)을 달성하는 것을 목표로 합니다.

적응형 품질 비디오 스트리밍 최적화(AQVSO)

5G 시대 및 그 이후, AQVSO는 다중 신경망 기반 모델을 도입하여 인지 품질과 자원^{활용도를 지능}적으로 균형 있게 조정하여 비디오 스트리밍 품질 향상(QoE)에 집중하고 있습니다. 이 네트워크 인식 스케줄링 전략은 시간 변동이 심하거나 불안정한 네트워크 환경에서 대역폭 소모와 서버 혼잡을 줄이면서 고품질 비디오 스트림을 제공하는 문제를 해결할 수 있습니다^.

비디오 트래픽은 2023년 전 세계 전체 모바일 데이터의 80% 이상을 차지하며, 효율적인 멀티미디어 전달 시스템의 필요성을 사상^최고치로 끌어올렸습니다. 기존 네트워크는 소프트웨어 정의 네트워킹(SDN), 네트워크 기능 가상화(NFV), 다중 접속 엣지 컴퓨팅(MEC), 그리고 5세대(5G^{) 환경에서 클라우드}/엣지 컴퓨팅을 통해 지원하는 민첩하고 가상화된 소프트웨어 기반 네트워크로 전환되고 ^{있습니다.} 이러한 발전은 더 빠른 데이터 전송률, 낮은 지연 시간, 더 높은 연결 밀도를 갖춘 차세대 애플리케이션을 가능하게^합니다.

경쟁이 심화됨에 따라 경험 품질(QoE)은 서비스 제공자에게 가장 중요한 지표 중 하나가 되었습니다 ^7,8. QoE는 전통적인 서비스 품질(QoS) 지표뿐만 아니라 사용자 인식을 추가하고 기대, 감정, 선호도와 같은 주관적 경험 요소와 객관적인 QoS 매개변수를 통합^합니다. 멀티미디어 서비스와 관련해서, QoE는 최종 사용자 만족도에 직접적인 영향을 미치며, 사용자 경험과 애플리케이션 및 통신 시스템 성능을 연결하는 전반적인 품질 평가의 보편적 지표로 볼 수 있습니다^.

비디오 스트리밍의 QoE는 지연 시간, 비트레이트, 시각 품질과 같은 매개변수에 의존합니다. 데이터 증가와 용량 제한으로 인한 네트워크 혼잡은 스트리밍 품질의 연속성을 저해합니다^13,14. 일반적인 접근법은 다양한 비디오 속성(뚜렷한 프레임 속도와 해상도)을 제공하지만, 사용자 이동성과 무선 채널 변동성은 더 지능적인 관리 전략을 요구합니다.^{15, 16, 17}.

현재의 적응형 스트리밍 솔루션은 동적 조건에서 매우 제약을 받고 있습니다. HTTP 기반 동적 적응 스트리밍(DASH)은 예측 불가능한 무선 환경에서 실패할 수 있는 클라이언트 측 휴리스틱에 의존^합니다. 적응을 돕는 강화 학습(RL) 기반 방법들, 예를 들어 Pensieve가 있지만 계산 비용이 많이 들고 풍부한 학습 데이터가 필요합니다¹⁹. 버퍼 기반 알고리즘(BBA)은 주로 버퍼 점유율을 고려하며 콘텐츠 복잡도와 지^{각 품질을 무}시합니다. 모델 예측 제어(MPC)는 대역폭 예측에 크게 의존하며, 모바일 환경에서는 실패할 수 있습니다²¹. BOLA(버퍼 점유 기반 Lyapunov 알고리즘)는 주로 재생 유틸리티에 초점을 맞추고 품질 공정성을^{충분히 고려하지} 않습니다.

SCA-PVNet²³의 교차 모달 주의 집계, RES²⁴의 엣지 기반 실시간 분석, 효율적인 엣지 클라우드 트랜스코딩²⁵, 입력 안정성 개선을 위한 하이브리드 노이징 프레임워크²⁶에 이르기까지 최근 발전은 지능형 멀티미디어 처리의 빠른 발전을 보여줍니다. 2D-CNN 시공간 학습²⁷과 트랜스포머 기반 비디오 모델링²⁸을 통한 콘텐츠 이해 향상, 그리고 CNN-RNN 아키텍처를 통한 적응형 비트레이트 제어(²⁹)는 차세대 스트리밍 인텔리전스의 강력한 기반을 형성합니다.

AQVSO는 이러한 개별 발전을 넘어 콘텐츠 분석, 지각 모델링, 네트워크 인지 의사결정을 통합하여 동적 무선 조건에서 지속적으로 우수한 QoE를 제공하는 단일 통합 아키텍처로 구현합니다. AQVSO는 이러한 제도와 근본적으로 다릅니다. 이 과정에서 비디오 인코딩, 네트워크 동역학, 데이터 트래픽, 자원 할당과 사용자 인지 품질을 조율적으로 통합합니다. 이 포괄적인 통제 체계는 8개의 전용 메커니즘을 조정하여 전통적인 속도 적응 방법의 한계를 극복합니다²³.

범위 및 적용

AQVSO의 범위는 모바일 5G 및 그 이상, CDN 지원 스트리밍 환경, 대규모 비디오 전송의 중복성을 위한 엔터프라이즈 클라우드 시나리오를 포함합니다. 이 프레임워크는 오늘날의 MEC 기반 5G 네트워크처럼 경량 추론 능력을 가진 분산 엣지 컴퓨팅 노드를 전제로 개발되었습니다. 신경 구성 요소에 따른 계산 비용과 정밀한 네트워크 및 QoE 상태 예측에 대한 의존과 같은 맥락적 한계를 제시하며, AQVSO가 가장 잘 작동하는 시기를 명시합니다. 또한 이 시스템은 엣지 컴퓨팅이 없는 초저자원 환경이나 10ms 미만의 지연이 필요한 실시간 인터랙티브 애플리케이션에는 적합하지 않습니다.

AQVSO는 8가지 새로운 기법으로 구성되어 있습니다: 콘텐츠 및 네트워크 인식 최적화를 위해 활용된 적응형 스파이킹 신경망(ASNN); 실시간으로 비트레이트를 조정하도록 설계된 속도 제어 알고리즘; 트래픽 패턴 예측에 활용된 딥 빌리브 네트워크(DBN); 네트워크 자원 배분 문제를 해결하기 위해 활용된 개미 집단 최적화(ACO); 비디오와 네트워크 토폴로지 간의 복잡한 관계를 대규모 모델링하는 희소 그래프 주의 네트워크(SGA); 고차원 데이터를 처리하는 희소 컨볼루션 네트워크(SCN); Policy Driven Encoder(PDE)는 시간에 따른 비디오 트렌드에 대한 학습된 지식을 활용하는 적응형 인코딩 전략 정책이며, 스트림 베이즈 변경 지점 식별자(BCPI)는 네트워크와 비디오와 관련된 다양한 차원에서 발생하는 변화를 감지하는 필터입니다. 이 전략들은 모두 AQVSO의 핵심을 이루며, 비디오 인코딩, 트래픽 관리, 자원 할당, 인지 품질 적응 등을 동시에 다루어 클라우드, 엣지, 모바일 네트워크 전반에 걸쳐 총체적 최적화를 제공합니다.

요약하자면, AQVSO는 5G+ 네트워크 전반에서 인지적 QoE, 콘텐츠 인지 인코딩, 자원 할당을 공동으로 최적화하는 통합 다중 신경 프레임워크를 제공하여 우수한 품질 및 비트레이트 효율성을 달성합니다.

Protocol

사용되는 소프트웨어는 재료표에 나열되어 있습니다.

데이터셋 설정

UCF-101³ 데이터셋은 수집되어 Videos/UCF-101 디렉토리에 추출되었습니다. 데이터셋의 무결성은 체크섬 검증 또는 수동 재생을 통해 평가되었으며, 손상된 파일은 이후 처리에서 제외되었습니다.

계산 환경

모든 실험은 Windows 10/11의 Python 3.10 또는 Ubuntu 20.04+에서 수행되었습니다. 소프트웨어 환경에는 tensorflow==2.17.0, opencv-python, scikit-image, numpy, pandas, tqdm이 포함되었습니다. 최소 8GB RAM이 사용되었고, GPU 가속이 가능할 경우 적용되었습니다.

프레임 추출

비디오 프레임은 cv2를 사용해 읽었습니다 . VideoCapture()와 그레이스케일 변환은 cv2.cvtColor를 사용해 수행되었습니다. 생성된 프레임들은 시간적 일관성을 유지하기 위해 Frames 디렉터리 내에 순차적으로 저장되었습니다.

기본 특징 네트워크

순차적 합성곱 신경망을 사용해 224× 224개의 그레이스케일 프레임을 처리했습니다. 합성곱, 풀링, 조밀 층이 사용되었으며, 모델은 아담 최적화기와 이진 교차엔트로피 손실을 이용해 5개의 에포크를 훈련시켜 기준선 특징 표현을 확립했습니다.

비트레이트 할당 및 압축

픽셀 단위의 프레임 복잡도를 추정하여 비례 비트레이트 할당을 결정했습니다. 적응형 Q-값이 적용된 JPEG 압축이 적용되었고, 처리된 프레임은 추가 평가를 위해 Processed 디렉터리에 저장되었습니다.

품질 평가

처리된 각 프레임에 대해 SSIM, PSNR, MSE 계산이 수행되었습니다. 결과된 지표는 CSV 파일로 컴파일되었고, 시각화 그래프가 생성되어 출력 디렉터리에 저장되었습니다.

최종 처형

전체 워크플로우는 framework.run()을 사용해 실행되었습니다. 이 실행은 최종 처리된 프레임, 메트릭 요약, 평가 플롯 세트를 생성했습니다.

1. 적응형 품질 비디오 스트리밍 최적화

1.1 시스템 아키텍처 개요

여기서는 AQVSO 프레임워크를 통해 5G 및 그 이상을 위한 비디오 스트리밍 최적화 방법을 제시합니다. 이 접근법은 여러 최첨단 요소를 결합하여 서로 보완하여 품질 향상과 네트워크 자원 활용을 극대화했습니다. 각 구성 요소는 특정 비디오 최적화 분야에 특화되어 복잡한 파이프라인을 사용해 비디오 스트림을 처리했습니다. 스트리밍 과정 전반에 걸쳐 시스템은 최적의 품질 유지와 균형 잡힌 처리를 보장했습니다.

1.2 비디오 전처리 및 초기 분석

1.2.1 프레임 추출 및 품질 기준선

주어진 최적화 프레임워크는 고급 분석 기법을 사용하여 품질 기준을 확립하고 비디오 콘텐츠를 후속 처리를 준비하는 비디오 전처리 단계를 기반으로 구축되었습니다. 시스템에 진입한 비디오 스트림은 철저한 프레임 추출 절차를 거쳐 개별 프레임으로 나누고 연속 프레임 간의 시간적 상관관계를 분석했습니다. 이 예비 처리는 비디오의 시간적 역학을 포착하고 전체 스트림에 적합한 처리 매개변수를 설정했습니다. 입력 비디오 V의 경우, 프레임은 다음과 같은 수학적 공식으로 추출 및 처리되었습니다:

(1)

프레임 해상도는 m, 전체 프레임 수는 n으로 계산되었습니다. 프레임은 비디오의 시간적 일관성을 유지하면서 추출되어 이후 단계에서 병렬 처리가 가능했습니다. 품질 기준선은 새로운 융합 접근법을 도입하여 확립되었습니다. 여러 품질 지표를 결합하여 포괄적인 품질 평가를 만들었습니다. 전체 초기 QoE는 지정된 매개변수를 사용하여 결정되었습니다.

(2)

이 융합 접근법의 중요성은 개별 품질 지표의 한계를 해결하기 위해 고려되었습니다. 구조유사성 지수(SSIM)는 전통적인 지표들이 놓칠 수 있는 지각 품질 측면을 포착했고, 최고 신호 대 잡음비(PSNR)는 객관적인 품질 측정을 제공했으며, 평균제곱오차(MSE)는 픽셀 단위로 직접적인 비교를 제공했습니다. 가중치 계수α_{1,α 2,α 3} 은 고정되지 않았으며; 대신 내용 특성에 따라 동적으로 적응했습니다. i^번째 가중계수는 다음과 같이 계산되었습니다:

(3)

여기서,

Q_i 는 i번째 프레임, i = 1,2... n

Q_j는 j번째 프레임이고, j = 1,2... N, i는 J와 같지 않다

중요한 μ요인들은 다양한 비디오 콘텐츠 유형에 대한 광범위한 실증 분석을 통해 결정되었으며, 동적 가중치 조정이 다양한 비디오 콘텐츠와 시청 조건에서 적절한 품질 평가를 유지하도록 했습니다. 모션 복잡성, 텍스처 밀도, 각 영역의 지각적 중요성과 같은 요소들이 고려되었습니다.

1.2.2 콘텐츠 복잡도 분석

콘텐츠 복잡성은 비디오 콘텐츠의 다양한 측면을 정량화하는 다차원적 접근법을 통해 프레임워크의 핵심 요소로 분석되었습니다. 이 분석은 이후 단계에서 자원 배분 및 압축 매개변수에 대한 정보에 기반한 결정을 내리는 데 근본적이었습니다. 비디오 콘텐츠의 공간적, 시간적, 지각적 측면을 고려하는 포괄적인 복잡도 지표가 도입되었으며, 다음과 같이 제시되었습니다:

(4)

공간 복잡도 성분 C_s(f)는 각 프레임 내 세부 및 텍스처 분포를 그라데이언트 분석을 통해 계산되었습니다. 이 측정은 품질 유지를 위해 더 많은 비트 할당이 필요한 영역을 식별하는 데 사용되었습니다.

(5)

시간 복잡도 성분 C_t(f)는 연속된 프레임 간 운동 강도를 정량화하기 위해 계산되었으며, 이 측정은 압축 거동 예측과 적절한 버퍼 크기 결정에 필수적이었습니다.

(6)

지각 복잡도 구성 요소 C_p(f)는 인간 시각 모델을 통합하여 시청자에게 지각적으로 중요한 영역을 우선시했습니다.

(7)

1.3 희소 그래프 주의 합성곱 네트워크를 이용한 특징 추출

새로운 희소 그래프 주의 합성곱 네트워크(SGA-ConvNet) 아키텍처가 AQVSO의 특징 추출 단계에서 구현되어 비디오 처리에서 기존 합성곱 네트워크에 비해 상당한 개선을 이루었습니다. SGA-ConvNet은 자원이 제한된 환경에서 고차원 비디오 데이터를 처리하는 데 특히 적합하도록 설계되었으며, 희소 컨볼루션의 효과성과 주의 메커니즘의 적응성을 결합했습니다. 이 네트워크 아키텍처는 비디오 콘텐츠에서 시간적·공간적 의존성을 포착하는 기본 문제를 해결했습니다. 비디오 프레임 처리 중에 동적 그래프가 구축되었으며, 각 노드는 중요한 특징점을, 간선은 이 특징들이 서로 어떻게 연관되어 있는지를 나타냅니다. 기존 컨볼루션 네트워크와 달리 관련 영역에 자원을 집중하면서도 희소한 연결성을 유지함으로써 계산 오버헤드가 크게 줄어들었습니다. 각 계층의 핵심 동작은 다음과 같이 정의되었습니다:

(8)

H^(l) 는 레이어 l의 특징 표현을 나타내며, A ̃는 정규화된 주의 인접 행렬을 나타냈다. W^(l)는 학습 가능한 가중치 행렬을 포함하며, σ 비선형 활성화 함수를 나타냈다. 네트워크는 계산 그래프의 희소성을 유지하면서 계층적 특징 표현을 학습할 수 있게 되었습니다. 적응형 특징 처리에 중요한 주의 메커니즘은 다음과 같이 계산되었습니다:

(9)

_{α iJ}는 노드 i와 j 사이의 주의 계수를 나타내며, [h_i ∣∣ h_j]는 이들의 특징 벡터의 연결 상태를 나타냈다. LeakyReLU 활성화는 네트워크가 부정적인 특징으로부터 학습할 수 있는 능력을 유지하면서 사라지는 구배를 방지하는 데 사용되었습니다. 주의 메커니즘은 현재 프레임 내용과의 관련성에 따라 다양한 특징 연결의 중요성을 동적으로 조정했습니다.

1.4 적응형 스파이킹 신경망을 통한 동적 속도 제어

동적 속도 제어는 생물학적으로 영감을 받은 ASNN 아키텍처를 통해 AQVSO 프레임워크(그림 1)에서 구현되었습니다. ASNN은 비디오 스트리밍의 시간적 역학을 처리하면서 급변하는 네트워크 조건에 적응하도록 특별히 설계되었습니다. 이 구성 요소는 다양한 네트워크 조건에서 스트리밍 품질을 유지하면서 대역폭 사용을 최적화하는 데 매우 중요하다고 여겨졌습니다. 정보는 ASNN에서 이산 스파이크를 통해 처리되었으며, 생물학적 신경망을 모방하여 전력 효율과 시간 처리 측면에서 여러 이점을 제공했습니다. 스파이킹 뉴런의 막 전위는 다음과 같이 진화할 수 있었습니다:

(10)

V(t)는 시간 t에서의 막 전위를, V_휴식은 정지 전위로, τ_m 은 막 시간 상수로 정의되었다. I(t)는 네트워크 상태와 콘텐츠 복잡도를 바탕으로 계산되었습니다. 견고성을 높이기 위해 σ(t)N(0,1)을 통해 적응 잡음이 도입되었습니다. 이 노이즈 항은 네트워크 조건의 급격한 변동에 직면했을 때 네트워크가 안정성을 유지하는 데 도움을 주었습니다. 속도 제어 메커니즘은 정교한 적응 방식을 사용하여 구현되었습니다:

(11)

R(t)는 목표 비트레이트를, S(t)는 신경망의 스파이크 속도를, B(t)는 사용 가능한 대역폭을, E(t)는 품질 지표에서 도출된 오차 항을 나타냈습니다. 지수 항 expp(-λE(t))는 품질 변동에 부드럽게 적응하면서 속도 제어 시스템에서 진동성 동작을 방지하는 데 사용되었습니다.

1.5 품질 기반 압축 최적화

압축 최적화 단계에서는 지각 품질 지표와 콘텐츠 인식 압축 전략을 결합한 새로운 접근법이 도입되었습니다. 이 단계는 압축된 비디오 스트림에서 품질과 크기 간의 최적의 절충을 달성하는 데 필수적인 역할을 했습니다. 콘텐츠 중요도와 지각 품질 요구사항을 모두 기준으로 비트를 할당하는 영역 적응형 압축 방식이 사용되었습니다.

(12)

C (r,t)는 시간 t에서 영역 r의 압축 비율을 나타내며, C_base(r)는 내용 복잡도에 의해 결정되는 기본 압축 비율로 사용되었습니다. Q(r,t)는 품질 계수를 나타내기 위해 정의되었습니다. φ_i (r,t) 는 움직임 강도, 가장자리 밀도, 지각 중요성 등 다양한 조정 요소를 나타내기 위해 구현되었습니다.

1.6 개미 집단 최적화를 통한 깊은 신념 네트워크를 통한 자원 배분

AQVSO의 자원 할당 메커니즘은 딥 빌리프 네트워크(DBN)와 개미 집단 최적화(ACO)를 결합한 하이브리드 접근법을 구현하도록 구성되어 비디오 스트리밍 시스템에서 최적의 자원 분배라는 복잡한 문제에 대한 새로운 해결책을 제시했습니다. 딥 빌리프 네트워크의 학습 능력은 자원 사용에서 패턴 인식에 활용되었고, 개미 집단 알고리즘의 최적화 강점은 실시간 자원 배분 결정에 활용되었습니다. DBN-ACO 시스템은 동적 네트워크 환경에서 즉각적인 자원 요구와 장기 최적화 목표를 균형 있게 맞추는 근본적인 과제를 해결하기 위해 설계되었습니다. DBN 구성 요소는 여러 개의 제한 볼츠만 기계(RBM)로 구성된 계층적 학습 구조를 사용하여 구현되었으며, 각 계층은 자원 활용의 점점 더 추상적인 패턴을 포착했습니다. 숨겨진 유닛 활성화의 확률 분포는 다음과 같이 모델링되었습니다:

(13)

H_I 는 숨겨진 단위를, V는 가시 단위를, b_I 는 편향 항을, W_ij는 연결 가중치를 나타냈습니다. 이 확률적 모델링은 변화하는 조건에 대한 적응성을 유지하면서 자원 사용 패턴의 복잡한 의존성을 포착하는 데 사용되었습니다. ACO 구성 요소는 동적 페로몬 기반 최적화 전략으로 구현되었습니다.

(14)
(15)

τ_ij는 페로몬 수준을 나타내며, p는 증발률 Δτ_ij (t)입니다. 페로몬 업데이트로 정의되었으며, _{η iJ}는 현재 네트워크 상태와 자원 가용성에 기반한 휴리스틱 값을 나타냅니다.

1.7 적응형 버퍼 관리 및 오류 복구

AQVSO 프레임워크에는 네트워크 상태와 콘텐츠 특성에 따라 동적으로 조정되는 정교한 버퍼 관리 시스템이 구현되었습니다. 이 시스템은 스트리밍 연속성을 유지하면서 지연을 최소화하고 버퍼 언더플로우 또는 오버플로우 상태를 방지하도록 설계되었습니다. 네트워크 통계와 콘텐츠 복잡도를 모두 고려한 새로운 적응형 접근법이 도입되었습니다.

(16)

B(t)는 목표 버퍼 크기로, QoE(t)는 현재 경험의 품질로, σ(t)는 네트워크 안정성 지표로 추적되었고, φ(σ(t))는 네트워크 변동성에 따라 버퍼 크기를 조절하는 적응 함수로 구현되었습니다. 오류 복구 메커니즘은 선제적 오류 방지와 반응적 복구 전략을 결합한 다층적 접근법으로 실행되었습니다. 시스템 내에 프레임 참조의 슬라이딩 윈도우가 유지되었습니다.

(17)

p 는 단일 복구 시도의 성공 확률을 나타내고, n 은 시도 횟수로, T(t)는 오류 감지 이후의 시간을 나타내는 데 사용되었습니다. 이 지수 감소항은 시간적 관련성에 따라 복구 노력이 적절히 우선순위를 정하도록 보장하기 위해 사용되었습니다.

1.8 품질 평가 및 피드백 통합

품질 평가 시스템은 여러 품질 지표와 사용자 경험 요소를 결합한 포괄적인 접근법을 구현했습니다. 이 통합은 높은 QoE를 유지하면서 자원 활용도를 최적화하는 데 매우 중요했습니다. 이 시스템은 새로운 품질 지표 융합을 구현했습니다:

(18)

NB(t)는 정규화된 버퍼링 비율로, SB(t)는 스위칭 주파수로, M(t)은 모션 품질 계수로 계산되었습니다. _가 중치는 콘텐츠 유형과 시청 조건에 따라 동적으로 조정되었습니다.

(19)

Θi는 기본 가중치로 표현되었고, f(C(t))는 내용 의존 조정 함수로 적용되었다. 피드백 통합 시스템은 폐쇄 루프 제어 메커니즘으로 구현되었습니다.

(20)

e(t)는 목표와 달성된 품질 지표 간의 오차를 나타내도록 설정되었으며, K₁,_{K 2},_{K 3} 은 네트워크 조건과 콘텐츠 특성에 따라 조정되는 적응형 이득 매개변수로 정의되었습니다.

Results

제안된 시스템의 성능에 대한 철저한 분석을 제시하고 구현 결과를 보고하세요. 시스템이 클라우드 기반 ML 접근법인 뉴로 클라우드 스트림에 적합한지 확인하기 위한 비교 섹션을 포함하세요. 그림 2 는 AQVSO 시스템 워크플로우를 보여줍니다.

데이터셋 설명

AQVSO 프레임워크를 평가하기 위해 10분에서 2시간 30분에 이르는 다양한 영상 콘텐츠 모음을 사용하세요. 이 종합 테스트 데이터셋에는 13,320개의 동영상 클립이 포함된 UCF101 데이터가 포함되어 있습니다. 데이터셋을 학습(75%), 검증(12.5%), 테스트(12.5%)로 나누어 균형 잡힌 평가를 보장합니다. 각 하위 폴더는 클립의 동작 클래스에 따라 라벨을 붙이고, 각 하위 집합 디렉터리의 클립 이름, 경로, 라벨을 담은 CSV 파일이 함께 제공되어야 합니다. 이러한 다양한 시간 범...

Discussion

적응형 품질 비디오 스트리밍 최적화(AQVSO) 프레임워크는 무선 네트워크에서 인지 비디오 품질과 비트레이트 적응성을 동적으로 향상시키기 위해 임베디드 다중 모듈 코덱 통합 아키텍처를 기반으로 한 멀티미디어 처리 엔진입니다. 예를 들어, 개별 예측기나 속도 제어기와 달리 AQVSO는 동작 인식을 향상시키기 위해 SCN-PDE, 시공간적 주의 모델링을 위한 SGA-ConvNet, 저지연 적응 속도 제어를 위한 ASNN, 전역 최적화된 비트 할당을 위한 DBN-ACO를 사용합니다. 이러한 일관된 접근법은 Darwich와 Bayoumi¹, Yeo 등 주로 대역폭 추정에 기반하고 인지 또는 콘텐츠 인식이 부족한 이전 대부분의 처리량 기반 또는 규칙 기반 ABR 기법과는 대조적입니다. AQVSO는 시각적 품질 모델링과 자원 제어를 단일 의사결정 루프 내에서 결합하여 실제 스트리밍 역학 하에서도 안정적인 성능을 유지한다는 점에서 다음 프레임 기반 예측 기법과 차별화됩니다.

...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
8GB RAM	제네릭		실험 실행에 필요한 최소 메모리.
인텔 코어 i5 프로세서	인텔 코퍼레이션		AQVSO 평가 파이프라인에 사용되는 CPU입니다.
넘버피	넘피 개발자들		수치 계산과 행렬 연산.
OpenCV-Python	OpenCV.org		비디오 로딩, 프레임 추출, 전처리에 사용됩니다.
판다	판다스 개발팀		데이터 처리, CSV 내보내기, 메트릭 테이블 등.
파이썬 3.10 (프로그래밍 언어)	파이썬 소프트웨어 재단		AQVSO 프레임워크 스크립트 및 종속 라이브러리 실행에 필수입니다.
scikit-image	Scikit-Image 개발자들		SSIM, PSNR, MSE 계산.
텐서플로우 2.17.0	구글		신경 모듈 구축에 사용되는 딥러닝 라이브러리(SCN, SGA-ConvNet, ASNN, DBN).
TQDM	TQDM 팀		파이프라인 실행을 위한 진행 바.
윈도우 10 (64비트) 운영체제	마이크로소프트 코퍼레이션		실험에 사용되는 운영체제.