GARNN-AE-LSTM: 고정밀 비디오 요약을 위한 다중 모드 딥 러닝 접근 방식

요약

본 연구는 사전 훈련된 GARNN 모델을 사용하여 시청각 기능을 통합하여 비디오 요약을 위한 다중 모드 딥러닝 프레임워크를 제안합니다. GRU, AlexNet 및 적대적 LSTM 분류기를 활용하는 이 시스템은 키프레임 감지를 향상시키고 중복성을 줄이며 평균 F-점수 0.985로 높은 요약 정확도를 달성합니다.

초록

비디오 요약은 필수 콘텐츠를 보존하여 긴 비디오의 간결한 버전을 만드는 데 중점을 둡니다. 이 연구는 GRU(Gated Recurrent Units)와 AlexNet을 결합한 GARNN이라고 하는 사전 훈련된 Gated Recurrent Neural Network 아키텍처를 사용하여 오디오, 이미지 및 시각적 특징을 추출함으로써 시각 및 청각 정보를 통합하는 다중 모드 기계 학습 전략을 보여줍니다. 키프레임 감지는 중복 프레임을 제거하고 모션 보정 기능 감소를 적용한 다음 선택적 PCA 기반 차원 감소를 적용하여 개선됩니다. 적대적 인코더 기반 AE-LSTM(Long Short-Term Memory) 분류기는 요약에서 높은 정확도를 달성하여 시간 모델링에 사용됩니다. 결과는 민감도, F-점수, 양성 예측값을 사용하여 평가되었으며, 평균 F-점수 0.985를 달성했습니다. 게이트 AlexNet은 다중 모드 GARNN-AE-LSTM 프레임워크에 도입되었으며, 여기서 동작 보상 PCA 기반 감소는 중복성을 제거하고, GRU는 시간적 진행을 기록하며, 게이팅은 공간 특징 선택을 미세 조정하여 보다 정확하고 효율적인 비디오 요약 시스템에 기여합니다. 향상된 F1 점수는 의미 있는 비디오를 만들어 비디오 요약의 정확성을 생성하는 모델의 효율성을 보여줍니다. 이 접근 방식은 강력한 비디오 분석 및 압축을 위한 다중 모드 특징 추출 및 고급 딥 러닝 기술의 잠재력을 강조합니다.

서론

오디오, 비디오, 텍스트 및 센서 데이터와 같은 여러 양식을 결합하여 학생들이 학습하는 방법에 대한 통찰력을 제공하는 다중 모드 분석(MMA) 시스템이 등장했습니다¹. 이러한 기술은 다중 모드 데이터를 평가하여 학생 행동과 참여 수준을 철저히 이해하는 데 도움이 될 수 있습니다². 그러나 효율적인 MMA 시스템을 만드는 데는 여러 가지 장애물과 제한 사항이 있습니다³. 인터넷과 보안 카메라의 성장으로 인해 수많은 디지털 비디오가 있습니다. 이러한 비디오는 데이터베이스로 컴파일하는 것이 필수적입니다. 이 상황에서는 비디오 요약이 도움이 될 수 있습니다. 실제 비디오의 유용한 시놉시스를 만드는 것을 비디오 요약이라고 하며 활동 추적, 이상 징후 감지 및 비디오 검색에 도움이 됩니다⁴. 비디오 요약은 다양한 전략을 사용하여 수행할 수 있습니다. 이러한 방법은 추출 및 추상적 비디오 ^{요약과 같은} 두 가지 범주⁵ 중 하나에 속한다.

프로토콜

이 연구는 일반적으로 비디오 스키밍이라고 하는 일반적인 비디오 요약 범주에 속하는 다중 모드 지도 비디오 요약 방법을 제안합니다. 여기에는 더 큰 비디오의 주요 세그먼트를 찾아 시간적으로 압축된 버전을 만드는 데 집중하는 기술이 포함됩니다. 이 연구는 그림 1과 같이 오디오 및 시각적 표현을 포함하는 1초 섹션에서 비디오 스트림을 분석하는 지도 기술을 제안합니다. 그런 다음 이러한 세그먼트는 "흥미롭지 않음" 또는 "유익함"으로 분류됩니다. 합성 또는 시뮬레이션 데이터와 달리 "실제 데이터"는 이제 실험에 활용되는 실제 비디오 데이터 세트를 의미합니다. 요약에 필요한 중요한 시청각 신호(예: 높은 동작, 음성 또는 장면 전환)를 제공하는 비디오 세그먼트를 "정보 세그먼트"라고 합니다. "흥미롭지 않은" 부분은 시놉시스에 새로운 것을 추가하지 않는 반복적이거나 중복된 프레임으로 정의됩니다.

입력 비디오는 프레임으로 분할되고 제안된 GARNN 모델을 사용하여 각 프레임에서 다중 모드 기능이 추출됩니다. 오디오 및 시각적 기능은 융합되어 차원 축소 단계에 입력으로 공급되며, 여기서 중복 프레임은 추가 처리를 위해 제거됩니다. 마지막으로, 제안된 AELSTM은 비디오 요약을 위해 축소된 데이터에 ....

결과

제안된 GARNN 기반 특징 추출 및 긴 비디오의 AGLSTM 기반 비디오 요약은 VSUMM과 SumMe라는 두 가지 데이터 세트에서 실험되었습니다. 이 섹션에서는 실험 결과와 기존 접근 방식과의 비교에 대해 설명합니다. 판별기 LSTM의 경우 모든 레이어에 1024개의 숨겨진 단위가 있는 2레이어 LSTM을 사용합니다. encoder_LSTM와 decoder_LSTM의 경우 각각 각 레이어에 2048개의 숨겨진 장치가 있는 두 개의 2레이어 LSTM을 사용합니다. 역서열을 저장하고 합성하려는 디코더 LSTM은 훈련하기가 더 간단한 것으로 입증된다²⁶. 기능 시퀀스는 디코더 LSTM에 의해 역순으로 재구성됩니다. 원본 동영상의 기능 시퀀스에 대해 학습된 사전 학습된 반복 자동 인코더 모델의 설정은 인코더 LSTM 및 디코더 LSTM 모델을 초기화하는 데 사용됩니다. 우리는 이것이 더 빠른 수렴으로 이어지고 전반적인 정확도를 높이는 데 도움이 된다는 것을 발견했습니다.

토론

본 연구에서는 입력 데이터에서 생성된 데이터의 오디오, 이미지 및 시각적 양식을 사용하는 효율적인 다중 모드 ML 및 DL 모델을 사용하여 긴 비디오의 비디오 요약을 제시합니다. 이진 분류기는 생성된 요약 부분인 중요한 세그먼트와 폐기되는 "중요하지 않은" 세그먼트 간의 구별을 학습하도록 훈련됩니다. 모델은 SumMe 및 VSUMM과 같은 데이터 세트를 사용하여 훈련되며 모델의 확장성은 메트릭 측면에서 입증됩니다. 처음에는 GARNN 모델을 사용하여 비디오에서 특징을 추출하고 차원을 줄이기 위해 PCA를 사용하여 추가로 처리합니다. AELSTM 기반 분류기를 사용하여 정량적 및 정성적 평가를 기반으로 모델의 효율성을 테스트합니다. 모델의 우월성을 주장하기 위해 오디오, 이미지 및 비디오 기능을 기반으로 하는 기존의 4가지 ML 및 DL 기반 비디오 요약 접근 방식과 비교합니다. 결과는 다중 모드 기능의 중요성이 SumMe 데이터 세트에 대해 PPv 0.947, 민감도 .......

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
AlexNet(사전 학습된 모델)	MATLAB / 파이토치	PyTorch 허브 — AlexNet 사전 학습된 모델: https://pytorch.org/hub/pytorch_vision_alexnet/	시각적 특징 추출에 사용
FFmpeg	FFmpeg.org	https://ffmpeg.org/	비디오에서 오디오 추출
GRNN 기반 모델	사용자 지정 구현	도서관 " 뉴피" GRNN 구현: http://neupy.com/apidocs/neupy.algorithms.rbfn.grnn.html	다중 모드 기능 융합에 사용
LSTM(장단기 기억)	파이토치	https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html	선택기, 인코더, 디코더에 사용
Multimodal_movie_analysis lib	깃허브	https://github.com/tyiannak/multimodal_movie_analysis	시각적 특징 추출용
넘파이	파이썬 소프트웨어 재단	https://pypi.org/project/numpy/	수치 계산 및 행렬 연산
PCA(주성분 분석)	시킷 학습	https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html	차원 축소
파이오디오분석	깃허브	https://github.com/tyiannak/pyaudioanalysis	오디오 기능 추출
파이토치	파이토치 재단	https://pytorch.org/	딥러닝 프레임워크
SumMe 데이터 세트	공개 데이터 세트	https://gyglim.github.io/me/vsum/index.html	벤치마크 비디오 요약 데이터 세트
VSUMM 데이터 세트	공개 데이터 세트	http://www.vision.ime.usp.br/~creativision/vsumm/	벤치마크 비디오 요약 데이터 세트