双编码器-解码器-编码器与对抗训练，用于监控视频中无监督交通事故检测

Summary

该工作提出了一种用于自动交通事故检测的双编码器-解码器-编码器（EDE）模型。它使用两阶段训练方法，学习正常的驾驶模式，并通过生成对抗识别异常情况。该模型有效地检测现实世界镜头中的事故，并通过捕捉细微的偏差来深入了解驾驶员的行为。

Abstract

为了增强道路安全和改进应急响应，应尽快在现实世界的监控录像中检测到交通事故。现有系统在很大程度上依赖于手动监控，这既耗时又容易出错。由于阶级失衡严重，自动事故检测仍然具有挑战性：正常驾驶情况过多，而事故很少且多种多样。在这种情况下，传统的计算机视觉系统往往无法可靠地区分正常和异常事件。本研究通过开发基于双编码器-解码器-编码器（EDE）框架的深度学习架构来解决该问题。该模型使用两个共享的编码器-解码器管道将图像分布映射到两个方向的指定潜在分布。该框架使系统能够对常见的交通行为模式进行建模，并对可能表明危险或异常事件的变化更加敏感。提出了一种两阶段训练技术，以进一步改进异常检测。在第一阶段，模型学习重建正常驾驶的图像，使用重建损失来表征正常行为。在第二阶段，引入了生成对抗机制：将从一个 EDE 重建的潜在向量传递到另一个 EDE，生成合成图像和潜在空间。这个过程放大了真实输出和合成输出之间的差异，使系统对潜在异常的细微迹象做出更敏感的反应。双 EDE 架构和对抗性训练方法通过对正常和病理行为进行建模，比当前方法有了重大进步。在真实世界交通监控数据集上的实验结果表明，所提方法在准确性和鲁棒性方面都显著提高了事故和不安全驾驶行为的检测能力。

Introduction

根据世界卫生组织（2023 年）的数据，道路交通伤害是 5-29 岁儿童和年轻人死亡的主要原因，全球每年报告约 130 万人死亡。这一令人震惊的统计数据凸显了对能够监控道路交通¹、实时检测异常情况并减少应急响应延误的自动化系统的迫切需求。人工智能（AI）和物联网（IoT）融入智慧城市基础设施，促进了智能交通系统的发展。虽然闭路电视（CCTV）^2,3网络提供了对城市交通的连续监控，但人工监控是不切实际的，而且容易出错。因此，用于交通事故检测的可扩展自动化解决方案至关重要。

用于交通分析的传统计算机视觉方法（例如车辆检测、跟踪和行为分类）通常采用通过^{监督学习训练}的卷积神经网络（CNN）^4,5。这些系统需要大量的带注释的数据集，并且通常无法概括现实世界事故的罕见和多样化场景。因此，研究人员转向无监督异常检测方法，该方法不依赖于标记的异常数据。其中，自动编码器（AE）和生成对抗网络（GAN）在对正常模式建模和识别偏差方面显示出前景^6,7,8

Protocol

系统

设置
我们利用英特尔 Tiber Cloud 环境，在分层和分布式计算框架中部署了所提出的流量异常检测系统。该架构由边缘、雾和云三层组成，以确保低延迟推理、可扩展的训练和跨计算节点的高效资源分配。

边缘层：使用轻量级、支持 GPU 的嵌入式设备（例如 NVIDIA Jetson Nano 或具有集成 GPU 的等效基于英特尔的平台）在边缘进行实时异常检测。这些单元与监控摄像头位于同一位置，并以最小的延迟执行逐帧推理，从而实现分散且响应迅速的交通监控。

雾层：计算密集型任务（包括批量推理和实时模型细化）由在英特尔 Tiber 云中配置为专用虚拟机或裸机实例的雾节点处理。每个雾节点都配置了具有至少 16 GB RAM 的英特尔至强处理器，并可以访问英特尔集成或独立 GPU 加速。该中间层支持在数据源附近进行高吞吐量作，同时保持中央服务器的自主权。

云层：对于大规模训练和存档，云层利用英特尔泰博人工智能优化服务提供的可扩展计算集群。配备英特尔哈瓦那高迪加速器或英特尔至强可扩展处理器的实例用于在大量视频数据集上训练深度神经网络，支持模型版本控制、长期存储和系统范围的编排。

完整的软件堆栈在 Pytho....

Results

为了评估所提出的交通异常检测方法的有效性，我们在单个视频剪辑上实现了该模型，并生成了说明系统随时间和特征空间内行为的可视化效果。尽管使用模拟 EDE 管道获得，但结果密切反映了实际模型预期的定性结论。

异常评分时间线描述了模型在识别异常事件方面的逐帧置信度（图 6）。异常分数中的峰值对应于图像动态的突然变化，例如突然运动或视觉失真，类似于车辆碰撞或快速减速等现实世界事件。初始帧显示出相对较低的分数，表明交通流畅。时间线中的突出峰值表明存在潜在的交通异常，在定性图像输出中进一步检查。通过利用帧级偏差信号，系统有效地区分正常和异常模式。

图 6：示例视频异常分数的时间变化。 该图说明了模型为数据集中的代表性.......

Discussion

本研究提出了一种基于深度学习的交通异常检测系统，该系统采用 EDE 架构，以无监督方式进行训练，以识别真实世界监控视频中的单车和多车事故。通过对典型的交通行为进行建模，系统将偏差检测为可能的异常，而无需标记的异常数据，从而解决智能交通监控中的可扩展性和数据稀疏性挑战。该研究通过展示潜在空间一致性和重建损失的联合使用来有效识别时空异常，从而推动了该领域的发展。

局限性：
虽然双 EDE 模型表现出强大的性能，但必须认识到某些限制，以确保透明度并为未来的发展提供信息。

输入模式限制：当前框架仅在 RGB 视频流上运行，不包含激光雷达、热图像或 GPS 数据等替代传感源，这些源可以在视觉挑战性环境中提供额外的线索。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AI City Challenge Track 4 数据集	人工智能城市挑战赛（https://www.aicitychallenge.org）	曲目 4,2021 年发布
CUDA 工具包	NVIDIA 开发人员	版本 11.3
cuDNN 库	NVIDIA 开发人员	与 CUDA 11.3 兼容
GPU工作站集群（训练）	阿姆里塔计算机学院	—
本地工作站（雾节点）	阿姆里塔计算机学院	—
Matplotlib	matplotlib.org	版本 3.3+
NVIDIA Jetson Nano（边缘设备）	英伟达	945-13450-0000-100
NVIDIA RTX 3060 GPU（工作站）	英伟达	因制造商而异
数字	numpy.org	版本 1.19+
开放简历	OpenCV.org	版本 4.5+
熊猫	pandas.pydata.org	版本 1.1+
蟒	Python 软件基础	版本 3.8+
PyTorch	PyTorch （https://pytorch.org）	版本 1.10+
Scikit-学习	scikit-learn.org	版本 0.24+
Ubuntu Linux（作系统）	佳能有限公司	版本 20.04 LTS