研究文章

基于对抗训练的双编码器-解码器-编码器模型用于监控视频中无监督交通事故检测

DOI：

10.3791/68731

⸱

2025年9月5日

 ,  , 
1Department of Computer Science and Engineering, Amrita School of Computing, Coimbatore, Amrita Vishwa Vidyapeetham, India, 2Intel Corporation, Bangalore, India

本文内容

摘要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究提出了一种用于自动交通肇事检测的双编码器-解码器-编码器（EDE）模型。该模型采用两阶段训练方法，通过生成对抗学习正常驾驶模式，并识别异常情况。该模型能够有效检测真实场景视频中的交通事故，并通过捕捉细微偏差，揭示驾驶员行为特征。

摘要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

为了提升道路安全并改善应急响应，应在真实世界的监控视频中尽快检测交通事件。现有系统在很大程度上依赖人工监控，耗时且容易出错。由于严重的类别不平衡，自动事故检测仍然具有挑战性：正常驾驶情况占比过高，而事故则罕见且形式多样。在此类情况下，传统的计算机视觉系统通常难以可靠地区分正常与异常事件。本研究通过构建一种基于双编码器-解码器-编码器（EDE）框架的深度学习架构来解决该问题。该模型采用两个共享的编码器-解码器通路，将图像分布双向映射到指定的潜在分布空间。该框架使系统能够建模常见的交通行为模式，并对可能预示危险或异常事件的变化更加敏感。本文提出一种两阶段训练技术以进一步提升异常检测性能。在第一阶段，模型学习重建正常驾驶场景的图像，并利用重构损失来表征正常行为。在第二阶段引入生成对抗机制：将一个EDE生成的重构潜在向量输入另一个EDE，以生成合成图像和潜在空间。该过程放大了真实输出与合成输出之间的差异，使系统对潜在异常的细微迹象更加敏感。双EDE架构与对抗训练方法通过同时建模正常与异常行为，代表了对当前方法的显著改进。在真实交通监控数据集上的实验结果表明，所提出的方法在准确性和鲁棒性方面均显著提升了对交通事故和不安全驾驶行为的检测能力。

引言

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

根据世界卫生组织（2023年）的数据，道路交通伤害是5至29岁儿童和年轻成年人死亡的主要原因，全球每年报告约130万例死亡。这一令人担忧的统计数据凸显了迫切需要开发能够监控道路交通1、实时检测异常情况并缩短应急响应延迟的自动化系统。将人工智能（AI）和物联网（IoT）集成到智慧城市基础设施中，已推动了智能交通系统的发展。尽管闭路电视（CCTV）2,3 网络可对城市交通进行持续监控，但人工监控既不现实又容易出错。因此，可扩展的自动化交通事件检测解决方案至关重要。

用于交通分析的传统计算机视觉方法——例如车辆检测、跟踪和行为分类——通常采用通过监督学习训练的卷积神经网络（CNN）4,5。这些系统需要大量标注数据集，且在应对表征真实世界交通事故的罕见且多样的场景时，往往难以实现泛化。因此，研究人员转向了无需依赖标注异常数据的无监督异常检测方法。其中，自编码器（AE）和生成对抗网络（GAN）在建模正常模式并识别异常偏离方面已展现出潜力6,7,

访问受限。请登录或开始试用以查看此内容。

方案

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

系统

设置
我们在一个分层式分布式计算框架内部署了所提出的交通异常检测系统，并利用 Intel Tiber 云环境。该架构包含三个层级——边缘层、雾层和云层——以确保在计算节点间实现低延迟推理、可扩展的训练以及高效的资源分配。

边缘层：使用轻量级、支持 GPU 的嵌入式设备（例如 NVIDIA Jetson Nano 或具有集成 GPU 的同等 Intel 平台）在边缘端进行实时异常检测。这些设备与监控摄像头共置于同一位置，以极低延迟执行逐帧推理，从而实现去中心化且响应迅速的交通监控。

雾层：包括批量推理和实时模型优化在内的计算密集型任务由雾节点处理，这些雾节点在英特尔 Tiber 云中被配置为专用的虚拟机或裸金属实例。每个雾节点均配备至少 16 GB 内存的英特尔至强处理器，并可访问英特尔集成或独立的 GPU 加速功能。这一中间层能够在靠近数据源的位置实现高吞吐量操作，同时保持相对于中央服务器的独立性。

云层级：用于大规模训练和归档，云层级利用通过 Intel Tiber 的 AI 优化服务提供的可扩展计算集群。配备 Intel Habana Gaudi 加速器或 Intel Xeon 可扩展处理器的实例被用于在大规模视频数据集上训练深度神经网络，支....

访问受限。请登录或开始试用以查看此内容。

结果

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

为了评估所提出的交通异常检测方法的有效性，我们在单个视频片段上实现了该模型，并生成了可视化结果，以展示系统随时间推移以及在特征空间中的行为表现。尽管结果是通过模拟的 EDE 流程获得的，但其结果与实际模型预期得出的定性结论高度一致。

异常分数时间线展示了模型逐帧识别异常事件的置信度（图6）。异常分数的峰值对应于图像动态中的剧烈变化，例如突然的运动或视觉畸变，类似于车辆碰撞或急减速等现实世界中的事件。初始帧的分数相对较低，表明交通流较为平稳。时间线中显著的峰值提示可能存在交通异常，该情况将在定性图像输出中进一步分析。通过利用帧级别的偏差信号，系统能够有效区分正常与异常模式。

访问受限。请登录或开始试用以查看此内容。

讨论

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究提出了一种基于深度学习的交通异常检测系统，该系统采用EDE架构，以无监督方式训练，用于识别真实监控视频中的单车辆和多车辆交通事故。通过建模典型交通行为，该系统将偏离正常模式的情况检测为可能的异常，无需依赖标注的异常数据，从而解决了智能交通监控中可扩展性和数据稀疏性的挑战。本研究通过展示潜在空间一致性与重构损失的联合使用，推动了该领域的发展，实现了有效的时空异常识别。

局限性：
尽管双EDE模型表现出较强的性能，但仍需认识到某些限制，以确保透明度并为未来的研究提供参考。

输入模态限制：当前框架仅在RGB视频流上运行，未整合其他感知源（如激光雷达、热成像或GPS数据），而这些数据在视觉条件复杂的环境中可能提供额外的线索。

数据集代.......

访问受限。请登录或开始试用以查看此内容。

披露

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者声明无利益冲突。

致谢

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究未获得外部资金支持。作者谨此感谢印度哥印拜陀阿姆瑞塔计算学院为开展本研究提供的必要硬件设备和宝贵支持。

....

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
AI City Challenge 第4赛道数据集AI City Challenge (https://www.aicitychallenge.org)第4赛道，2021年发布
CUDA ToolkitNVIDIA Developer版本 11.3
cuDNN 库NVIDIA Developer与 CUDA 11.3 兼容
GPU 工作站集群（训练用）Amrita 计算学院—
本地工作站（雾节点）Amrita 计算学院—
Matplotlibmatplotlib.org版本 3.3+
NVIDIA Jetson Nano（边缘设备）NVIDIA945-13450-0000-100
NVIDIA RTX 3060 GPU（工作站）NVIDIA因制造商而异
NumPynumpy.org版本 1.19+
OpenCVOpenCV.org版本 4.5+
Pandaspandas.pydata.org版本 1.1+
PythonPython 软件基金会版本 3.8+
PyTorchPyTorch (https://pytorch.org)版本 1.10+
Scikit-learnscikit-learn.org版本 0.24+
Ubuntu Linux（操作系统）Canonical Ltd.版本 20.04 LTS

参考文献

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Gannina, A. R. K., et al. A new approach to road incident detection leveraging live traffic data: An empirical investigation. Procedia Comput Sci. 235, 2288-2296 (2024).
  2. Khaleghi, A., Moin, M. -S. Improved anomaly detection in s....

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章