Двойной энкодер-декодер-энкодер с состязательным обучением для неконтролируемого обнаружения дорожно-транспортных происшествий в видеозаписях видеонаблюдения

Summary

В данной работе предложена модель двойного энкодера-декодера-энкодера (EDE) для автоматизированного обнаружения дорожно-транспортных происшествий. Используя метод двухфазного обучения, он изучает нормальные модели вождения и выявляет аномалии с помощью генеративного противостояния. Модель эффективно обнаруживает аварии в реальных кадрах и дает представление о поведении водителя, фиксируя незначительные отклонения.

Abstract

Для повышения безопасности дорожного движения и улучшения реагирования на чрезвычайные ситуации дорожно-транспортные происшествия должны быть как можно быстрее обнаружены на реальных видеозаписях с камер наблюдения. Существующие системы во многом зависят от ручного мониторинга, который отнимает много времени и подвержен ошибкам. Автоматизированное обнаружение аварий остается сложной задачей из-за существенного классового дисбаланса: обычные дорожные ситуации чрезмерно представлены, в то время как аварии редки и разнообразны. В таких случаях традиционные системы компьютерного зрения часто не могут надежно различать нормальные и аномальные события. В этом исследовании эта проблема решается путем разработки архитектуры глубокого обучения на основе фреймворка «двойной энкодер-декодер-энкодер» (EDE). Модель использует два общих конвейера кодировщика-декодера для сопоставления распределений изображений с указанными скрытыми распределениями в обоих направлениях. Эта структура позволяет системе моделировать общие шаблоны поведения трафика и становиться более чувствительной к изменениям, которые могут указывать на опасные или необычные события. Предложена двухфазная методика обучения для дальнейшего улучшения обнаружения аномалий. На первом этапе модель учится реконструировать образы нормального вождения, используя потери реконструкции для характеристики нормального поведения. На втором этапе вводится генеративно-состязательный механизм: реконструированные латентные векторы из одного EDE передаются в другой, порождая синтетические образы и латентные пространства. Этот процесс усиливает различия между реальными и синтетическими выходами, делая систему более восприимчивой к тонким признакам потенциальных аномалий. Архитектура dual-EDE и методология состязательного обучения представляют собой существенный шаг вперед по сравнению с существующими методами, моделируя как нормальное, так и патологическое поведение. Экспериментальные результаты на реальных наборах данных наблюдения за дорожным движением показывают, что предложенный метод значительно улучшает обнаружение аварий и небезопасного поведения при вождении, как с точки зрения точности, так и надежности.

Introduction

По данным Всемирной организации здравоохранения (2023 г.), дорожно-транспортный травматизм является основной причиной смерти среди детей и молодых людей в возрасте от 5 до 29 лет, ежегодно во всем мире регистрируется около 1,3 миллиона смертельных случаев. Эта тревожная статистика подчеркивает острую потребность в автоматизированных системах, способных контролировать дорожное^{движение1}, выявлять аномалии в режиме реального времени и сокращать задержки в реагировании на чрезвычайные ситуации. Интеграция искусственного интеллекта (ИИ) и Интернета вещей (IoT) в инфраструктуру умного города позволила разработать инт....

Protocol

Система

Настройка
Мы развернули предложенную систему обнаружения аномалий трафика в иерархической и распределенной вычислительной среде, используя среду Intel Tiber Cloud. Эта архитектура состоит из трех уровней — периферийного, туманного и облачного — для обеспечения вывода с низкой задержкой, масштабируемого обучения и эффективного распределения ресурсов между вычислительными узлами.

Edge Tier: Обнаружение аномалий в режиме реального времени осуществляется на периферии с помощью легких встраиваемых устройств с поддержкой графических процессоров (например, NVIDIA Jetson Nano или экви....

Results

Чтобы оценить эффективность предложенного метода обнаружения аномалий в дорожном движении, мы реализовали модель на одном видеоклипе и сгенерировали визуализации, иллюстрирующие поведение системы во времени и в пределах функционального пространства. Несмотря на то, что результаты были получены с помощью смоделированного конвейера EDE, они точно отражают качественные выводы, которые можно было бы ожидать от реальной модели.

Временная шкала оценки аномалий отображает покадровую уверенность модел.......

Discussion

В этом исследовании представлена система обнаружения аномалий дорожного движения на основе глубокого обучения, использующая архитектуру EDE, обученная неконтролируемым образом идентифицировать как одиночные, так и многотранспортные аварии в реальных видеозаписях видеонаблюдения. Моделируя типичное поведение трафика, система обнаруживает отклонения как вероятные аномалии, не требуя помеченных данных об аномалиях, тем самым решая проблемы масштабируемости и разреженности данных в интеллект.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Набор данных AI City Challenge Track 4	AI City Challenge (https://www.aicitychallenge.org)	Трек 4, выпуск 2021 г.
Инструментарий CUDA	Разработчик NVIDIA	Версия 11.3
Библиотека cuDNN	Разработчик NVIDIA	Совместимость с CUDA 11.3
Кластер рабочих станций GPU (обучение)	Школа вычислительной техники Амрита	—
Локальная рабочая станция (туманный узел)	Школа вычислительной техники Амрита	—
Matplotlib	matplotlib.org	Версия 3.3+
NVIDIA Jetson Nano (периферийное устройство)	НДВО	945-13450-0000-100
Графический процессор NVIDIA RTX 3060 (рабочая станция)	НДВО	Зависит от производителя
НумПи	numpy.org	Версия 1.19+
Открытое резюме	OpenCV.org	Версия 4.5+
Панды	pandas.pydata.org	Версия 1.1+
Питон	Python Software Foundation	Версия 3.8+
PyTorch	PyTorch (https://pytorch.org)	Версия 1.10+
Scikit-learn	scikit-learn.org	Версия 0.24+
Ubuntu Linux (операционная система)	ООО «Каноникал»	Версия 20.04 LTS