Семантическая модель с привязкой для детектируемого обнаружения видеоаномалий в условиях кросс-модального слабого надзора

Краткое содержание

Этот протокол направлен на улучшение обнаружения аномалий в видео со слабым контролем за счет интеграции структурированных знаний. Его цель состоит в том, чтобы обеспечить классификацию конкретных типов аномалий и предоставить четкие, интерпретируемые объяснения результатов обнаружения, выйдя за рамки простых бинарных решений и повысив прозрачность.

Аннотация

Слабо контролируемое обнаружение аномалий на видео — это ключевой метод, который опирается исключительно на метки на уровне видео для идентификации аномальных событий. Однако традиционные методы многоэкземплярного обучения (MIL) основаны на грубом двоичном контроле. Такой подход затрудняет разграничение категорий мелкозернистых аномалий. Эти методы часто фокусируются исключительно на наиболее аномальных сегментах, что приводит к результатам обнаружения, которые не поддаются интерпретации. Чтобы преодолеть эти ограничения, в данном исследовании предлагается подход к моделированию признаков, который включает в себя структурированные знания. Используя механизм динамического семантического руководства, слабо контролируемое обнаружение видеоаномалий объединяет внешнюю информацию на уровне категории с обучаемыми подсказками для генерации семантических сигналов в пространстве признаков. Эти сигналы согласуются с визуальными доказательствами, извлеченными базовым модулем обнаружения аномалий, создавая два взаимодополняющих выходных данных: оценку аномалий для количественной оценки серьезности аномальных событий и семантические описания, согласованные с внешними концепциями, которые можно использовать для создания структурированных и интерпретируемых пояснительных текстов с помощью предварительно определенных шаблонов. Экспериментальные результаты показывают, что предложенный метод достигает AUC 88,03% на наборе данных UCF-Crime и 98,23% на наборе данных ShanghaiTech, достигая точности 87,05% в задачах тонкой классификации аномалий. Более того, сгенерированные семантические объяснения расширяют слабоконтролируемое обнаружение от задачи двоичной классификации до управляемой семантикой интерпретируемой структуры анализа аномалий.

Введение

Обнаружение видеоаномалий (VAD) играет важную роль в таких областях, как общественная безопасность и интеллектуальное производство, где оно предлагает масштабируемое решение для ограничений ручного видеонаблюдения¹. В частности, слабо контролируемое обнаружение видеоаномалий (WS-VAD) получило известность благодаря своей зависимости от меток на уровне видео, что значительно снижает нагрузку на ручное аннотирование и улучшает обобщение в различных сценах. Несмотря на свои практические преимущества, методы WS-VAD по-прежнему сталкиваются со значительными проблемами в точной идентификации природы аномальных событий². Существующие модели часто обнаруживают наличие аномалий, но не могут определить их точную категорию или предоставить значимую диагностическую информацию ^3,4. Например, в промышленных условиях модель может спутать дым от перегретых подшипников с безвредными выбросами пара или ошибочно принять обычные сварочные искры за ранние признаки возгорания, что приводит к дорогостоящим ошибкам и ненужным остановкам. Эти семантические путаницы возникают из-за ограничений, присущих современным подходам WS-VAD⁵. Двоичные метки на уровне видео просто указывают на существование аномалии, не давая понять ее причину, местоположение и серьезность. Более того, основные фреймворки многоэкземплярного обучения (MIL)⁶ агрегируют прогнозы на уровне клипов с использованием простых эвристик⁷, которые не могут охватить нюансы семантики различных типов событий. В результате усвоенное пространство визуальных признаков становится неоднозначным, в котором визуально похожие, но семантически разные явления, такие как дым и пар, отображаются слишком близко, размывая границы решений.

Для устранения этих ограничений были выделены два основных направления исследований. Один из них направлен на совершенствование структуры MIL за счет улучшенного временного моделирования ^4,5,8 или выбора признаков на основе значимости³. Хотя такие методы улучшают локализацию аномалий, они все еще не обеспечивают семантической ясности и интерпретируемости. Другое направление включает в себя согласование визуального и языкового представлений путем интеграции предварительно обученных мультимодальных моделей, таких как VadCLIP⁹. Несмотря на то, что эта стратегия выглядит многообещающей, ей часто не удается в полной мере использовать семантическое богатство языка. Это приводит к слабым кросс-модальным ассоциациям и непрозрачным процессам принятия решений, что приводит к двум основным недостаткам. Во-первых, современные модели не могут последовательно различать категории аномалий из-за расплывчатой семантики признаков и недостатка внешних знаний. Во-вторых, процесс принятия решений содержит черный ящик, без прозрачного объяснения, почему то или иное событие классифицируется как аномальное. Хотя некоторые методы включают текстовые подсказки (например, драка, стрельба), они всегда упрощены и слабо организованы, им не хватает как семантической глубины, так и контекстуального понимания.

Для устранения этих пробелов был введен новый метод WS-VAD, который объединяет структурированные внешние знания с интерпретируемыми механизмами принятия решений, что является основной целью в более широкой области объяснимого искусственного интеллекта (XAI)¹⁰. Вместо того, чтобы использовать базовые названия категорий в качестве подсказок, метод конструирует богатые семантические представления, называемые облаками семантических концепций, используя Викиданные¹¹. В отличие от существующих мультимодальных методов, таких как VadCLIP⁹ , которые полагаются на статические текстовые подсказки или простые метки категорий, эти семантические облака понятий инкапсулируют всесторонние контекстуальные знания, включая связанные сущности, атрибуты и причинно-следственные связи, извлеченные из структурированных графов знаний. Эти концептуальные облака кодируются в семантические якоря с помощью модели BLIP¹², которая позволяет системе получать доступ к детальной семантике событий. Ключевое новшество механизма семантического якоря заключается в его способности создавать динамичные, обогащенные знаниями представления, которые адаптируются к конкретным контекстам аномалий, в то время как предыдущие методы, основанные на подсказках, используют фиксированные текстовые описания, которым не хватает контекстуальной глубины и семантических отношений. Чтобы еще больше уточнить пространство признаков, механизм выравнивания, управляемый салентностью, выборочно связывает эти привязки с наиболее релевантными визуальными доказательствами. Такое целевое выравнивание усиливает дискриминирующую способность признаков, одновременно повышая семантическую ясность результатов обнаружения. Что еще более важно, предложенный метод поддерживает прозрачную интерпретацию. После того, как семантический якорь согласован с визуальными доказательствами, модель генерирует структурированные объяснения на естественном языке с использованием предопределенных шаблонов, явно обращаясь как к природе, так и к обоснованию аномалии. Важно отметить, что реализация этого метода опирается на определенные предварительные условия, включая использование предварительно извлеченных визуальных функций I3D, доступ к внешней базе знаний (Викиданным) и предварительно обученному кодировщику BLIP. Таким образом, эта среда наиболее полезна в приложениях, где важно выйти за рамки простого двоичного обнаружения, чтобы вместо этого классифицировать конкретные типы аномалий и предоставить интерпретируемые обоснования результатов.

Основные вклады заключаются в следующем. Новый метод WS-VAD разработан путем объединения внешних знаний со структурированной интерпретируемостью для улучшения семантического понимания и прозрачности решений. Для преодоления ограничений моделей MIL, основанных только на визуальном внедрении, введен метод подсказок на основе семантического встраивания и механизм контекстно-зависимого выравнивания. В него включен модуль генеративного объяснения, использующий семантические якоря в качестве интерпретируемых единиц для создания согласованных текстовых обоснований. Обширные эксперименты, проведенные на наборах данных UCF-Crime и ShanghaiTech, демонстрируют эффективность предложенного метода, достигая высоких показателей AUC (88,03% / 98,23%) и превосходной производительности мелкозернистого распознавания с четкими и интерпретируемыми результатами.

Протокол

В этом исследовании используются только общедоступные наборы данных (UCF-Crime¹³ и ShanghaiTech¹⁴). Все видео были получены из официальных версий наборов данных, которые анонимизируют личную информацию в той мере, в какой это было предоставлено разработчиками наборов данных. Авторы не проводили никакого дополнительного сбора данных или взаимодействия с человеком и субъектом; поэтому новое одобрение IRB не требовалось. Использование данных соответствует лицензиям и условиям использования соответствующих наборов данных.

Подготовка данных и извлечение признаков

Подготовка наборов данных: Наборы данных UCF-Crime¹³ (1 610 поездов/290 тестовых видео) и ShanghaiTech¹⁴ (238 поездов/199 тестовых видео) были приняты в соответствии с их стандартным распределением. Видео было предварительно обработано с помощью FFmpeg для обеспечения воспроизводимости, перекодировано в H.264, передискретизировано до 25 кадров в секунду и изменено до разрешения 256 x 256 с помощью команды: ffmpeg -i v.mp4 -vf "fps=25,scale=256:256" -c:v libx264 -crf 23 -preset veryfast pre/.

Извлечение признаков: Элементы RGB были извлечены с помощью магистрали I3D¹⁵ , предварительно обученной на наборе данных^{Kinetics 16}. Видео были разбиты на неперекрывающиеся 16-кадровые клипы; Каждый клип был обрезан по центру до 224 x 224 пикселей. Активации предпоследнего слоя были усреднены для получения функции 1024-D на клип. В PyTorch это соответствует пересылке тензоров формы [B, 3, T, H, W] через остов I3D и нанесению adaptive_avg_pool3d с последующим сплющиванием. Извлеченные функции были сохранены в файлах .npy (по одному на видео) вместе с временными метками клипов для точной воспроизводимости (seed = 123). Для каждого видео features///

Архитектура и методология моделирования

Базовое обнаружение: слияние временного контекста
Получив последовательность видеоклипов, представленную матрицей признаков Z  R^Tx1024, модуль Temporal Context Fusion (TCF) сначала вычислил представления запросов, ключей и значений с помощью трех изученных линейных проекций:

Q = ZW^Q, K = ZW^K, V = ZW^V (1)

где W^Q, W^K, W^V  R^Tx1024xd — обучаемые параметры (PyTorch: три nn. Линейные (1024,d) слои). Межсегментное сродство было S = , было включено вложение временной реляциональности (TRE), где каждый элемент вычислялся как R_ij = α exp () + β . Аффинити, зависящая от местоположения, была = S + R. Глобальное контекстное отображение A = softmax() агрегировало V для получения объектов широкой области G = AV. Локальные особенности L были вычислены с помощью глубокой 1-D свертки (nn. Conv1d) размера ядра 3 по Z. Динамический вентиль g = σ(MLP ([G;L])) смешал эти два понятия: U = g G + (1 - g) L . Наконец, для получения Y были применены нормализация слоя и остаточный линейный слой (Pytorch:LayerNorm+Linear+residual).

Базовое обнаружение: причинно-следственный временной предиктор

Выходной сигнал Y пропускали через две причинные 1-D свертки с GELU и дропаутом (Pytorch:padding='causal' или замаскированная conv) для получения логитов аномалий для каждого клипа. Применение сигмоидной функции дало значения вероятности [0,1]^T.

Семантическое улучшение: оперативное обучение на основе внешних знаний

Создание семантических якорей: Для каждого класса аномалий c, K_c понятия были запрошены из Викиданных¹¹, и каждая концептуальная фраза была закодирована с помощью текстового кодировщика BLIP¹²до e_iR⁷⁶⁸. Якорем класса являлось l 2-нормализованное среднее D_c = норма (Σ_ie_i) . Для снижения шума были отброшены понятия с косинусоидным сходством с названием класса ниже 0,2, а топ-M по баллу TF-IDF были сохранены.  

Выполнение контекстно-зависимого разделения: веса переднего плана α_t = softmax(rs_t) были вычислены на основе оценок детектора s_t, а веса фона bt = softmax(r(1 - s_t)). Взвешенные характеристики: f_fg = Σ_tαz_t и f_bg = Σ_tbz_t .

Выравнивание визуальных и семантических особенностей

Определение цели выравнивания: На этапе выравнивания цель состоит в том, чтобы свести к минимуму расстояние между визуальным элементом переднего плана и соответствующим семантическим якорем аномальной категории в пространстве признаков. Создание коллекции семантических руководств, включающей в себя семантические руководства аномальной категории C и одно стандартное нормальное семантическое руководство. Определяем вероятность, P(D^k|v), что визуальный признак v соответствует k-му семантическому руководству D^k. Рассчитайте это с помощью косинусоидального сходства по температурной шкале с последующей нормализацией по Softmax, как показано в уравнении (2).

(2)

Перекрестная энтропия была сведена к минимуму, чтобы сдвинуть положительные пары вместе и раздвинуть отрицательные, при этом было установлено τ_s в качестве обучаемого параметра и инициализировано значением 10. Выполните выравнивание, оптимизировав вероятность корреляции положительных пар образцов при одновременном снижении вероятности корреляции отрицательных пар образцов.

Модуль интерпретируемости на основе шаблонов

На основе быстрого обучения с помощью представления признаков, расширенных внешними знаниями (PLE), линейный классификатор создает логиты для каждого класса, которые впоследствии были нормализованы в вероятности классов с помощью функции softmax; Предсказанный тип аномалии был определен как категория с наибольшей вероятностью. Между тем, на основе выходных данных детектора была вычислена глобальная оценка аномалий. Чтобы определить уровень серьезности, эта оценка сравнивалась с тремя предопределенными пороговыми значениями, оптимизированными с помощью поиска по сетке на проверочном наборе.

Пороговые значения по умолчанию были установлены на θ_high = 0,8, θ_medium = 0,5 и θ_low = 0,2. В частности, если оценка была выше θ_{высокой}, серьезность помечалась как высокая; если оценка находится между_{θ средним} и_{θ высоким}, он помечается как средний; если между_{θ низким} и θ_{средним}, то он обозначался как низкий; в противном случае он помечался как нет.

На этапе генерации пояснений шаблон, соответствующий прогнозируемому типу, был выбран из предопределенной библиотеки шаблонов, Дополнительный файл 1. Эта библиотека содержит несколько вариантов шаблонов, которые были проверены несколькими аннотациями¹⁷ для повышения разнообразия генерируемого текста. Если предсказанный тип существует в библиотеке шаблонов, то соответствующий шаблон был выбран случайным образом; в противном случае использовался стандартный шаблон для типа Unknown. Наконец, был сгенерирован структурированный пояснительный текст путем интеграции прогнозируемого типа, глобальной оценки аномалии, описания серьезности и выбранного шаблона. Система возвращает прогнозируемый тип аномалии, глобальную оценку аномалии и сгенерированный пояснительный текст в качестве итоговых выходных данных. Результаты показаны на рисунке 2.

Все пороговые параметры были оптимизированы с помощью поиска по сетке на валидационном наборе, а качество сгенерированных объяснений было всесторонне оценено с использованием как человеческой оценки, так и автоматизированных метрик. Результаты представлены в таблице 1.

Обучение и оценка моделей

Обучение: Модель была обучена сквозному обучению с помощью Adam (lr 1 x ^10-4, снижение веса 5 x ^10-4), размер партии 128, 50 эпох, косинусный отжиг для lr. Случайные начальные значения были установлены на 123 для Python/Numpy/Pytorch и включены torch.backends.cudnn.deterministic=True. Контрольные точки сохранялись каждые 5 эпох в checkpoints//epoch_XX.pt, а лучшая модель выбиралась путем валидации AUC. Все эксперименты проводились на системе с графическим процессором NVIDIA GeForce RTX 4060 Ti (16 ГБ) под управлением Windows 11, с Python 3.8.20, PyTorch 1.8.0 и CUDA 11.1. Приблизительное время обучения за эпоху составляло 30 с для набора данных ShanghaiTech и 3,5 минуты для набора данных UCF-Crime.

Потери: Общая цель: L = L_MIL+ λ • L_{выравнивание}. Гиперпараметр λ был проверен по набору {0.01,0.1,0.5,1,5,10} на проверочном наборе, и исправлено лучшее значение, зафиксированное для отчета о тестировании. На рисунке 3 приведена агрегация top-K MIL и определения уравнения (3-4).

(3)

(4)

Оценка: AUC на уровне кадра была рассчитана в соответствии со стандартным протоколом, используемым в предыдущих работах WS-VAD ^2,5. Для детального распознавания типов в UCF-Crime были зарегистрированы mAP при IoU 0,1-0,5 и AVG mAP, как обобщено в таблице 2; AUC для каждого класса показаны на рисунке 4, а общие результаты - в таблице 3 и таблице 4; встраиваемость сепарабельности и динамика оценки аномалий представлены на рисунках 4, 5 и 6.

Результаты

Для дальнейшей проверки полезности семантических якорей был проведен дополнительный эксперимент по сравнению различных шаблонов подсказок (см. Таблицу 1). Вариант, использующий расширенные Викиданными семантические прототипы, не только достиг более высоких значений AUC, но и привел к улучшению оценки BLEU-4 на 16,6 и 14,8 для сгенерированных объяснений. Эти результаты указывают на тесную связь между семантическим богатством подсказок и качеством текстовых интерпретаций, ...

Обсуждение

Представленный здесь протокол представляет собой значительный шаг вперед в обнаружении аномалий видео со слабым контролем, сместив парадигму от простой двоичной классификации к семантически обоснованному, интерпретируемому анализу. Значимость этого метода заключается в его способности не только определить, произошла ли аномалия, но и то, что это за аномалия и почему модель пришла к такому выводу, устраняя основное ограничение в существующих системах WS-VAD ^9,...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
BLIP Model	Salesforce Research	ViT-B/16	Используется как текстовый кодировщик для создания семантических якорей.
Графический процессор	NVIDIA	RTX 4060Ti	Используется для обучения модели
Модель i3D	Погуглите DeepMind	Предварительное обучение по Kinetics	Используется как основа для извлечения видеофункций.
Numpy	Команда разработчиков NumPy	1.21.2	Используется для обработки числовых массив данных, таких как видеофункции, до их внедрения в модель глубокого обучения.
PyTorch	Facebook AI Research	1.8.0	Используется для определения архитектуры модели, реализации пользовательских функций потерь и запуска обратного распространения для оптимизации.
Питон	Фонд программного обеспечения Python	3.8.20	Используется для написания всех скриптов для обработки данных, реализации моделей, обучения и оценки
Набор данных ShanghaiTech	Шанхайский технологический университет		Используется для обучения и оценки в 13 различных сценах на кампусе.
Набор данных UCF-Crime	Университет Центральной Флориды		Используется для обучения и оценки 13 категорий аномалий.
Викиданные	Фонд Викимедиа		Используется как внешний граф знаний для построения подсказок.