Modelo alinhado à âncora semântica para detecção de anomalias de vídeo interpretável sob supervisão fraca intermodal

Resumo

Este protocolo visa melhorar a detecção de anomalias de vídeo fracamente supervisionada, integrando conhecimento estruturado. Seu objetivo é permitir a classificação de tipos específicos de anomalias e fornecer explicações claras e interpretáveis para os resultados da detecção, indo além de simples decisões binárias e aumentando a transparência.

Resumo

A detecção de anomalias de vídeo fracamente supervisionada é uma técnica essencial que depende exclusivamente de rótulos de nível de vídeo para identificar eventos anômalos. No entanto, os métodos tradicionais de aprendizado de múltiplas instâncias (MIL) dependem da supervisão binária de granularidade grossa. Essa abordagem dificulta a distinção entre categorias de anomalias refinadas. Esses métodos geralmente se concentram apenas nos segmentos mais anômalos, resultando em resultados de detecção que carecem de interpretabilidade. Para superar essas limitações, este estudo propõe uma abordagem de modelagem de recursos que incorpora conhecimento estruturado. Ao utilizar um mecanismo de orientação semântica dinâmica, a detecção de anomalias de vídeo fracamente supervisionada combina informações externas em nível de categoria com prompts que podem ser aprendidos para gerar sinais semânticos dentro do espaço de recursos. Esses sinais são alinhados com as evidências visuais extraídas pelo módulo base de detecção de anomalias, produzindo duas saídas complementares: uma pontuação de anomalias para quantificar a gravidade de eventos anômalos e descrições semânticas alinhadas com conceitos externos, que podem ser usadas para gerar textos explicativos estruturados e interpretáveis por meio de modelos predefinidos. Os resultados experimentais demonstram que o método proposto atinge uma AUC de 88,03% no conjunto de dados UCF-Crime e 98,23% no conjunto de dados ShanghaiTech, atingindo 87,05% de precisão em tarefas de classificação de anomalias refinadas. Além disso, as explicações semânticas geradas estendem a detecção fracamente supervisionada de uma tarefa de classificação binária para uma estrutura de análise de anomalias interpretável e orientada pela semântica.

Introdução

A detecção de anomalias por vídeo (VAD) desempenha um papel essencial em áreas como segurança pública e manufatura inteligente, onde oferece uma solução escalável para as limitações da vigilância manual¹. Em particular, a detecção de anomalias de vídeo fracamente supervisionada (WS-VAD) ganhou destaque devido à sua dependência de rótulos de nível de vídeo, reduzindo substancialmente a carga de anotação manual e melhorando a generalização em diversas cenas. Apesar de suas vantagens práticas, os métodos WS-VAD ainda enfrentam desafios significativos na identificação precisa da natureza dos eventos anormais

Protocolo

Este estudo usa apenas conjuntos de dados disponíveis publicamente (UCF-Crime¹³ e ShanghaiTech¹⁴). Todos os vídeos foram obtidos a partir das versões oficiais dos conjuntos de dados, que anonimizam informações de identificação pessoal na medida em que são fornecidas pelos mantenedores do conjunto de dados. Nenhuma coleta de dados adicional ou interação com seres humanos foi conduzida pelos autores; portanto, nenhuma nova aprovação do IRB foi necessária. O uso de dados está em conformidade com as licenças e termos de uso dos respectivos conjuntos de dados.

Resultados

Para validar ainda mais a utilidade das âncoras semânticas, um experimento adicional foi conduzido para comparar diferentes modelos de prompt (consulte a Tabela 1). A variante usando protótipos semânticos aumentados pelo Wikidata não apenas alcançou valores de AUC mais altos, mas também levou a melhorias na pontuação BLEU-4 de 16,6 e 14,8 para as explicações geradas. Essas descobertas indicam uma forte ligação entre a riqueza semântica dos prompts e a qualidade das inter.......

Discussão

O protocolo apresentado aqui introduz um avanço significativo na detecção de anomalias de vídeo fracamente supervisionadas, mudando o paradigma da classificação binária simples para uma análise interpretável e semanticamente fundamentada. A importância desse método reside em sua capacidade de não apenas identificar se ocorreu uma anomalia, mas também que tipo de anomalia é e por que o modelo chegou a essa conclusão, abordando uma grande limitação nos sistemas WS-VAD existentes

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
BLIP Modelo	Pesquisa Salesforce	ViT-B/16	Usado como codificador de texto para criar âncoras semânticas.
GPU	NVIDIA	RTX 4060Ti	Usado para treinar o modelo
Modelo I3D	Google DeepMind	Pré-treinado em Cinética	Usado como base para extração de recursos de vídeo.
Dormente	A Equipe de Desenvolvimento do NumPy	1.21.2	Usado para lidar e processar matrizes numéricas de dados, como os recursos de vídeo, antes de serem inseridos no modelo de aprendizado profundo.
PyTorch	Pesquisa em IA do Facebook	1.8.0	Usado para definir a arquitetura do modelo, implementar as funções de perda personalizadas e executar a retropropagação para otimização.
Pitão	Fundação de Software Python	3.8.20	Usado para escrever todos os scripts para processamento de dados, implementação de modelos, treinamento e avaliação
Conjunto de Dados ShanghaiTech	Universidade ShanghaiTech		Usado para treinamento e avaliação em 13 cenas diferentes do campus.
UCF-Crime Dataset & nbsp;	Universidade da Flórida Central		Usado para treinamento e avaliação de 13 categorias de anomalias.
Wikidata	Fundação Wikimedia		Usado como grafo de conhecimento externo para construção de prompts.