É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.
Artigo de método
Este protocolo descreve um fluxo de trabalho de rastreamento múltiplo de objetos guiado por confiança para vídeos esportivos que integra informações sobre a cor da camisa e o número do jogador para melhorar a associação de trajetórias e a consistência de identidade diante de flutuações de confiança, oclusões e aparências visualmente semelhantes dos atletas.
O rastreamento múltiplo de objetos (MOT) em vídeos esportivos fornece informações de trajetória para análise tática, interpretação do comportamento dos jogadores e análise estatística automatizada. No entanto, cenários esportivos frequentemente envolvem mudanças rápidas de direção, paradas bruscas, oclusões frequentes e companheiros de equipe visualmente semelhantes, resultando em flutuações na confiança da detecção e confusão de identidade durante a associação entre quadros. Para enfrentar esses desafios, este estudo apresenta o JerseyTrack, um método de MOT esportivo orientado pela confiança e baseado na fusão semântica de camisas. O fluxo de trabalho particiona adaptativamente as caixas de detecção em intervalos de alta, média e baixa confiança, de acordo com a distribuição de confiança de cada quadro. As detecções de alta confiança são associadas principalmente com base na similaridade de movimento, enquanto as detecções de média e baixa confiança incorporam adicionalmente características da cor da camisa e do número do jogador, extraídas por meio de agrupamento de cores e um modelo leve de Reconhecimento Óptico de Caracteres (OCR). Esses atributos semânticos são fundidos com informações de movimento durante a correspondência complementar para melhorar a continuidade da trajetória e a consistência de identidade. O método foi avaliado no conjunto de dados SportsMOT. O JerseyTrack alcançou 88,9% de precisão no rastreamento múltiplo de objetos (MOTA), 74,3% de pontuação F1 de identidade (IDF1) e 69,9% de precisão no rastreamento de ordem superior (HOTA), demonstrando um desempenho aprimorado no cenário de rastreamento esportivo avaliado. Este protocolo fornece um fluxo de trabalho reproduzível para integrar a associação orientada pela confiança com informações semânticas da camisa, a fim de melhorar o rastreamento múltiplo de objetos em vídeos esportivos.
O rastreamento múltiplo de objetos (MOT) fornece localização contínua de objetos e manutenção de identidade em sequências de vídeo, apoiando a extração de trajetórias de atletas, análise tática e análise estatística automatizada em aplicações com vídeos esportivos1,2,3. Informações visuais confiáveis também estão relacionadas à tomada de decisões específica do esporte e à avaliação de desempenho na ciência do esporte, enfatizando ainda mais o valor de dados de movimento derivados de vídeo estáveis para análises esportivas posteriores4. Em cenários espo....
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Este estudo envolveu análise secundária de conjuntos de dados de vídeo de referência disponíveis publicamente, nomeadamente SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 e MOT20. Nenhum participante foi recrutado, nenhuma intervenção foi realizada e nenhum dado novo envolvendo seres humanos foi coletado. A aprovação do comitê de ética não foi necessária para este estudo, conforme as exigências institucionais aplicáveis da Bangkok Thonburi University.
O protocolo a seguir descreve o fluxo de trabalho utilizado para reproduzir o JerseyTrack, desde a preparação dos dados até a avaliação do rastreamento. O fluxo de trabalho inclui a preparaçã....
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Esta seção apresenta os resultados quantitativos e qualitativos obtidos a partir dos experimentos avaliados de rastreamento múltiplo em esportes. Os resultados concentram-se na precisão do rastreamento, preservação de identidade, qualidade da associação e robustez sob as configurações do conjunto de dados testado. As afirmações sobre desempenho restringem-se aos métodos avaliados, conjuntos de dados, saídas do detector e configuração da ferramenta de avaliação descritos na seção Protocolo e Configuração de Implementação........
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Este estudo avaliou um fluxo de trabalho de rastreamento múltiplo de objetos em esportes guiado por confiança, que combina a partição baseada na confiança da detecção com pistas semânticas das camisetas. A associação guiada por confiança e a fusão de características semânticas foram investigadas como estratégias complementares para melhorar a associação de dados no rastreamento múltiplo de objetos12,20,23,
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Os autores declaram que não têm conflitos financeiros de interesse.
Os autores não têm agradecimentos a declarar.
....Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| Tempo de execução CUDA | NVIDIA | Versão 12.8 | Tempo de execução de computação GPU utilizado para o treinamento do detector, extração de características semânticas e inferência de rastreamento. |
| EasyOCR | Jaided AI | Versão 1.7.2 | Kit de ferramentas de reconhecimento óptico de caracteres utilizado para o reconhecimento de números dos jogadores. |
| Código-fonte do JerseyTrack | Autores | N/A | Implementação personalizada contendo os scripts de preparação de dados, extração de características semânticas, particionamento de confiança, rastreamento, pós-processamento e avaliação. Disponível em: https://doi.org/10.5281/zenodo.21274352 |
| Modelo OCR CRNN leve | Autores | N/A | Rede neural convolucional recorrente (CRNN) personalizada utilizada para o reconhecimento de números dos jogadores. |
| Conjunto de dados MOT17 | MOTChallenge | N/A | Conjunto de dados público de referência utilizado para avaliação entre conjuntos de dados. Disponível em: https://motchallenge.net/data/MOT17/ |
| Conjunto de dados MOT20 | MOTChallenge | N/A | Conjunto de dados público de referência utilizado para avaliação entre conjuntos de dados. Disponível em: https://motchallenge.net/data/MOT20/ |
| motmetrics | Desenvolvedores do motmetrics | Versão 1.4.0 | Biblioteca utilizada para o cálculo diagnóstico de métricas de rastreamento de múltiplos objetos. |
| GPU NVIDIA | NVIDIA | GeForce RTX 5090 D V2 | Unidade de processamento gráfico utilizada para o treinamento do detector e inferência de rastreamento. |
| Driver da GPU NVIDIA | NVIDIA | Versão 610.62 | Driver da GPU utilizado no ambiente experimental. |
| NumPy | Desenvolvedores do NumPy | Versão 2.4.4 | Biblioteca de computação numérica utilizada para processamento de características e manipulação de dados. |
| OpenCV | OpenCV | Versão 4.10.0 | Biblioteca de visão computacional utilizada para carregamento, recorte, pré-processamento e visualização de imagens. |
| Python | Python Software Foundation | Versão 3.12.2 | Linguagem de programação utilizada em todo o fluxo de trabalho. |
| PyTorch | PyTorch Foundation | Versão 2.11.0+cu128 | Framework de aprendizado profundo utilizado para a implementação do detector e do modelo semântico. |
| scikit-learn | Desenvolvedores do scikit-learn | Versão 1.9.0 | Biblioteca de aprendizado de máquina utilizada para agrupamento K-means durante a extração de cor da camisa e particionamento de confiança. |
| Conjunto de dados SoccerNet Tracking | SoccerNet | N/A | Conjunto de dados público de rastreamento de futebol utilizado para avaliação entre conjuntos de dados. Disponível em: https://www.soccer-net.org/tasks/tracking |
| Conjunto de dados SportsMOT | SportsMOT Benchmark | N/A | Conjunto de dados principal de referência utilizado para preparação do detector e avaliação de rastreamento. Disponível em: https://deeperaction.github.io/datasets/sportsmot.html |
| Conjunto de dados TeamTrack | TeamTrack Benchmark | N/A | Conjunto de dados público de rastreamento esportivo utilizado para avaliação entre conjuntos de dados. Disponível em: https://atomscott.github.io/TeamTrack/ |
| Torchvision | PyTorch Foundation | Versão 0.26.0+cu128 | Biblioteca de visão computacional utilizada com o PyTorch para transformação de imagens e suporte a modelos. |
| TrackEval | Desenvolvedores do TrackEval | Versão 1.3.0 | Kit de ferramentas de avaliação utilizado para calcular a Acurácia de Rastreamento de Múltiplos Objetos (MOTA), Pontuação F1 de Identidade (IDF1), Acurácia de Rastreamento de Ordem Superior (HOTA), Acurácia de Detecção (DetA), Acurácia de Associação (AssA), falsos positivos (FP), falsos negativos (FN) e trocas de identidade (IDs). |
| Ultralytics | Ultralytics | Versão 8.4.90 | Framework de detecção de objetos utilizado para treinar o detector e gerar detecções de atletas. |
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.