É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.

Artigo de método

Um Método de Rastreamento de Múltiplos Objetos Guiado por Confiança para Vídeos Esportivos Utilizando Fusão Semântica de Camisas

97 visualizações

⸱

DOI:

10.3791/71557

⸱

14 de agosto de 2026

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

Neste artigo

Resumo

Este protocolo descreve um fluxo de trabalho de rastreamento múltiplo de objetos guiado por confiança para vídeos esportivos que integra informações sobre a cor da camisa e o número do jogador para melhorar a associação de trajetórias e a consistência de identidade diante de flutuações de confiança, oclusões e aparências visualmente semelhantes dos atletas.

Resumo

O rastreamento múltiplo de objetos (MOT) em vídeos esportivos fornece informações de trajetória para análise tática, interpretação do comportamento dos jogadores e análise estatística automatizada. No entanto, cenários esportivos frequentemente envolvem mudanças rápidas de direção, paradas bruscas, oclusões frequentes e companheiros de equipe visualmente semelhantes, resultando em flutuações na confiança da detecção e confusão de identidade durante a associação entre quadros. Para enfrentar esses desafios, este estudo apresenta o JerseyTrack, um método de MOT esportivo orientado pela confiança e baseado na fusão semântica de camisas. O fluxo de trabalho particiona adaptativamente as caixas de detecção em intervalos de alta, média e baixa confiança, de acordo com a distribuição de confiança de cada quadro. As detecções de alta confiança são associadas principalmente com base na similaridade de movimento, enquanto as detecções de média e baixa confiança incorporam adicionalmente características da cor da camisa e do número do jogador, extraídas por meio de agrupamento de cores e um modelo leve de Reconhecimento Óptico de Caracteres (OCR). Esses atributos semânticos são fundidos com informações de movimento durante a correspondência complementar para melhorar a continuidade da trajetória e a consistência de identidade. O método foi avaliado no conjunto de dados SportsMOT. O JerseyTrack alcançou 88,9% de precisão no rastreamento múltiplo de objetos (MOTA), 74,3% de pontuação F1 de identidade (IDF1) e 69,9% de precisão no rastreamento de ordem superior (HOTA), demonstrando um desempenho aprimorado no cenário de rastreamento esportivo avaliado. Este protocolo fornece um fluxo de trabalho reproduzível para integrar a associação orientada pela confiança com informações semânticas da camisa, a fim de melhorar o rastreamento múltiplo de objetos em vídeos esportivos.

Introdução

O rastreamento múltiplo de objetos (MOT) fornece localização contínua de objetos e manutenção de identidade em sequências de vídeo, apoiando a extração de trajetórias de atletas, análise tática e análise estatística automatizada em aplicações com vídeos esportivos1,2,3. Informações visuais confiáveis também estão relacionadas à tomada de decisões específica do esporte e à avaliação de desempenho na ciência do esporte, enfatizando ainda mais o valor de dados de movimento derivados de vídeo estáveis para análises esportivas posteriores4. Em cenários esportivos, a confiabilidade dos dados táticos depende da continuidade das trajetórias de rastreamento e da consistência das identidades dos alvos.

Em comparação com cenários gerais de MOT, vídeos esportivos contêm mudanças rápidas de direção, paradas bruscas, saltos, interações densas e oclusões frequentes. Esses fatores provocam flutuações substanciais na confiança das caixas de detecção e aumentam a frequência de detecções com baixa confiança, o que pode interromper a associação de trajetórias5,6. As camisetas uniformes das equipes reduzem ainda mais a capacidade discriminativa de características gerais de aparência e aumentam a confusão de identidade entre companheiros de equipe visualmente semelhantes7,8. Quando a oclusão e a semelhança de aparência ocorrem na mesma sequência, a confiança na detecção diminui e as informações sobre a aparência do alvo tornam-se incompletas, aumentando a dificuldade de associação de trajetórias e manutenção de identidade9,10. Em MOT, reidentificação (Re-ID) refere-se ao processo de associar a mesma identidade de alvo entre quadros, períodos de oclusão ou casos de reentrada, utilizando evidências visuais relacionadas à identidade. Em vídeos de esportes coletivos, os indicadores gerais de Re-ID podem ser enfraquecidos porque atletas da mesma equipe frequentemente compartilham uniformes e aparências corporais semelhantes. A revisão da literatura técnica indica que fragmentação de trajetórias e confusão de identidade em MOT esportivo são comumente abordadas por meio de duas abordagens complementares: utilização da confiança na detecção e aprimoramento de pistas de identidade. O JerseyTrack posiciona-se na interseção dessas abordagens, regulando o uso de pistas semânticas da camiseta de acordo com a qualidade da detecção, em vez de aplicar uniformemente informações de cor e número do jogador a todas as detecções.

Este estudo apresenta o JerseyTrack, um método de MOT esportivo orientado por confiança e baseado na fusão semântica de camisetas. O método foi projetado para vídeos de esportes coletivos em que os atletas usam camisetas visíveis e os resultados da detecção fornecem caixas delimitadoras com pontuações de confiança. O JerseyTrack combina quatro componentes principais: detecção de atletas, particionamento por nível de confiança, extração de características semânticas da camiseta e associação interquadro em cascata. A confiança da detecção é utilizada para particionar adaptativamente as detecções em grupos de alta, média e baixa confiança, que são processados usando estratégias de associação diferentes. As detecções de alta confiança são associadas principalmente por meio de informações de movimento, enquanto as detecções de média e baixa confiança incorporam adicionalmente informações sobre a cor da camiseta e o número do jogador para melhorar a manutenção da identidade quando as evidências visuais são fracas. O método destina-se a tarefas de análise de vídeos esportivos que exigem trajetórias estáveis de atletas, como análise tática e interpretação do comportamento do jogador.

A abordagem proposta também apresenta limitações operacionais. A extração semântica de camisas pode ser afetada por oclusão severa, borrão de movimento, baixa resolução da imagem, poses anômalas das camisas ou números de jogadores invisíveis. Nessas situações, as pistas semânticas baseadas nas camisas podem tornar-se incompletas, e o processo de associação depende mais fortemente da consistência de movimento e da verificação multiquadro. Portanto, as afirmações de desempenho neste estudo estão restritas aos conjuntos de dados avaliados e às configurações experimentais. Experimentos no conjunto de dados SportsMOT mostram que o JerseyTrack melhora as métricas de rastreamento avaliadas e reduz os eventos de troca de identidade sob as condições de rastreamento esportivo testadas. A principal dificuldade do rastreamento múltiplo de objetos (MOT) em vídeos esportivos reside na manutenção da continuidade da trajetória e da consistência de identidade diante de movimentos rápidos, oclusões e similaridade de aparência. Estudos existentes relacionados ao JerseyTrack podem ser amplamente categorizados em duas direções de pesquisa: o uso da confiança da detecção para associação de trajetórias e o aprimoramento de pistas de identidade por meio de características semânticas específicas de esportes.

A confiança na detecção tem sido amplamente utilizada para estimar a confiabilidade das caixas de detecção e orientar a associação de trajetórias em MOT. Métodos iniciais de rastreamento geralmente tratavam a confiança como um critério binário de filtragem, nos quais detecções abaixo de um limiar fixo eram removidas para reduzir falsos positivos11,12. Essa estratégia reduz detecções ruidosas, mas também pode descartar alvos reais sob oclusão, movimento rápido ou baixa qualidade de imagem, resultando em fragmentação de trajetórias13,14,15. Estratégias de filtragem semelhantes também demonstraram que limiares fixos de confiança são sensíveis à variação da cena e à qualidade da detecção16,17. Para melhorar o uso de detecções com baixa confiança, o ByteTrack introduziu uma estratégia de associação que mantém caixas com baixa confiança como alvos candidatos para correspondência secundária e as vincula a trajetórias existentes por meio de similaridade de movimento e histórico de trajetória18. O McByte estende ainda mais a associação em MOT esportivo ao incorporar máscaras de segmentação propagadas temporalmente como uma pista de associação, melhorando a robustez sob condições de movimento rápido, oclusão e deslocamento da câmera, sem necessidade de treinamento adicional por vídeo19. Estudos relacionados também ajustaram o uso de detecções com baixa confiança para manter alvos fracos, mas potencialmente válidos, durante a associação20,21,22. Estratégias de associação adaptativas à confiança posteriormente refinaram os critérios de correspondência com base na consistência de movimento e na confiabilidade da detecção23,24,25. Métodos de refinamento de trajetórias baseados em regressão da caixa de detecção e otimização da suavidade da trajetória também foram utilizados para reduzir a fragmentação de trajetórias26,27,28. Estratégias adicionais de refinamento fornecem suporte complementar para manter a continuidade da trajetória em condições de movimento complexo29. O fluxo temporal coerente de objetos modela ainda mais a consistência temporal em nível de objeto entre quadros, fornecendo outra abordagem orientada à associação para reduzir interrupções de trajetória em cenários complexos de MOT30. Métodos de fusão de rastreadores também aprendem a partir das saídas de múltiplos rastreadores e utilizam estratégias de seleção ou fusão baseadas em aprendizado para melhorar a robustez do rastreamento em diferentes benchmarks de MOT31. Em conjunto, esses estudos indicam que a associação sensível à confiança ajuda a recuperar trajetórias interrompidas; no entanto, pistas de confiança e movimento fornecem informações limitadas sobre identidade quando jogadores do mesmo time possuem aparências visuais semelhantes. Embora esses métodos aliviem efetivamente a fragmentação de trajetórias em cenários gerais, enfrentam limitações inerentes em contextos esportivos, pois jogadores do mesmo time frequentemente têm aparências visuais altamente semelhantes, e depender exclusivamente de informações de confiança e movimento não fornece base suficiente para diferenciação de identidade32,33,34. Mesmo quando caixas com baixa confiança são recuperadas com eficácia, a similaridade de características ainda pode levar à troca de identidade, dificultando o atendimento aos rigorosos requisitos de consistência de identidade na análise esportiva.

Indicadores específicos de identidade esportiva também têm sido utilizados para melhorar a discriminação de identidade no rastreamento de atletas. Informações semânticas da camisa, como cor do time e número do jogador, fornecem pistas identitárias mais diretamente relacionadas a cenários esportivos do que incorporações gerais de aparência35,36,37. A cor da camisa tem sido usada para apoiar a discriminação em nível de equipe e reduzir a confusão entre times, enquanto o reconhecimento do número do jogador fornece uma pista identitária mais precisa quando a região do número está visível e legível38,39. Estudos existentes sobre rastreamento esportivo incorporaram características visuais específicas do domínio e reconhecimento da cor da camisa para melhorar a associação de jogadores em condições esportivas lotadas40,41. Trabalhos relacionados sobre reconhecimento de número da camisa e dados sintéticos de números apoiam ainda mais a modelagem de identidade em condições de baixa resolução ou oclusão parcial42,43. Esses estudos indicam que a semântica da camisa pode fortalecer a representação de identidade no rastreamento de múltiplos objetos em esportes (MOT). No entanto, a maioria dos métodos de rastreamento aprimorados por semântica não modela suficientemente a relação entre a confiança na detecção e a qualidade da característica semântica. Detecções de alta confiança podem já conter informações espaciais e de aparência confiáveis, tornando a extração semântica repetida menos eficiente. Detecções de baixa confiança frequentemente sofrem com oclusão, desfoque, truncamento ou baixa resolução, reduzindo a confiabilidade das pistas de cor e número do jogador. Essa limitação motiva um design de associação guiado por confiança, no qual a semântica da camisa é introduzida de acordo com a qualidade da detecção, em vez de ser aplicada uniformemente a todas as detecções. Os estudos revisados mostram que a associação consciente da confiança e a modelagem semântica da camisa abordam diferentes aspectos do MOT esportivo. As estratégias baseadas em confiança determinam principalmente se uma detecção deve participar da associação e como ela deve ser combinada com trajetórias existentes, enquanto as estratégias semânticas de camisa aprimoram principalmente a representação de identidade por meio de pistas específicas do esporte. No entanto, esses dois mecanismos são frequentemente projetados como componentes separados. Como resultado, as pistas semânticas nem sempre são ajustadas de acordo com a qualidade da detecção, e os níveis de confiança não regulam diretamente o uso das informações de cor e número do jogador durante a associação. Essa separação limita o tratamento conjunto de fragmentação de trajetória e confusão de identidade em vídeos de esportes coletivos. A lacuna de pesquisa remanescente reside na vinculação da avaliação da qualidade da confiança na detecção com a associação semântica da camisa dentro do mesmo fluxo de trabalho de rastreamento.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

Este estudo envolveu análise secundária de conjuntos de dados de vídeo de referência disponíveis publicamente, nomeadamente SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 e MOT20. Nenhum participante foi recrutado, nenhuma intervenção foi realizada e nenhum dado novo envolvendo seres humanos foi coletado. A aprovação do comitê de ética não foi necessária para este estudo, conforme as exigências institucionais aplicáveis da Bangkok Thonburi University.

O protocolo a seguir descreve o fluxo de trabalho utilizado para reproduzir o JerseyTrack, desde a preparação dos dados até a avaliação do rastreamento. O fluxo de trabalho inclui a preparação do conjunto de dados, a preparação do detector, a extração semântica da camisa, a partição por nível de confiança, a associação orientada por confiança, a inferência de rastreamento e a avaliação de desempenho, conforme resumido na Figura 1. O software necessário, os conjuntos de dados e os recursos de hardware são listados na Tabela de Materiais.

Diagrama de extração de características da camisa usando características de aparência; previsão de estado; processo de associação de dados.
Figura 1. Fluxo geral do método JerseyTrack. O fluxo de trabalho consiste na extração de características semânticas da camisa, correspondência inicial de objetos, correspondência suplementar orientada por confiança e fusão de características. As características de cor do time e número do jogador são extraídas das regiões dos atletas detectados e incorporadas ao processo de associação para melhorar o pareamento de trajetórias em condições de detecção incertas. Clique aqui para visualizar uma versão maior desta figura.

1. Prepare os conjuntos de dados e a estrutura de diretórios

  1. Baixe os conjuntos de dados de referência públicos listados na Tabela de Materiais. Utilize o SportsMOT como conjunto de dados principal para a preparação do detector e avaliação do rastreamento. Mantenha os conjuntos TeamTrack, SoccerNet Tracking, MOT17 e MOT20 para avaliação entre conjuntos de dados.
  2. Armazene todos os conjuntos de dados em um diretório de projeto unificado. Certifique-se de que o detector, o módulo de extração semântica, o módulo de rastreamento e o kit de avaliação utilizem identificadores de sequência idênticos.
  3. Converta as anotações oficiais do SportsMOT para o formato de treinamento do detector usando o script de preparação de dados empregado neste estudo. Execute o seguinte comando:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. O script de preparação de dados (scripts/prepare_data.py) está disponível no repositório de código-fonte do JerseyTrack (https://doi.org/10.5281/zenodo.21274352). As dependências de software necessárias estão especificadas no arquivo environment.yml, incluindo Python 3.12, PyTorch 2.11.0 e OpenCV 4.10 ou posterior. Configure o ambiente de software usando o seguinte comando: conda env create -f environment.yml. Execute o script de preparação de dados usando o seguinte comando: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. Verifique se a conversão gerou o arquivo de configuração para treinamento do detector: data\processed\SportsMOT_yolo\data.yaml e o manifesto de conversão: data\processed\SportsMOT_yolo\conversion_manifest.csv.
    NOTA: Neste estudo, o conjunto de treinamento e validação do SportsMOT convertido continha 90 sequências, 55.544 quadros e 608.152 objetos anotados.
  6. Inspecione sequências representativas para verificar se a ordem dos quadros, as coordenadas das caixas delimitadoras e os rótulos de identidade permanecem consistentes com as anotações originais do conjunto de referência.
  7. Mantenha os arquivos de anotação convertidos sem modificações durante toda a preparação do detector, inferência de rastreamento e avaliação, de modo que todos os métodos utilizem a mesma partição do conjunto de dados e o mesmo protocolo de avaliação.
    NOTA: O resultado esperado nesta seção é um diretório padronizado de treinamento do detector SportsMOT contendo as anotações convertidas, o manifesto de conversão e os arquivos de divisão do conjunto de dados necessários para a preparação do detector e avaliação do rastreamento.

2. Prepare as saídas do detector

  1. Ajuste fino do detector de objetos utilizando o conjunto de treinamento preparado do SportsMOT. Otimize o detector usando a perda de classificação e a perda de regressão da caixa delimitadora definidas na Equação 1. Utilize a resolução de entrada do detector, tamanho do lote, taxa de aprendizado, número de épocas de treinamento e outros parâmetros de treinamento relatados na configuração de implementação e na Tabela de Materiais
    Ldet = Lcls + Lbox   (1)
    Aqui, Ldet  denota a perda total do detector, Lcls  denota a perda de classificação, Lbox  denota a perda de regressão da caixa delimitadora.
    NOTA: O ponto de controle do detector usado nos experimentos principais (identificador interno do experimento e3) foi treinado usando o framework Ultralytics YOLO com a configuração do conjunto de dados no formato YOLO do SportsMOT (data/processed/SportsMOT_yolo/data.yaml). Execute o treinamento do detector usando o seguinte comando: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. Após o treinamento, use o ponto de controle com melhor desempenho resultante para gerar as saídas do detector para as sequências de validação usando o seguinte comando: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. Salve o ponto de controle treinado do detector, o arquivo de metadados correspondente e o log de treinamento após o treinamento.
    NOTA: Neste estudo, o ponto de controle do detector usado para os experimentos formais foi salvo como:
    outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. O arquivo de metadados correspondente foi salvo como: outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json. O diretório de saída do detector usado para os experimentos principais de validação do SportsMOT foi: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections.
  3. Execute o detector treinado em cada sequência de validação para gerar caixas delimitadoras dos atletas e pontuações de confiança. Exporte um arquivo de detecção para cada sequência contendo o índice do quadro, coordenadas da caixa delimitadora, confiança da detecção e rótulo da classe.
    NOTA: Na execução de validação do SportsMOT usada para os experimentos principais, um limiar de confiança de 0,05 gerou 343.990 detecções de atletas.
  4. Inspecione o diretório de saída do detector antes da inferência de rastreamento. Confirme que cada sequência possui um arquivo de detecção correspondente, que os índices dos quadros correspondem à sequência de imagens preparada e que cada registro de detecção contém uma pontuação de confiança.
    NOTA: O resultado esperado desta seção é um diretório de saída do detector completo que servirá como entrada para a extração semântica da camisa, partição por nível de confiança e associação de rastreamento.

3. Extrair características semânticas da camisa

  1. Utilize os arquivos de saída do detector para recortar as regiões dos atletas em cada quadro do vídeo. Salve cada imagem recortada do atleta com seu identificador de sequência, índice de quadro e índice de detecção. Exclua recortes inválidos com conteúdo de imagem ausente ou caixas delimitadoras que se estendam para fora dos limites da imagem. Mantenha o vínculo entre cada nome de arquivo de recorte e seu registro de detecção original para que as características semânticas extraídas possam ser associadas à detecção correspondente durante a associação de rastreamento.
  2. Extraia características de cor da camisa a partir das imagens recortadas dos atletas utilizando o script de extração semântica empregado neste estudo.
    NOTA: Os scripts de extração de características semânticas (scripts/extract_fast_color_semantics.py e scripts/formal_extract_semantics.py) estão disponíveis no repositório de código-fonte JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Nenhum arquivo de configuração separado é necessário; todos os parâmetros de execução são fornecidos por meio de argumentos da linha de comando.
    Gere descritores de cor da camisa utilizando o seguinte comando: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. Gere características semânticas do número do jogador utilizando o modelo OCR com o seguinte comando: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. Os descritores de cor da camisa gerados e as saídas de probabilidade do número do jogador são vinculados por identificador de sequência e combinados nos arquivos de características semânticas utilizados durante a associação de rastreamento.
  3. Converta cada imagem recortada do atleta para o espaço de cor Matiz, Saturação, Valor (HSV). Extraia os pixels de primeiro plano da região da camisa e resuma a cor dominante da camisa utilizando agrupamento por K-médias com K = 3. Normalize o descritor de cor resultante utilizando normalização L2 antes da comparação de características.
  4. Treine o ramo de reconhecimento do número do jogador utilizando imagens recortadas dos atletas com um tamanho de entrada de 128 × 64 pixels. Gere rótulos pseudo-supervisionados do número do jogador utilizando o procedimento de rotulagem fracamente supervisionado empregado neste estudo. Exclua recortes com regiões de número do jogador invisíveis, ilegíveis, severamente ocluídas ou com baixa confiança do cálculo da perda OCR (Reconhecimento Óptico de Caracteres).
  5. Optimize o ramo OCR utilizando a perda de entropia cruzada definida na Equação 2.
    Fórmula da perda de entropia cruzada \(L_{ocr}=-\sum_{i=1}^{N}y_i\log(\hat{y}_i)\), equação para classificação. (2)
    Aqui, Locr denota a perda OCR, yi denota o rótulo supervisionado do número do jogador e Equação de regressão polinomial, ŷᵢ=β₀+β₁xᵢ+…+βₙxᵢⁿ, gráfico de análise estatística denota a categoria prevista do número do jogador.
  6. Optimize o módulo de extração de características semânticas utilizando o otimizador adaptativo, taxa de aprendizado, tamanho do lote, decaimento de peso e duração do treinamento listados na Tabela de Materiais. Combine a perda do detector e a perda OCR utilizando o objetivo total de treinamento definido na Equação 3.
    Ltotal = Ldet + γLocr   (3)
    Aqui, Ltotal denota a perda total de treinamento, Ldet denota a perda do detector definida na Equação 1, Locr denota a perda OCR definida na Equação 2 e denota o coeficiente de ponderação definido pelo usuário para a perda OCR.
  7. Aplique o ramo OCR treinado a cada imagem recortada do atleta. Salve a categoria prevista do número do jogador ou o vetor de probabilidade para cada recorte. Se o número do jogador não for visível ou se a confiança do OCR estiver abaixo do limiar definido na implementação, registre a característica do número do jogador como indisponível, em vez de forçar uma previsão.
  8. Combine o descritor de cor da camisa e a saída do número do jogador no arquivo de características semânticas utilizado pelo módulo de rastreamento.
    NOTA: Na execução principal de validação do SportsMOT, o script de extração semântica processou 343.990 detecções sem quadros ausentes ou recortes inválidos. No pacote de revisão atual, o resumo da extração semântica relatou uma precisão geral de extração semântica de cor e OCR de 86,7% na configuração do SportsMOT avaliada. O resultado esperado desta seção é um arquivo de características semânticas no qual cada registro de detecção válido está vinculado a um descritor de cor da camisa, uma saída de número do jogador quando disponível e uma marca indicando se a informação semântica está disponível para a associação de rastreamento.

4. Níveis de confiança na detecção de partições

  1. Carregue o arquivo de saída do detector para cada sequência de vídeo. Colete as pontuações de confiança de todas as detecções de atletas em cada quadro.
  2. Divida as pontuações de confiança por quadro em intervalos de alta, média e baixa confiança usando agrupamento K-means com K = 3, seguindo o fluxo de trabalho de associação guiado pela confiança mostrado na Figura 2. Determine os limiares adaptativos de confiança minimizando a variância intra-cluster de acordo com a Equação 4.
    Fórmula do símbolo de equilíbrio estático; J_conf=min Σ(sd-μ_i)^2; otimização matemática.  (4)
    Aqui, sd denota a pontuação de confiança da detecção d; D1, D2 e D3 denotam os intervalos de alta, média e baixa confiança, respectivamente; μ1, μ2 e μ3 denotam as pontuações médias de confiança dos três intervalos; e τ1 e τ2 denotam os limiares adaptativos de confiança obtidos a partir dos resultados do agrupamento K-means.
    NOTA: O script de particionamento de confiança (scripts/formal_partition_confidence.py) está disponível no repositório de código-fonte do JerseyTrack (https://doi.org/10.5281/zenodo.21274352). O módulo de particionamento de confiança utiliza um procedimento de agrupamento K-means unidimensional baseado em NumPy com K = 3. Nenhum arquivo de configuração separado é necessário; o diretório de entrada, diretório de saída e parâmetro de agrupamento são especificados por meio de argumentos de linha de comando. Execute o procedimento de particionamento de confiança usando o seguinte comando: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. As dependências de software necessárias, incluindo a versão do NumPy, são especificadas em environment.yml.
  3. Execute o procedimento de particionamento de confiança usando o diretório de saída do detector como entrada.
    NOTA: Neste estudo, o diretório de saída do detector era: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections. O diretório de saída do particionamento de confiança era: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence. Os arquivos de saída gerados incluíram os arquivos CSV de confiança por sequência, _confidence_frame_summary.csv e _confidence_runtime.csv.
  4. Atribua um rótulo de nível de confiança a cada detecção. Rotule as detecções de alta confiança para associação baseada em movimento, as de média confiança para associação semântica por movimento e as de baixa confiança apenas para recuperação de trajetória. Preserve a pontuação original de confiança juntamente com o rótulo de nível de confiança atribuído.
  5. Analise as distribuições das pontuações de confiança e quadros representativos, conforme ilustrado na Figura 3. Verifique se as detecções de alta confiança correspondem predominantemente a caixas delimitadoras completas e confiáveis dos atletas, enquanto as detecções de média e baixa confiança contêm principalmente detecções parciais, ocluídas, desfocadas ou fracas.
    NOTA: O resultado esperado desta seção é um arquivo de particionamento de confiança contendo o índice da detecção, pontuação original de confiança, nível de confiança atribuído e limiares adaptativos de confiança por quadro para cada detecção.

Análise de vídeo orientada pela confiança; diagrama com agrupamento K-means e cálculos de intervalo para correlação.
Figura 2. Estratégia de associação orientada pela confiança. O fluxo de trabalho divide a confiança da detecção em intervalos de alta, média e baixa confiança, utilizando agrupamento adaptativo por confiança. As detecções de alta confiança são associadas com base na semelhança de movimento, as de média confiança são associadas utilizando semelhança combinada de movimento e semântica da camisa, e as de baixa confiança são utilizadas na recuperação de trajetórias assistida semanticamente com verificação de múltiplos quadros. O painel direito resume a formulação matemática utilizada para a divisão por confiança e associação. Clique aqui para visualizar uma versão maior desta figura.

Gráfico de barras comparando doses de decisão esportivas por intervalo de confiança; futebol, basquete, vôlei.
Figura 3. Distribuição dos escores de confiança de detecção. O histograma mostra o número de caixas de detecção de atletas dentro de cinco intervalos de confiança para as sequências de futebol, basquete e vôlei no conjunto de dados SportsMOT. A distribuição ilustra diferenças na confiança do detector entre as categorias esportivas avaliadas. Clique aqui para visualizar uma versão maior desta figura.

5. Executar a associação guiada por confiança

  1. Carregue o arquivo de saída do detector, o arquivo de características semânticas e o arquivo de partição de confiança para cada sequência de vídeo. Inicialize o rastreador usando as primeiras detecções válidas e mantenha um estado de trajetória para cada atleta rastreado. Para cada quadro subsequente, preveja a posição de cada trajetória existente usando o modelo de movimento do filtro de Kalman.
  2. Calcule a similaridade de movimento entre cada trajetória prevista e a detecção candidata usando a distância de Mahalanobis definida na Equação 5.
    Fórmula matemática para equilíbrio estático, equação: S_mot(t_i^k,d_j) com matriz de covariância.  (5)
    Aqui, equilíbrio estático, ΣFx=0, ΣFy=0, diagrama de equilíbrio de forças, conceito de física, técnica de resolução de problemas denota a trajetória I-ésima no quadro k, Diagrama de equilíbrio estático, ΣFx=0, exibindo vetores de força e equilíbrio, gráfico educacional de física. denota o estado da trajetória previsto pelo Kalman, dj denota a detecção candidata, Equação de equilíbrio estático Σi^{-1}; diagrama com símbolos matemáticos para uso educacional. denota a matriz inversa de covariância do estado previsto da trajetória, e Smot denota a distância de movimento entre a trajetória prevista e a detecção.
    NOTA: O fluxo de trabalho principal de associação é implementado em jerseytrack/formal_tracker.py e executado por meio de scripts/formal_track.py, ambos disponíveis no repositório de código-fonte JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Nenhum arquivo de configuração separado é necessário. Todos os parâmetros em tempo de execução, incluindo os limiares de confiança, idade máxima da trajetória, coeficientes de peso do movimento e peso da distância central, são fornecidos por meio de argumentos da linha de comando. O comando completo de execução e as configurações de parâmetros são fornecidos na Etapa 6.2. A implementação utiliza o algoritmo de atribuição de soma linear do SciPy para correspondência húngara e o NumPy para associação baseada em custo.
  3. Execute o fluxo de trabalho de rastreamento usando o arquivo de saída do detector, o arquivo de características semânticas e o arquivo de partição de confiança como entradas.
    NOTA: Neste estudo, o rastreador principal foi implementado em jerseytrack\formal_tracker.py, e o fluxo de trabalho de rastreamento foi executado usando scripts\formal_track.py.
  4. Associe detecções de alta confiança com trajetórias existentes usando consistência de movimento. Atualize as trajetórias correspondidas e inicialize novas trajetórias apenas quando detecções de alta confiança não correspondidas satisfaçam os critérios de inicialização da trajetória.
  5. Inspecione as saídas de extração semântica da camisa ilustradas na Figura 4, e construa o vetor de características semânticas da camisa para cada detecção combinando o descritor de cor da equipe e a característica do número do jogador de acordo com a Equação 6.
    fsem = [fcol;fid] (6)
    Aqui, fsem denota o vetor de características semânticas fundido, fcol denota o descritor de cor da equipe, e fid denota a característica do número do jogador gerada pelo ramo OCR.
  6. Associe detecções de confiança média combinando similaridade de movimento com similaridade semântica da camisa. Calcule a pontuação combinada de correspondência de acordo com a Equação 7.
    Equação para fusão de pontuação de movimento e semântica, Sf=λ(Sm/max(Sm))+(1-λ)(1-Sem). (7)
    Aqui, Ssem denota a similaridade cosseno entre os vetores de características semânticas da trajetória e da detecção candidata, Smot denota a distância de movimento definida na Equação 5, e λ denota o coeficiente de fusão adaptativo que equilibra os termos de similaridade de movimento e semântica.
  7. Calcule o coeficiente de fusão adaptativo de acordo com a Equação 8.
    Equilíbrio estático; λ=λ₀exp(-σsd/σmax); fórmula relacionada à distribuição de tensão em materiais. (8)
    Aqui, λ0 denota o coeficiente inicial de peso do movimento, σsd denota o desvio padrão das pontuações de confiança de detecção no quadro atual, e σmax denota o desvio padrão máximo da pontuação de confiança usado para normalização.
  8. Use apenas detecções de baixa confiança para recuperação de trajetória. Associe detecções de baixa confiança com trajetórias interrompidas apenas quando a informação semântica estiver disponível e os critérios de recuperação forem satisfeitos. Aplique verificação de múltiplos quadros antes de restaurar a identidade de uma trajetória, e descarte detecções que falharem na verificação.
    NOTA: Quando a característica do número do jogador não estiver disponível, realize a associação usando a informação semântica disponível e a consistência de movimento, em vez de forçar uma correspondência de número de jogador. O resultado esperado desta seção é um registro de rastreamento quadro a quadro contendo identidades de trajetória, caixas delimitadoras, rótulos de nível de confiança, custos de movimento, informações semânticas e decisões finais de associação. No pacote de evidências da revisão, os resultados de rastreamento foram armazenados em: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

Diagrama de análise de partida de voleibol com dados de rastreamento de jogadores para insights de desempenho.
Figura 4. Extração de características semânticas da camisa. Detecções representativas de atletas são anotadas com os descritores de cor da equipe e as informações de número do jogador geradas pelo módulo de extração semântica da camisa. As características semânticas extraídas são posteriormente incorporadas à associação de dados orientada por confiança. Clique aqui para visualizar uma versão maior desta figura.

6. Executar a inferência de rastreamento e exportar os resultados

  1. Execute a inferência de rastreamento para cada sequência de vídeo usando os arquivos preparados de saída do detector, arquivos de características semânticas e arquivos de partição de confiança. Processe os quadros de vídeo em ordem cronológica para que os estados das trajetórias, o histórico semântico e as decisões de recuperação de trajetórias sejam atualizados de forma consistente ao longo da sequência. Utilize a mesma configuração de inferência para todas as sequências avaliadas, salvo quando uma configuração específica do conjunto de dados for explicitamente relatada.
    NOTA: A inferência de rastreamento foi executada usando o script/formal_track.py, disponível no repositório de código-fonte do JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Nenhum arquivo de configuração separado é necessário. Execute a inferência de rastreamento usando o seguinte comando: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. Todos os parâmetros não especificados mantiveram os valores padrão registrados no código-fonte arquivado.
  2. Após a inferência, aplique a sequência principal de pós-processamento usando os seguintes comandos: python scripts/merge_tracklets.py e python scripts/sweep_track_filter.py --min-len 95.
  3. Exporte os resultados de rastreamento no formato exigido pela ferramenta de avaliação. Inclua o índice do quadro, a identidade da trajetória, as coordenadas da caixa delimitadora e todos os campos exigidos pelo formato de avaliação do benchmark. Salve um arquivo de resultado de rastreamento para cada sequência, utilizando uma convenção consistente de nomenclatura de arquivos, de modo que cada arquivo de resultado possa ser associado ao seu respectivo arquivo de anotação de referência.
  4. Aplique apenas as operações de pós-processamento utilizadas neste estudo. Realize a fusão de segmentos de trajetórias e a filtragem de trajetórias usando os scripts de pós-processamento descritos no pacote de revisão.
    NOTA: Neste estudo, o fluxo de trabalho de pós-processamento utilizou os seguintes scripts:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. Inspeccione os resultados de rastreamento exportados antes da avaliação quantitativa. Confirme que as identidades das trajetórias permanecem numéricas e consistentes dentro de cada sequência, que nenhum índice de quadro está ausente e que todas as caixas delimitadoras permanecem dentro dos limites da imagem.
    NOTA: O resultado esperado desta seção é um conjunto completo de arquivos de resultados de rastreamento em nível de sequência, prontos para avaliação quantitativa.

7. Avaliar o desempenho do rastreamento

  1. Avalie os arquivos de resultados de rastreamento exportados utilizando o kit de avaliação listado na Tabela de Materiais. Associe cada arquivo de resultados de rastreamento ao arquivo de anotação de referência correspondente e à divisão do conjunto de dados. Utilize a mesma configuração de avaliação para todos os métodos comparados, garantindo que as diferenças de desempenho surjam dos resultados de rastreamento e não das configurações de avaliação.
  2. Execute a avaliação utilizando o seguinte comando
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
    _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    OBSERVAÇÃO: A avaliação foi realizada utilizando a implementação padrão das métricas do TrackEval (Versão 1.3.0) arquivada dentro do pacote de reprodutibilidade JerseyTrack. Nenhuma modificação foi feita nas implementações das métricas Higher Order Tracking Accuracy (HOTA), CLEAR ou Identity. O repositório inclui o wrapper de execução no estilo MOTChallenge localizado em evaluation/trackeval/scripts/run_mot_challenge.py, que configura os caminhos do conjunto de dados e dos resultados e invoca as métricas padrão de avaliação do TrackEval.
  3. Registre as métricas de avaliação relatadas no manuscrito, incluindo Acurácia de Rastreamento de Múltiplos Objetos (MOTA), Pontuação F1 de Identidade (IDF1), Acurácia de Rastreamento de Ordem Superior (HOTA), Acurácia de Detecção (DetA), Acurácia de Associação (AssA), falsos positivos (FPs), falsos negativos (FNs) e eventos de troca de identidade. Exporte o resumo da avaliação como uma tabela e mantenha os arquivos de avaliação por sequência para verificação.
  4. Ao comparar o JerseyTrack com métodos de referência, utilize a mesma divisão do conjunto de dados, saídas do detector e configuração de avaliação para todos os métodos. Registre o conjunto de dados, a fonte das saídas do detector, a configuração do kit de avaliação e os valores das métricas para cada comparação.
  5. Examine os logs de avaliação para verificar se todas as sequências foram avaliadas com sucesso e se não faltam arquivos de resultados de rastreamento.
    OBSERVAÇÃO: Neste estudo, o arquivo principal de resumo do TrackEval foi armazenado em: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. O resultado esperado nesta seção é uma tabela completa de resumo da avaliação, juntamente com os arquivos de métricas por sequência que sustentam os Resultados relatados e a verificação subsequente.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

Esta seção apresenta os resultados quantitativos e qualitativos obtidos a partir dos experimentos avaliados de rastreamento múltiplo em esportes. Os resultados concentram-se na precisão do rastreamento, preservação de identidade, qualidade da associação e robustez sob as configurações do conjunto de dados testado. As afirmações sobre desempenho restringem-se aos métodos avaliados, conjuntos de dados, saídas do detector e configuração da ferramenta de avaliação descritos na seção Protocolo e Configuração de Implementação....

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

Este estudo avaliou um fluxo de trabalho de rastreamento múltiplo de objetos em esportes guiado por confiança, que combina a partição baseada na confiança da detecção com pistas semânticas das camisetas. A associação guiada por confiança e a fusão de características semânticas foram investigadas como estratégias complementares para melhorar a associação de dados no rastreamento múltiplo de objetos12,20,23,

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

Os autores declaram que não têm conflitos financeiros de interesse.

Agradecimentos

Os autores não têm agradecimentos a declarar.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Tempo de execução CUDANVIDIAVersão 12.8Tempo de execução de computação GPU utilizado para o treinamento do detector, extração de características semânticas e inferência de rastreamento.
EasyOCRJaided AIVersão 1.7.2Kit de ferramentas de reconhecimento óptico de caracteres utilizado para o reconhecimento de números dos jogadores.
Código-fonte do JerseyTrackAutoresN/AImplementação personalizada contendo os scripts de preparação de dados, extração de características semânticas, particionamento de confiança, rastreamento, pós-processamento e avaliação. Disponível em: https://doi.org/10.5281/zenodo.21274352
Modelo OCR CRNN leveAutoresN/ARede neural convolucional recorrente (CRNN) personalizada utilizada para o reconhecimento de números dos jogadores.
Conjunto de dados MOT17MOTChallengeN/AConjunto de dados público de referência utilizado para avaliação entre conjuntos de dados. Disponível em: https://motchallenge.net/data/MOT17/
Conjunto de dados MOT20MOTChallengeN/AConjunto de dados público de referência utilizado para avaliação entre conjuntos de dados. Disponível em: https://motchallenge.net/data/MOT20/
motmetricsDesenvolvedores do motmetricsVersão 1.4.0Biblioteca utilizada para o cálculo diagnóstico de métricas de rastreamento de múltiplos objetos.
GPU NVIDIANVIDIAGeForce RTX 5090 D V2Unidade de processamento gráfico utilizada para o treinamento do detector e inferência de rastreamento.
Driver da GPU NVIDIANVIDIAVersão 610.62Driver da GPU utilizado no ambiente experimental.
NumPyDesenvolvedores do NumPyVersão 2.4.4Biblioteca de computação numérica utilizada para processamento de características e manipulação de dados.
OpenCVOpenCVVersão 4.10.0Biblioteca de visão computacional utilizada para carregamento, recorte, pré-processamento e visualização de imagens.
PythonPython Software FoundationVersão 3.12.2Linguagem de programação utilizada em todo o fluxo de trabalho.
PyTorchPyTorch FoundationVersão 2.11.0+cu128Framework de aprendizado profundo utilizado para a implementação do detector e do modelo semântico.
scikit-learnDesenvolvedores do scikit-learnVersão 1.9.0Biblioteca de aprendizado de máquina utilizada para agrupamento K-means durante a extração de cor da camisa e particionamento de confiança.
Conjunto de dados SoccerNet TrackingSoccerNetN/AConjunto de dados público de rastreamento de futebol utilizado para avaliação entre conjuntos de dados. Disponível em: https://www.soccer-net.org/tasks/tracking
Conjunto de dados SportsMOTSportsMOT BenchmarkN/AConjunto de dados principal de referência utilizado para preparação do detector e avaliação de rastreamento. Disponível em: https://deeperaction.github.io/datasets/sportsmot.html
Conjunto de dados TeamTrackTeamTrack BenchmarkN/AConjunto de dados público de rastreamento esportivo utilizado para avaliação entre conjuntos de dados. Disponível em: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch FoundationVersão 0.26.0+cu128Biblioteca de visão computacional utilizada com o PyTorch para transformação de imagens e suporte a modelos.
TrackEvalDesenvolvedores do TrackEvalVersão 1.3.0Kit de ferramentas de avaliação utilizado para calcular a Acurácia de Rastreamento de Múltiplos Objetos (MOTA), Pontuação F1 de Identidade (IDF1), Acurácia de Rastreamento de Ordem Superior (HOTA), Acurácia de Detecção (DetA), Acurácia de Associação (AssA), falsos positivos (FP), falsos negativos (FN) e trocas de identidade (IDs).
UltralyticsUltralyticsVersão 8.4.90Framework de detecção de objetos utilizado para treinar o detector e gerar detecções de atletas.

Referências

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Explorar mais artigos

Rastreamento Guiado por ConfiançaTrajetória do JogadorSimilaridade de MovimentoCor da CamisetaReconhecimento Óptico de CaracteresConsistência de IdentidadeConjunto de Dados SportsMOT
Fale conosco
Recomendar à biblioteca

Privacidade

Termos de Uso

Políticas

Copyright © 2026 MyJoVE Corporation. Todos os direitos reservados.