Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.

Методическая статья

Метод многообъектного трекинга в спортивных видео с использованием семантического слияния номеров на джерси и управления на основе уверенности

59 просмотров

⸱

DOI:

10.3791/71557

⸱

14 августа 2026 г.

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

В этой статье

Краткое содержание

В данном протоколе описывается рабочий процесс многообъектного трекинга в спортивных видеороликах с использованием оценки уверенности, который интегрирует информацию о цвете формы и номерах игроков для улучшения ассоциации траекторий и обеспечения согласованности идентификации в условиях колебаний уверенности, окклюзии и визуального сходства внешнего вида спортсменов.

Аннотация

Многообъектное отслеживание (MOT) в спортивных видеороликах предоставляет информацию о траекториях для тактического анализа, интерпретации поведения игроков и автоматизированного статистического анализа. Однако спортивные сценарии часто характеризуются резкими сменами направления, внезапными остановками, частыми перекрытиями объектов и визуальным сходством игроков одной команды, что приводит к колебаниям достоверности детектирования и путанице идентификаторов при межфреймовой ассоциации. Для решения этих проблем в данной работе представлен JerseyTrack — метод спортивного MOT с адаптивным управлением на основе достоверности и семантического слияния данных о форме игроков. Рабочий процесс адаптивно разделяет рамки детектирования на интервалы высокой, средней и низкой достоверности в соответствии с распределением достоверности в каждом кадре. Детектирования с высокой достоверностью ассоциируются преимущественно с использованием сходства движения, в то время как для детектирований со средней и низкой достоверностью дополнительно используются признаки цвета формы и номера игрока, извлеченные с помощью кластеризации по цвету и облегченной модели оптического распознавания символов (OCR). Эти семантические признаки объединяются с информацией о движении в процессе дополнительного сопоставления для повышения непрерывности траекторий и согласованности идентификаторов. Метод был протестирован на наборе данных SportsMOT. JerseyTrack достиг показателей 88,9% по точности многообъектного отслеживания (MOTA), 74,3% по F1-мере идентификации (IDF1) и 69,9% по точности отслеживания высшего порядка (HOTA), что демонстрирует улучшение качества трекинга в оцениваемых условиях спортивного отслеживания. Данный протокол представляет собой воспроизводимый алгоритм интеграции ассоциации с управлением по достоверности и семантической информации о форме для улучшения многообъектного отслеживания в спортивных видеороликах.

Введение

Многообъектное отслеживание (MOT) обеспечивает непрерывную локализацию объектов и сохранение их идентичности в видеопоследовательностях, что позволяет извлекать траектории перемещения спортсменов, проводить тактический и автоматизированный статистический анализ в приложениях для анализа спортивного видео1,2,3. Достоверная визуальная информация также связана с принятием решений в конкретных видах спорта и оценкой эффективности в спортивной науке, что дополнительно подчеркивает ценность стабильных данных о движении, полученных из видео, для последующего спортивного анализа4. В спортивных сценариях надежность тактических данных зависит от непрерывности траекторий отслеживания и согласованности идентификаторов целей.

По сравнению с общими сценариями MOT, спортивные видео содержат резкие изменения направления, внезапные остановки, прыжки, плотные взаимодействия и частые перекрытия. Эти факторы вызывают значительные колебания уверенности в определении ограничивающих рамок (detection-box confidence) и увеличивают частоту обнаружений с низкой степенью уверенности, что может привести к разрыву ассоциации траекторий5,6. Одинаковая командная форма дополнительно снижает дискриминационную способность общих признаков внешнего вида и увеличивает вероятность путаницы с идентификаторами визуально похожих товарищей по команде7,8. Когда перекрытие и сходство внешнего вида происходят в одной последовательности, уверенность в обнаружении снижается, а информация о внешнем виде объекта становится неполной, что затрудняет ассоциацию траекторий и поддержание идентификатора9,10. В MOT повторная идентификация (Re-ID) представляет собой процесс сопоставления одного и того же идентификатора объекта в разных кадрах, периоды перекрытия или случаи повторного появления с использованием визуальных доказательств, связанных с личностью. В видеозаписях командных видов спорта общие признаки Re-ID могут быть ослаблены, поскольку спортсмены одной команды часто имеют схожую форму и телосложение. Обзор технической литературы показывает, что фрагментация траекторий и путаница с идентификаторами в спортивном MOT обычно решаются с помощью двух взаимодополняющих подходов: использования уверенности в обнаружении и усиления признаков идентификации. JerseyTrack расположен на пересечении этих подходов, регулируя использование семантических признаков формы в зависимости от качества обнаружения, а не применяя информацию о цвете и номере игрока единообразно ко всем обнаружениям.

В данном исследовании представлен JerseyTrack — метод многообъектного трекинга (MOT) в спорте с использованием guidance-механизма на основе доверительных интервалов и семантического слияния данных о форме. Метод разработан для видеозаписей командных видов спорта, где атлеты одеты в заметную форму, а результаты детектирования предоставляют ограничивающие рамки с показателями уверенности (confidence scores). JerseyTrack объединяет четыре основных компонента: детектирование атлетов, разделение по уровню уверенности, извлечение семантических признаков формы и каскадную межквадровую ассоциацию. Степень уверенности детектирования используется для адаптивного разделения обнаруженных объектов на группы с высокой, средней и низкой уверенностью, которые обрабатываются с помощью различных стратегий ассоциации. Объекты с высокой уверенностью ассоциируются преимущественно на основе информации о движении, тогда как для объектов со средней и низкой уверенностью дополнительно используются данные о цвете формы и номере игрока для более стабильного сохранения идентификатора при недостаточных визуальных данных. Данный метод предназначен для задач анализа спортивного видео, требующих стабильных траекторий атлетов, таких как тактический анализ и интерпретация поведения игроков.

Предложенный подход также имеет эксплуатационные ограничения. На семантическое извлечение данных с формы могут влиять сильные окклюзии, размытие при движении, низкое разрешение изображения, аномальные позы игроков или невидимые номера на форме. В таких случаях семантические признаки формы могут оказаться неполными, и процесс ассоциации будет в большей степени опираться на согласованность движения и многокадровую верификацию. Таким образом, заявления о производительности в данном исследовании ограничены оценочными наборами данных и экспериментальными условиями. Эксперименты на наборе данных SportsMOT показывают, что JerseyTrack улучшает оцениваемые метрики трекинга и сокращает количество событий переключения идентификаторов (identity-switching) в протестированных условиях спортивного отслеживания. Основная сложность MOT в спортивных видео заключается в поддержании непрерывности траектории и согласованности идентификаторов при быстром движении, окклюзиях и сходстве внешнего вида. Существующие исследования, имеющие отношение к JerseyTrack, можно в целом разделить на два направления: использование достоверности детектирования для ассоциации траекторий и усиление идентификационных признаков с помощью специфических для спорта семантических характеристик.

Доверительная оценка детектирования широко используется для оценки надежности ограничивающих рамок (bounding boxes) и управления ассоциацией траекторий в задачах многообъектного слежения (MOT). Ранние методы трекинга обычно рассматривали уверенность как бинарный критерий фильтрации, при котором детекции ниже фиксированного порога удалялись для сокращения числа ложноположительных срабатываний11,12. Такая стратегия уменьшает количество зашумленных детектий, но может привести к отбраковке истинных целей при окклюзии, быстром движении или низком качестве изображения, что вызывает фрагментацию траекторий13,14,15. Аналогичные стратегии фильтрации также показали, что фиксированные пороги уверенности чувствительны к изменениям сцены и качеству детектирования16,17. Для более эффективного использования детекций с низкой уверенностью в ByteTrack была представлена стратегия ассоциации, которая сохраняет рамки с низкой уверенностью в качестве потенциальных целей для вторичного сопоставления и связывает их с существующими траекториями на основе сходства движения и истории траекторий18. McByte далее расширяет возможности ассоциации в спортивном MOT, используя временно распространяемые маски сегментации в качестве признака ассоциации, что повышает робастность в условиях быстрого движения, окклюзий и смещения камеры без необходимости дополнительного обучения для каждого видео19. В смежных исследованиях также корректировалось использование детекций с низкой уверенностью для сохранения слабых, но потенциально валидных целей в процессе ассоциации20,21,22. Стратегии ассоциации с адаптивной уверенностью в дальнейшем уточнили критерии сопоставления в соответствии с согласованностью движения и надежностью детектирования23,24,25. Методы уточнения траекторий, основанные на регрессии ограничивающих рамок и оптимизации плавности траекторий, также применялись для снижения фрагментации траекторий26,27,28. Дополнительные стратегии уточнения обеспечивают вспомогательную поддержку для поддержания непрерывности траекторий в условиях сложного движения29. Временно когерентный поток объектов дополнительно моделирует временную согласованность на уровне объектов между кадрами, предлагая еще один ориентированный на ассоциацию подход для сокращения разрывов траекторий в сложных сценариях MOT30. Методы слияния трекеров также обучаются на выходных данных нескольких трекеров и используют стратегии выбора или слияния на основе обучаемых моделей для повышения робастности трекинга в различных бенчмарках MOT31. В совокупности эти исследования показывают, что ассоциация с учетом уверенности помогает восстанавливать прерванные траектории; однако признаки уверенности и движения предоставляют ограниченную информацию об идентичности, когда игроки одной команды имеют схожий внешний вид. Хотя эти методы эффективно уменьшают фрагментацию траекторий в общих сценариях, они сталкиваются с внутренними ограничениями в спортивных условиях, поскольку игроки одной команды часто имеют очень похожее визуальное представление, и опора исключительно на информацию об уверенности и движении не может обеспечить достаточную основу для дифференциации личностей32,33,34. Даже при эффективном восстановлении рамок с низкой уверенностью сходство признаков все равно может привести к перепутыванию идентификаторов (identity switching), что затрудняет соблюдение строгих требований к согласованности идентификации, необходимых для спортивного анализа.

Для улучшения дискриминации личностей при отслеживании атлетов также использовались специфические для спорта идентификационные признаки. Семантическая информация о форме, такая как цвет команды и номер игрока, дает идентификационные подсказки, которые более непосредственно связаны со спортивными сценариями, чем общие эмбеддинги внешнего вида35,36,37. Цвет формы использовался для поддержки дискриминации на уровне команд и снижения путаницы между командами, в то время как распознавание номера игрока обеспечивает более точный идентификационный признак, когда область с номером видна и читаема38,39. В существующих исследованиях по спортивному трекингу применялись специфические для данной области визуальные признаки и распознавание цвета формы для улучшения ассоциации игроков в условиях скопления людей на спортивных площадках40,41. Соответствующие работы по распознаванию номеров на форме и синтетическим данным о номерах дополнительно поддерживают моделирование личности в условиях низкого разрешения или частичного перекрытия42,43. Эти исследования показывают, что семантика формы может усилить представление личности в спортивном MOT. Однако большинство методов трекинга с семантическим усилением недостаточно моделируют связь между достоверностью детектирования и качеством семантических признаков. Детектирования с высокой достоверностью могут уже содержать надежную пространственную информацию и информацию о внешнем виде, что делает повторное извлечение семантики менее эффективным. Детектирования с низкой достоверностью часто страдают от перекрытий, размытия, обрезания или низкого разрешения, что снижает надежность признаков цвета и номера игрока. Это ограничение обосновывает разработку ассоциации под руководством достоверности, при которой семантика формы вводится в зависимости от качества детектирования, а не применяется единообразно ко всем объектам. Рассмотренные исследования показывают, что ассоциация с учетом достоверности и семантическое моделирование формы решают разные аспекты спортивного MOT. Стратегии на основе достоверности в основном определяют, должно ли детектирование участвовать в ассоциации и как оно должно быть сопоставлено с существующими траекториями, в то время как стратегии семантики формы прежде всего улучшают представление личности с помощью специфических для спорта признаков. Однако эти два механизма часто проектируются как отдельные компоненты. В результате семантические признаки не всегда корректируются в соответствии с качеством детектирования, а уровни достоверности не регулируют напрямую использование информации о цвете и номере игрока во время ассоциации. Такое разделение ограничивает совместную обработку фрагментации траекторий и путаницы личностей в видеозаписях командных видов спорта. Оставшийся исследовательский пробел заключается в связывании оценки качества достоверности детектирования с семантической ассоциацией формы в рамках одного рабочего процесса трекинга.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

Данное исследование включало вторичный анализ общедоступных эталонных видеодатасетов, а именно SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 и MOT20. Участники не привлекались, вмешательства не проводились, и новые данные о людях не собирались. Одобрение комитета по этике для данного исследования не требовалось в соответствии с применимыми институциональными требованиями Университета Бангкок Тонбури.

В следующем протоколе описывается рабочий процесс, используемый для воспроизведения JerseyTrack, начиная от подготовки данных и заканчивая оценкой трекинга. Рабочий процесс включает подготовку набора данных, подготовку детектора, семантическое извлечение особенностей формы, разделение по уровням достоверности, ассоциацию с учетом достоверности, вывод трекинга и оценку производительности, как обобщено на Рисунке 1. Необходимое программное обеспечение, наборы данных и аппаратные ресурсы перечислены в Таблице материалов.

Схема извлечения признаков формы с использованием признаков внешнего вида; прогнозирование состояния; процесс ассоциации данных.
Рисунок 1. Общий рабочий процесс метода JerseyTrack. Рабочий процесс состоит из извлечения семантических признаков формы, первоначального сопоставления объектов, дополнительного сопоставления под руководством оценки достоверности и слияния признаков. Признаки цвета команды и номера игрока извлекаются из обнаруженных областей спортсменов и включаются в процесс ассоциации для улучшения сопоставления траекторий в условиях неопределенности детектирования. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

1. Подготовка наборов данных и структуры каталогов

  1. Загрузите общедоступные эталонные наборы данных, перечисленные в Таблица материаловИспользуйте SportsMOT в качестве основного набора данных для подготовки детектора и оценки трекинга. Сохраните TeamTrack, SoccerNet Tracking, MOT17 и MOT20 для кросс-датасетной оценки.
  2. Храните все наборы данных в едином каталоге проекта. Убедитесь, что детектор, модуль семантического извлечения, модуль трекинга и инструментарий для оценки используют идентичные идентификаторы последовательностей.
  3. Преобразуйте официальные аннотации SportsMOT в формат для обучения детектора, используя скрипт подготовки данных, примененный в данном исследовании. Выполните следующую команду:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. Скрипт для подготовки данных (scripts/prepare_data.py) доступен в репозитории исходного кода JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Необходимые программные зависимости, включая Python 3.12, PyTorch 2.11.0 и OpenCV 4.10 или более поздней версии, указаны в файле environment.yml. Настройте программную среду с помощью следующей команды: conda env create -f environment.yml. Запустите скрипт подготовки данных с помощью следующей команды: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. Убедитесь, что в результате конвертации созданы файл конфигурации для обучения детектора data\processed\SportsMOT_yolo\data.yaml и манифест конвертации data\processed\SportsMOT_yolo\conversion_manifest.csv.
    ПРИМЕЧАНИЕ: В данном исследовании преобразованный набор данных для обучения и валидации SportsMOT содержал 90 последовательностей, 55 544 кадра и 608 152 аннотированных объекта.
  6. Проверьте репрезентативные последовательности, чтобы убедиться, что порядок кадров, координаты ограничивающих рамок и метки идентификации соответствуют исходным аннотациям эталонного набора данных.
  7. Сохраняйте сконвертированные файлы аннотаций без изменений на всех этапах подготовки детектора, трекинга и оценки, чтобы все методы использовали одно и то же разделение набора данных и протокол оценки.
    ПРИМЕЧАНИЕ: Ожидаемым результатом данного раздела является стандартизированный каталог для обучения детектора SportsMOT, содержащий конвертированные аннотации, манифест конвертации и файлы разделения датасета, необходимые для подготовки детектора и оценки трекинга.

2. Подготовка выходов детектора

  1. Выполните тонкую настройку детектора объектов, используя подготовленную обучающую выборку SportsMOT. Оптимизируйте детектор, используя функцию потерь классификации и функцию потерь регрессии ограничивающих рамок, определенные в Уравнении 1. Используйте разрешение входных данных детектора, размер пакета, скорость обучения, количество эпох обучения и другие параметры обучения, указанные в настройках реализации и в Таблице материалов
    Ldet = Lcls + Lbox   (1)
    Здесь Ldet  обозначает общие потери детектора, Lcls обозначает потери классификации, а Lbox  обозначает потери регрессии ограничивающих рамок.
    ПРИМЕЧАНИЕ: Контрольная точка детектора, использованная в основных экспериментах (внутренний идентификатор эксперимента e3), была обучена с использованием фреймворка Ultralytics YOLO с конфигурацией набора данных SportsMOT в формате YOLO (data/processed/SportsMOT_yolo/data.yaml). Запустите обучение детектора с помощью следующей команды: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. После обучения используйте полученную наилучшую контрольную точку для генерации выходных данных детектора для валидационных последовательностей с помощью следующей команды: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. Сохраните обученную контрольную точку детектора, соответствующий файл метаданных и журнал обучения после завершения процесса.
    ПРИМЕЧАНИЕ: В данном исследовании контрольная точка детектора, использованная для формальных экспериментов, была сохранена как:
    outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. Соответствующий файл метаданных был сохранен как: outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json. Директория с выходными данными детектора, использованная для основных валидационных экспериментов SportsMOT, была: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections.
  3. Запустите обученный детектор на каждой валидационной последовательности для генерации ограничивающих рамок спортсменов и показателей достоверности. Экспортируйте по одному файлу с данными обнаружения для каждой последовательности, содержащему индекс кадра, координаты ограничивающей рамки, достоверность обнаружения и метку класса.
    ПРИМЕЧАНИЕ: В валидационном прогоне SportsMOT, использованном для основных экспериментов, порог достоверности 0.05 обеспечил 343 990 обнаружений спортсменов.
  4. Проверьте директорию с выходными данными детектора перед выводом трекинга. Убедитесь, что для каждой последовательности есть соответствующий файл обнаружения, что индексы кадров совпадают с подготовленной последовательностью изображений и что каждая запись об обнаружении содержит показатель достоверности.
    ПРИМЕЧАНИЕ: Ожидаемым результатом этого раздела является заполненная директория с выходными данными детектора, которая служит входными данными для семантического извлечения номеров на джерси, разделения по уровням достоверности и ассоциации при трекинге.

3. Извлечение семантических признаков джерси

  1. Используйте выходные файлы детектора для обрезки областей с изображениями спортсменов из каждого кадра видео. Сохраняйте каждое обрезанное изображение спортсмена с указанием идентификатора последовательности, индекса кадра и индекса обнаружения. Исключайте некорректные фрагменты с отсутствующим содержимым изображения или ограничивающими рамками, выходящими за границы изображения. Сохраняйте связь между именем файла каждого фрагмента и соответствующей записью об обнаружении, чтобы извлеченные семантические признаки можно было сопоставить с соответствующим объектом обнаружения при ассоциации при трекинге.
  2. Извлеките признаки цвета формы из обрезанных изображений спортсменов с помощью скрипта семантического извлечения, использованного в данном исследовании.
    ПРИМЕЧАНИЕ: Скрипты для извлечения семантических признаков (scripts/extract_fast_color_semantics.py и scripts/formal_extract_semantics.py) доступны в репозитории исходного кода JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Отдельный файл конфигурации не требуется; все параметры выполнения задаются через аргументы командной строки.
    Создайте дескрипторы цвета формы с помощью следующей команды: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. Создайте семантические признаки номеров игроков с помощью модели OCR с помощью следующей команды: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. Сгенерированные дескрипторы цвета формы и выходные данные о вероятности номеров игроков связываются по идентификатору последовательности и объединяются в файлы семантических признаков, которые используются при ассоциации трекинга.
  3. Преобразуйте каждое обрезанное изображение спортсмена в цветовое пространство HSV (Hue, Saturation, Value — тон, насыщенность, яркость). Извлеките пиксели переднего плана из области джерси и определите доминирующий цвет джерси с помощью кластеризации методом K-средних при K = 3. Перед сравнением признаков нормализуйте полученный цветовой дескриптор с помощью L2-нормализации.
  4. Обучите ветвь распознавания номеров игроков, используя вырезанные изображения атлетов с входным размером 128 × 64 пикселей. Сгенерируйте псевдометки номеров игроков с помощью процедуры слабоконтролируемой разметки, примененной в данном исследовании. Исключите из расчета функции потерь оптического распознавания символов (OCR) те фрагменты, на которых области с номерами игроков не видны, нечитаемы, сильно перекрыты или имеют низкий уровень достоверности.
  5. Оптимизируйте ветвь OCR, используя функцию потерь перекрестной энтропии, определенную в Уравнение 2.
    Формула перекрестной энтропии \(L_{ocr}=-\sum_{i=1}^{N}y_i\log(\hat{y}_i)\), уравнение для классификации. (2)
    Здесь, LОптическое распознавание символов обозначает потерю OCR, yi обозначает метку номера игрока при обучении с учителем, и Уравнение полиномиальной регрессии, ŷᵢ=β₀+β₁xᵢ+…+βₙxᵢⁿ, график статистического анализа обозначает прогнозируемую категорию количества игроков.
  6. Оптимизируйте модуль извлечения семантических признаков, используя адаптивный оптимизатор, скорость обучения, размер пакета, коэффициент распада весов и продолжительность обучения, указанные в Таблица материаловОбъедините функцию потерь детектора и функцию потерь OCR, используя общую целевую функцию обучения, определенную в Уравнение 3.
    Lобщий = LОпределение + γLОптическое распознавание символов (OCR)   (3)
    Здесь, Lобщее количество обозначает общие потери при обучении, Lопределение обозначает потери на детекторе, определенные в Уравнение 1, LОптическое распознавание символов (OCR) обозначает функцию потерь OCR, определенную в Уравнение 2, и обозначает определяемый пользователем весовой коэффициент для функции потерь OCR.
  7. Примените обученную ветвь OCR к каждому обрезанному изображению атлета. Сохраните предсказанную категорию номера игрока или вектор вероятности для каждого фрагмента. Если номер игрока не виден или уровень достоверности OCR ниже порога, определенного в реализации, отметьте признак номера игрока как недоступный, вместо того чтобы принудительно выполнять предсказание.
  8. Объедините дескриптор цвета джерси и выходные данные по номеру игрока в файл семантических признаков, используемый модулем трекинга.
    ПРИМЕЧАНИЕ: В основном прогоне валидации SportsMOT скрипт семантического извлечения обработал 343 990 детекций без пропущенных кадров или некорректных вырезок. В текущем пакете ревизии в сводке семантического извлечения общая точность семантического извлечения по цвету и OCR составила 86,7% в оцениваемых условиях SportsMOT. Ожидаемым результатом данного раздела является файл семантических признаков, в котором каждая запись о валидной детекции связана с дескриптором цвета джерси, выходным значением номера игрока (при его наличии) и флагом, указывающим на доступность семантической информации для ассоциации трекинга.

4. Уровни достоверности обнаружения разделов

  1. Загрузите файл с результатами работы детектора для каждой видеопоследовательности. Соберите показатели уверенности (confidence scores) для всех обнаружений спортсменов в каждом кадре.
  2. Разделите показатели уверенности на уровне кадров на интервалы высокой, средней и низкой уверенности с помощью кластеризации K-means при K = 3, следуя рабочему процессу ассоциации на основе уверенности, показанному на рисунке 2. Определите адаптивные пороги уверенности путем минимизации внутрикластерной дисперсии в соответствии с уравнением 4.
    Формула символа статического равновесия; J_conf=min Σ(sd-μ_i)^2; математическая оптимизация.  (4)
    Здесь sd обозначает показатель уверенности обнаружения d; D1, D2 и D3 обозначают интервалы высокой, средней и низкой уверенности соответственно; μ1, μ2 и μ3 обозначают средние показатели уверенности для трех интервалов; а τ1 и τ2 обозначают адаптивные пороги уверенности, полученные в результате кластеризации K-means.
    ПРИМЕЧАНИЕ: Скрипт для разделения уровней уверенности (scripts/formal_partition_confidence.py) доступен в репозитории исходного кода JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Модуль разделения уверенности использует одномерную процедуру кластеризации K-means на базе NumPy с K = 3. Отдельный конфигурационный файл не требуется; входной каталог, выходной каталог и параметр кластеризации указываются через аргументы командной строки. Выполните процедуру разделения уверенности с помощью следующей команды: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. Необходимые программные зависимости, включая версию NumPy, указаны в файле environment.yml.
  3. Запустите процедуру разделения уверенности, используя каталог с результатами работы детектора в качестве входных данных.
    ПРИМЕЧАНИЕ: В данном исследовании каталогом с результатами работы детектора был: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections. Выходным каталогом разделения уверенности был: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence. Сгенерированные выходные файлы включали CSV-файлы уверенности для каждой последовательности, _confidence_frame_summary.csv и _confidence_runtime.csv.
  4. Присвойте метку уровня уверенности каждому обнаружению. Пометьте обнаружения с высокой уверенностью для ассоциации на основе движения, с средней уверенностью — для семантической ассоциации движения, и с низкой уверенностью — только для восстановления траектории. Сохраните исходный показатель уверенности вместе с присвоенной меткой уровня уверенности.
  5. Изучите распределения показателей уверенности и репрезентативные кадры, как показано на рисунке 3. Убедитесь, что обнаружения с высокой уверенностью соответствуют преимущественно полным и надежным ограничивающим рамкам спортсменов, в то время как обнаружения со средней и низкой уверенностью в основном содержат частичные, перекрытые, размытые или слабые результаты детектирования.
    ПРИМЕЧАНИЕ: Ожидаемым результатом этого раздела является файл разделения уверенности, содержащий индекс обнаружения, исходный показатель уверенности, присвоенный уровень уверенности и адаптивные пороги уверенности на уровне кадров для каждого обнаружения.

Видеоанализ на основе доверительных интервалов; диаграмма с кластеризацией K-средних и расчетом интервалов для корреляции.
Рисунок 2. Стратегия ассоциации на основе доверительных интервалов. В данном рабочем процессе степень уверенности детектирования разделяется на интервалы высокой, средней и низкой степени уверенности с помощью адаптивной кластеризации уверенности. Детектирования с высокой степенью уверенности ассоциируются на основе сходства движения, детектирования со средней степенью уверенности — на основе комбинированного сходства движения и семантики формы, а детектирования с низкой степенью уверенности используются для восстановления траекторий с семантической поддержкой и многокадровой верификацией. На правой панели представлена математическая формулировка, используемая для разделения уровней уверенности и ассоциации. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Столбчатая диаграмма, сравнивающая показатели уверенности при принятии решений в спорте по доверительным интервалам: футбол, баскетбол, волейбол.
Рисунок 3. Распределение показателей уверенности детектирования. На гистограмме показано количество ограничивающих рамок детектирования спортсменов в пяти доверительных интервалах для последовательностей футбола, баскетбола и волейбола в наборе данных SportsMOT. Распределение иллюстрирует различия в уверенности детектора по оцениваемым категориям спорта. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

5. Запуск ассоциативного анализа с учетом уровня достоверности

  1. Загрузите файл с выходными данными детектора, файл семантических признаков и файл разделения по уровню уверенности для каждой видеопоследовательности. Инициализируйте трекер, используя первые валидные детектирования, и поддерживайте одно состояние траектории для каждого отслеживаемого спортсмена. Для каждого последующего кадра предсказывайте положение каждой существующей траектории с помощью модели движения фильтра Калмана.
  2. Вычислите сходство движения между каждой предсказанной траекторией и кандидатом на детектирование, используя расстояние Махаланобиса, определенное в Уравнении 5.
    Математическая формула статического равновесия, уравнение: S_mot(t_i^k,d_j) с ковариационной матрицей.  (5)
    Здесь статическое равновесие, ΣFx=0, ΣFy=0, диаграмма баланса сил, концепция физики, метод решения задач обозначает I-ю траекторию в кадре k, Диаграмма статического равновесия, ΣFx=0, отображающая векторы сил и баланс, учебный физический график. обозначает состояние траектории, предсказанное фильтром Калмана, dj обозначает кандидата на детектирование, Уравнение статического равновесия Σi^{-1}; диаграмма с математическими символами для образовательных целей. обозначает обратную ковариационную матрицу состояния предсказанной траектории, а Smot обозначает расстояние по движению между предсказанной траекторией и детектированием.
    ПРИМЕЧАНИЕ: Основной рабочий процесс ассоциации реализован в jerseytrack/formal_tracker.py и выполняется с помощью scripts/formal_track.py; оба файла доступны в репозитории исходного кода JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Отдельный конфигурационный файл не требуется. Все параметры выполнения, включая пороги уверенности, максимальный возраст трека, коэффициенты веса движения и вес расстояния между центрами, передаются через аргументы командной строки. Полная команда выполнения и настройки параметров приведены в шаге 6.2. В реализации используется алгоритм линейного назначения SciPy для венгерского сопоставления и NumPy для ассоциации на основе стоимости.
  3. Запустите рабочий процесс отслеживания, используя в качестве входных данных файл с выходными данными детектора, файл семантических признаков и файл разделения по уровню уверенности.
    ПРИМЕЧАНИЕ: В данном исследовании основной трекер был реализован в jerseytrack\formal_tracker.py, а рабочий процесс отслеживания выполнялся с помощью scripts\formal_track.py.
  4. Свяжите детектирования с высокой степенью уверенности с существующими траекториями, используя согласованность движения. Обновляйте сопоставленные траектории и инициализируйте новые траектории только в том случае, если несопоставленные детектирования с высокой степенью уверенности удовлетворяют критериям инициализации траектории.
  5. Изучите результаты извлечения семантики формы, проиллюстрированные на Рисунке 4, и сформируйте вектор семантических признаков формы для каждого детектирования, объединив дескриптор цвета команды и признак номера игрока в соответствии с Уравнением 6.
    fsem = [fcol;fid] (6)
    Здесь fsem обозначает объединенный вектор семантических признаков, fcol обозначает дескриптор цвета команды, а fid обозначает признак номера игрока, сгенерированный ветвью OCR.
  6. Выполните ассоциацию детектирований со средней степенью уверенности, объединив сходство движения с семантическим сходством формы. Вычислите комбинированный показатель сопоставления в соответствии с Уравнением 7.
    Уравнение для объединения показателей движения и семантики, Sf=λ(Sm/max(Sm))+(1-λ)(1-Sem). (7)
    Здесь Ssem обозначает косинусное сходство между векторами семантических признаков траектории и кандидата на детектирование, Smot обозначает расстояние по движению, определенное в Уравнении 5, а λ обозначает адаптивный коэффициент слияния, балансирующий члены сходства по движению и семантике.
  7. Вычислите адаптивный коэффициент слияния в соответствии с Уравнением 8.
    Статическое равновесие; λ=λ₀exp(-σsd/σmax); формула, связанная с распределением напряжений в материалах. (8)
    Здесь λ0 обозначает начальный коэффициент веса движения, σsd обозначает стандартное отклонение показателей уверенности детектирования в текущем кадре, а σmax обозначает максимальное стандартное отклонение показателя уверенности, используемое для нормализации.
  8. Используйте детектирования с низкой степенью уверенности только для восстановления траекторий. Сопоставляйте детектирования с низкой степенью уверенности с прерванными траекториями только при наличии семантической информации и соблюдении критериев восстановления. Применяйте многокадровую проверку перед восстановлением идентификатора траектории и отбраковывайте детектирования, не прошедшие проверку.
    ПРИМЕЧАНИЕ: Если признак номера игрока недоступен, выполняйте ассоциацию, используя имеющуюся семантическую информацию и согласованность движения, а не принудительно сопоставляя номер игрока. Ожидаемым результатом этого раздела является покадровая запись отслеживания, содержащая идентификаторы траекторий, ограничивающие рамки, метки уровня уверенности, стоимость движения, семантическую информацию и окончательные решения по ассоциации. В пакете данных для проверки результатов отслеживания были сохранены по адресу: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

Схема анализа волейбольного матча с данными отслеживания игроков для оценки эффективности.
Рисунок 4. Извлечение семантических признаков игровой формы. Репрезентативные результаты детектирования атлетов аннотированы извлеченными дескрипторами цвета команды и информацией о номере игрока, сгенерированными модулем семантического извлечения данных формы. Извлеченные семантические признаки впоследствии включаются в процесс ассоциации данных с учетом степени достоверности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

6. Запуск вывода трекинга и экспорт результатов

  1. Выполните инференс трекинга для каждой видеопоследовательности, используя подготовленные файлы с результатами работы детектора, файлы семантических признаков и файлы разделения по уровню уверенности. Обрабатывайте кадры видео в хронологическом порядке, чтобы состояния траекторий, семантическая история и решения по восстановлению траекторий обновлялись последовательно на протяжении всей последовательности. Используйте одну и ту же конфигурацию инференса для всех оцениваемых последовательностей, если явно не указаны настройки для конкретного набора данных.
    ПРИМЕЧАНИЕ: Инференс трекинга выполнялся с помощью скрипта scripts/formal_track.py, который доступен в репозитории исходного кода JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Отдельный файл конфигурации не требуется. Запустите инференс трекинга с помощью следующей команды: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. Для всех неуказанных параметров были сохранены значения по умолчанию, зафиксированные в архивном исходном коде.
  2. После инференса примените основную последовательность постобработки с помощью следующих команд: python scripts/merge_tracklets.py и python scripts/sweep_track_filter.py --min-len 95.
  3. Экспортируйте результаты трекинга в формате, требуемом инструментарием оценки. Укажите индекс кадра, идентификатор траектории, координаты ограничивающей рамки и все поля, необходимые для формата оценки бенчмарка. Сохраните по одному файлу с результатами трекинга для каждой последовательности, используя единую конвенцию именования файлов, чтобы каждый файл с результатами можно было сопоставить с соответствующим файлом разметки ground-truth.
  4. Применяйте только те операции постобработки, которые использовались в данном исследовании. Выполните слияние треклетов и фильтрацию траекторий с помощью скриптов постобработки, описанных в пакете ревизии.
    ПРИМЕЧАНИЕ: В данном исследовании в рабочем процессе постобработки использовались следующие скрипты:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. Проверьте экспортированные результаты трекинга перед количественной оценкой. Убедитесь, что идентификаторы траекторий остаются числовыми и последовательными внутри каждой последовательности, что индексы кадров не пропущены и что все ограничивающие рамки находятся в пределах границ изображения.
    ПРИМЕЧАНИЕ: Ожидаемым результатом этого раздела является полный набор файлов с результатами трекинга на уровне последовательностей, готовых к количественной оценке.

7. Оценка эффективности трекинга

  1. Оцените экспортированные файлы с результатами трекинга с помощью инструментария для оценки, указанного в Таблица материаловСопоставьте каждый файл с результатами трекинга с соответствующим файлом разметки истинных значений (ground-truth) и разделением набора данных. Для всех сравниваемых методов используйте одинаковую конфигурацию оценки, чтобы гарантировать, что различия в производительности обусловлены результатами трекинга, а не настройками оценки.
  2. Запустите оценку с помощью следующей команды
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
    _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    ПРИМЕЧАНИЕ: Оценка проводилась с использованием стандартной реализации метрик TrackEval (версия 1.3.0), входящей в пакет воспроизводимости JerseyTrack. Реализации метрик Higher Order Tracking Accuracy (HOTA), CLEAR и Identity не подвергались изменениям. Репозиторий содержит обертку для запуска в стиле MOTChallenge, расположенную по адресу evaluation/trackeval/scripts/run_mot_challenge.py, которая настраивает пути к набору данных и результатам, а также вызывает стандартные метрики оценки TrackEval.
  3. Зафиксируйте показатели оценки, представленные в рукописи, включая точность многообъектного отслеживания (MOTA), F1-меру идентификации (IDF1), точность отслеживания высшего порядка (HOTA), точность детектирования (DetA), точность ассоциации (AssA), количество ложноположительных результатов (FP), количество ложноотрицательных результатов (FN) и события смены идентификатора. Экспортируйте сводную таблицу оценки и сохраните файлы оценки по каждой последовательности для верификации.
  4. При сравнении JerseyTrack с базовыми методами используйте одинаковое разделение набора данных, результаты работы детектора и конфигурацию оценки для всех методов. Для каждого сравнения фиксируйте используемый набор данных, источник результатов детектора, конфигурацию инструментария для оценки и значения метрик.
  5. Проверьте журналы оценки, чтобы убедиться, что все последовательности успешно оценены и файлы с результатами отслеживания отсутствуют.
    ПРИМЕЧАНИЕ: В данном исследовании основной сводный файл TrackEval был сохранен по адресу: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    раунд1\minlen95\оценка_трека\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. Ожидаемым результатом данного раздела является заполненная сводная таблица оценки вместе с файлами метрик по каждой последовательности, которые подтверждают представленные результаты и последующую верификацию.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

В данном разделе представлены количественные и качественные результаты, полученные в ходе проведенных экспериментов по многообъектному отслеживанию в спорте. Результаты сосредоточены на точности отслеживания, сохранении идентификаторов, качестве ассоциации и устойчивости в условиях протестированных наборов данных. Заявления о производительности ограничены оцененными методами, наборами данных, выходными данными детекторов и конфигурацией инструментария оценки, описанными в разделах «Протокол» и «Настройка реализации».

...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

В данном исследовании оценивался рабочий процесс MOT в спорте с использованием управления по уровню уверенности, который сочетает разделение по уверенности детектирования с семантическими признаками формы. Управление ассоциацией по уверенности и слияние семантических признаков изучались как взаимодополняющие стратегии для улучшения ассоциации данных при многообъектном отслеживании12,20,23,24

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

Авторы заявляют об отсутствии финансовых конфликтов интересов.

Благодарности

Авторы не имеют заявлений о благодарностях.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
CUDA RuntimeNVIDIAВерсия 12.8Среда выполнения вычислений на GPU, используемая для обучения детектора, извлечения семантических признаков и инференса трекинга.
EasyOCRJaided AIВерсия 1.7.2Инструментарий оптического распознавания символов, используемый для распознавания номеров игроков.
Исходный код JerseyTrackАвторыН/ДСобственная реализация, содержащая скрипты подготовки данных, извлечения семантических признаков, разделения по уровню достоверности, трекинга, постобработки и оценки. Доступно по адресу: https://doi.org/10.5281/zenodo.21274352
Легковесная модель OCR CRNNАвторыН/ДСобственная сверточно-рекуррентная нейронная сеть (CRNN), используемая для распознавания номеров игроков.
Датасет MOT17MOTChallengeН/ДПубличный эталонный датасет, используемый для перекрестной оценки датасетов. Доступен по адресу: https://motchallenge.net/data/MOT17/
Датасет MOT20MOTChallengeН/ДПубличный эталонный датасет, используемый для перекрестной оценки датасетов. Доступен по адресу: https://motchallenge.net/data/MOT20/
motmetricsРазработчики motmetricsВерсия 1.4.0Библиотека, используемая для расчета диагностических метрик многообъектного трекинга.
GPU NVIDIANVIDIAGeForce RTX 5090 D V2Графический процессор, используемый для обучения детектора и инференса трекинга.
Драйвер GPU NVIDIANVIDIAВерсия 610.62Драйвер GPU, используемый в экспериментальной среде.
NumPyРазработчики NumPyВерсия 2.4.4Библиотека для численных вычислений, используемая для обработки признаков и работы с данными.
OpenCVOpenCVВерсия 4.10.0Библиотека компьютерного зрения, используемая для загрузки, обрезки, предобработки и визуализации изображений.
PythonPython Software FoundationВерсия 3.12.2Язык программирования, используемый на протяжении всего рабочего процесса.
PyTorchPyTorch FoundationВерсия 2.11.0+cu128Фреймворк глубокого обучения, используемый для реализации детектора и семантической модели.
scikit-learnРазработчики scikit-learnВерсия 1.9.0Библиотека машинного обучения, используемая для кластеризации методом K-средних при извлечении цвета формы и разделении по уровню достоверности.
Датасет SoccerNet TrackingSoccerNetН/ДПубличный эталон для трекинга в футболе, используемый для перекрестной оценки датасетов. Доступен по адресу: https://www.soccer-net.org/tasks/tracking
Датасет SportsMOTSportsMOT BenchmarkН/ДОсновной эталонный датасет, используемый для подготовки детектора и оценки трекинга. Доступен по адресу: https://deeperaction.github.io/datasets/sportsmot.html
Датасет TeamTrackTeamTrack BenchmarkН/ДПубличный эталон трекинга в спорте, используемый для перекрестной оценки датасетов. Доступен по адресу: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch FoundationВерсия 0.26.0+cu128Библиотека компьютерного зрения, используемая совместно с PyTorch для трансформации изображений и поддержки моделей.
TrackEvalРазработчики TrackEvalВерсия 1.3.0Инструментарий оценки, используемый для расчета точности многообъектного трекинга (MOTA), показателя IDF1 (IDentity F1 Score), точности трекинга высшего порядка (HOTA), точности детектирования (DetA), точности ассоциации (AssA), ложноположительных результатов (FP), ложноотрицательных результатов (FN) и переключений идентификаторов (IDs).
UltralyticsUltralyticsВерсия 8.4.90Фреймворк детектирования объектов, используемый для обучения детектора и генерации результатов детектирования атлетов.

Ссылки

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Теги

отслеживание на основе доверительных интерваловтраектория игрокасходство движенийцвет формыоптическое распознавание символовсогласованность идентификациинабор данных SportsMOT
Связаться с нами
Порекомендовать библиотеке

Конфиденциальность

Условия использования

Политики

© 2026 MyJoVE Corporation. Все права защищены.