Улучшенный метод аннотации фрагментированных изображений для электровелосипедов в сложных сценариях лифтов на основе локальных особенностей

Summary

Представлен метод аннотаций с фрагментами изображений, основанный на локальных признаках, для улучшения обнаружения электровелосипедов в сложных сценариях лифтов с использованием набора данных EBike-DET и основных моделей обнаружения объектов.

Abstract

Рост использования электровелосипедов (EBikes) в ограниченных условиях, таких как жилые лифты, вызвало серьёзные проблемы с безопасностью и создало серьёзные трудности для автоматизированного обнаружения объектов, особенно из-за частых окклюзионных объектов. Традиционные методы обнаружения, которые в основном опираются на целостные аннотации, часто не способны точно распознавать частично закрытые электронные книги в визуально сложных сценах. Для преодоления этих ограничений в данном исследовании предлагается новый метод аннотирования на части, основанный на локальных признаках, предлагающий более интерпретируемую стратегию аннотирования. Разлагая электронную литературу на несколько ключевых областей для независимой маркировки, предлагаемый метод позволяет моделям обнаружения изучать детализированную структурную информацию, тем самым повышая устойчивость в условиях с высокой окклюзией. Кроме того, был разработан выделенный набор данных EBike-DET для поддержки задач обнаружения в реалистичных сценариях лифта. Аннотированный с помощью метода chunked и дополненный смоделированными условиями окружающей среды, набор данных повышает как производительность модели, так и адаптивность. Предлагаемый метод способствует развитию объяснимого искусственного интеллекта (XAI), делая обнаружение объектов более прозрачным и структурно интерпретируемым, что особенно ценно в приложениях, критически важных для безопасности. Проведены обширные эксперименты с использованием трёх основных моделей (YOLOv5, YOLOv10 и SSD). Результаты показывают, что YOLOv5 при обучении на EBike-DET с фрагментированными аннотациями достигает улучшения точности на 3,7%, в воспоминании на 5,3%, в результатах F1 на 4,5% и в mAP на 4,4%. По сравнению с публичными наборами данных, EBike-DET демонстрирует большую стабильность и устойчивость при окклюзии. Это исследование не только повышает точность обнаружения, но и делает шаг к более интерпретируемым и объяснимым решениям ИИ для внедрения в реальных системах мониторинга безопасности.

Introduction

С быстрым распространением электровелосипедов (EBikes) по всему миру, особенно в Китае, где к 2022 году их общее количество превысило 350 миллионов единиц, электронные велосипеды стали доминирующим способом короткого транспорта. Однако их частое использование в ограниченных пространствах, таких как жилые лифты, создаёт серьёзные риски для безопасности, включая аномальные вибрации, повреждение оборудования, неприятные запахи и пожарную опасность. Недавнее исследование оценивает, что пожары, связанные с EBike, происходят с вероятностью примерно 1,44%¹. Эти риски подчёркивают острую необходимость эффективных и точ....

Protocol

Набор данных EBike-DET, использованный в этом исследовании, состоит из изображений, собранных авторами с помощью съёмки на месте в лифтах, парковках и на улицах, а также из общедоступных изображений EBike, полученных с веб-платформ. Весь сбор изображений на месте проводился исключительно в нечастных условиях для технических исследований, связанных с безопасностью, в области обнаружения EBike. Изображения не направлены специально на отдельных лиц, и любые случайно захваченные лица не могут быть идентифицированы из-за расстояния, окклюзии, обзора сзади или соответствующей обработки, удаляющей черты лица и другие личные идентификаторы. И....

Results

Сравнение холистической аннотации и аннотации на частях в публичных наборах данных

Оценка проводилась на публичном наборе данных, включающем 210 EBike изображений, собранных с открытых мест наблюдения и мониторинга движения, с разными условиями освещения, цветами электронных электронных источников и разной степенью окклюзии. Каждое изображение было аннотировано как с помощью целостного метода (одинарный ограничивающий блок), так и предложенног.......

Discussion

Критические шаги

Критическим этапом в этом протоколе является метод аннотирования на части, основанный на локальных признаках, при котором электронные данные сегментируются на колёсные, передние и задние зоны. Это разделение гарантирует, что модели обнаружения могут изучать мелкозернистые представления, что оказалось необходимым в условиях элеваторов с высокой окклюзией. Например, YOLOv5, обученный с аннотациями на частях на наборе данных EBi.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	Группа HDF	2.10.0
matplotlib (SSD)	Сообщество Матплотлиб	3.1.2
matplotlib (YOLOv10)	Сообщество Матплотлиб	3.9.0
matplotlib (YOLOv5)	Сообщество Матплотлиб	3.8.4
matplotlib (YOLOv5+SAHI)	Сообщество Матплотлиб	3.8.4
matplotlib (YOLOv8-Seg)	Сообщество Матплотлиб	3.9.0
numpy (SSD)	Сообщество NumPy	1.17.0
numpy (YOLOv10)	Сообщество NumPy	1.26.3
numpy (YOLOv5)	Сообщество NumPy	1.26.4
numpy (YOLOv5+SAHI)	Сообщество NumPy	1.26.4
numpy (YOLOv8-Seg)	Сообщество NumPy	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	Microsoft	1.15.1
onnxruntime (YOLOv5)	Microsoft	1.15.1
onnxruntime (YOLOv5+SAHI)	Microsoft	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
Панды (YOLOv10)	Сообщество панд	2.2.2
Панды (YOLOv5)	Сообщество панд	2.2.2
Панды (YOLOv5+SAHI)	Сообщество панд	2.2.2
Панды (YOLOv8-Seg)	Сообщество панд	2.2.2
Подушка (SSD)	Разработчики подушек	8.2.0
Подушка (YOLOv10)	Разработчики подушек	10.2.0
Подушка (YOLOv5)	Разработчики подушек	8.5.0
Подушка (YOLOv5+SAHI)	Разработчики подушек	8.5.0
Подушка (YOLOv8-Seg)	Разработчики подушек	10.2.0
psutil (YOLOv10)	Разработчики Psutil	5.9.8
psutil (YOLOv5)	Разработчики Psutil	5.9.8
psutil (YOLOv5+SAHI)	Разработчики Psutil	5.9.8
pycocotools (YOLOv10)	Консорциум COCO	2.0.7
pycocotools (YOLOv5)	Консорциум COCO	2.0.7
pycocotools (YOLOv5+SAHI)	Консорциум COCO	2.0.7
pycocotools (YOLOv8-Seg)	Консорциум COCO	2.0.7
py-cpuinfo (YOLOv10)	Разработчики Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5)	Разработчики Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Разработчики Py-CPUInfo	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
Запросы (SSD)	Запросы на Python	2.27.1
requests (YOLOv10)	Запросы на Python	2.32.3
Запросы (YOLOv5)	Запросы на Python	2.31.0
Запросы (YOLOv5+SAHI)	Запросы на Python	2.31.0
САХИ	Разработчики SAHI	0.3.4+
scipy (SSD)	Сообщество SciPy	1.2.1
Скипи (YOLOv10)	Сообщество SciPy	1.13.0
Скипи (YOLOv5)	Сообщество SciPy	1.13.0
Сципи (YOLOv5+SAHI)	Сообщество SciPy	1.13.0
Скипи (YOLOv8-Seg)	Сообщество SciPy	1.13.0
seaborn (YOLOv10)	Разработчики Seaborn	0.13.2
seaborn (YOLOv5)	Разработчики Seaborn	0.13.2
seaborn (YOLOv5+SAHI)	Разработчики Seaborn	0.13.2
seaborn (YOLOv8-Seg)	Разработчики Seaborn	0.13.2
Красивый (YOLOv5+SAHI)	Стройные разработчики	2.0.4
SSD	Кофе/оригинальные авторы SSD	Python 3.6.13+; PyTorch 1.2.0+; CUDA 10.0; CUDNN 7.4.1
Тензорборд (SSD)	Google	2.10.1
Тензорборд (YOLOv5)	Google	2.16.2
Тензорборд (YOLOv5+SAHI)	Google	2.16.2
torchvision (SSD)	PyTorch	0.4.0
torchvision (YOLOv10)	PyTorch	0.15.2
torchvision (YOLOv5)	PyTorch	0.17.2
torchvision (YOLOv5+SAHI)	PyTorch	0.17.2
torchvision (YOLOv8-Seg)	PyTorch	0.16.1+
tqdm (SSD)	Разработчики TQDM	4.60.0
tqdm (YOLOv10)	Разработчики TQDM	4.66.4
tqdm (YOLOv5)	Разработчики TQDM	4.66.2
tqdm (YOLOv5+SAHI)	Разработчики TQDM	4.66.2
Ультралитики (YOLOv8-Seg)	Ultralytics	8.2.99+
YOLOv10	Команда YOLOv10	Python 3.8.0+; PyTorch 2.0.1+куб.118; CUDA 11,8; CUDNN 8.7
YOLOv5	Ultralytics	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv5 + SAHI	Разработчики Ultralytics + SAHI	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv8-Seg	Ultralytics	Python 3.8.0+; PyTorch 2.0.1+куб.118; CUDA 11,8; CUDNN 8.6.0+