Méthode améliorée d’annotation d’images en blocs pour les vélos électriques dans des scénarios complexes d’ascenseurs basée sur des fonctionnalités locales

Summary

Une méthode d’annotation d’image en blocs basée sur des caractéristiques locales est présentée pour améliorer la détection des vélos électriques dans des scénarios complexes d’ascenseurs en utilisant le jeu de données EBike-DET et les modèles de détection d’objets courants.

Abstract

L’utilisation croissante des vélos électriques (EBikes) dans des environnements confinés tels que les ascenseurs résidentiels a soulevé de sérieuses préoccupations pour la sécurité et introduit d’importants défis pour la détection automatisée des objets, notamment en raison des occlusions fréquentes. Les approches traditionnelles de détection, qui reposent principalement sur des annotations holistiques, ne reconnaissent souvent pas avec précision les EBikes partiellement occultées dans des scènes visuellement complexes. Pour surmonter ces limites, cette étude propose une nouvelle méthode d’annotation en blocs basée sur des caractéristiques locales, offrant une stratégie d’annotation plus interprétable. En décomposant un EBike en plusieurs régions clés pour un marquage indépendant, la méthode proposée permet aux modèles de détection d’acquérir des informations structurelles fines, améliorant ainsi la robustesse dans des conditions à forte occlusion. De plus, un ensemble de données dédié, EBike-DET, a été développé pour soutenir les tâches de détection dans des scénarios réalistes d’ascenseurs. Annoté à l’aide de l’approche en blocs et complété par des conditions environnementales simulées, le jeu de données améliore à la fois la performance et l’adaptabilité du modèle. La méthode proposée favorise le développement d’une intelligence artificielle explicable (XAI) en rendant la détection des objets plus transparente et structurellement interprétable, ce qui est particulièrement précieux dans les applications critiques pour la sécurité. Des expériences approfondies sont menées avec trois modèles principaux (YOLOv5, YOLOv10 et SSD). Les résultats montrent que YOLOv5, lorsqu’il est entraîné sur EBike-DET avec annotations en blocs, obtient des améliorations de 3,7 % en précision, 5,3 % en rappel, 4,5 % en score F1 et 4,4 % en mAP. Comparé aux ensembles de données publics, EBike-DET démontre une plus grande stabilité et robustesse sous occlusion. Cette étude améliore non seulement la précision de la détection, mais constitue également une avancée vers des solutions d’IA plus interprétables et explicables pour le déploiement dans les systèmes de surveillance de sécurité réels.

Introduction

Avec la prolifération rapide des vélos électriques (EBikes) dans le monde, en particulier en Chine, où le total a dépassé 350 millions d’unités en 2022, les EBikes sont devenus un mode de transport dominant sur les courtes distances. Cependant, leur utilisation fréquente dans des espaces confinés tels que les ascenseurs résidentiels entraîne de sérieux risques pour la sécurité, notamment des vibrations anormales, des dommages aux équipements, des odeurs désagréables et des risques d’incendie. Une étude récente estime que les incendies liés à EBike se produisent avec une probabilité d’environ 1,44 ^%. Ces risques soulignent le besoin pressant de méthodes de détection EBike efficaces et précises pour renforcer la sécurité dans les environnements d’ascenseur.

Malgré les progrès en vision par ordinateur et en apprentissage profond, la détection EBike dans les ascenseurs reste un défi. Les ensembles de données accessibles publiquement sont rares et manquent souvent de diversité dans les modèles EBike, les couleurs et les conditions d’occlusion, limitant la généralisation du^{modèle 2}. De plus, les scénarios d’ascenseur impliquent fréquemment des occlusions complexes, où les EBikes sont partiellement cachés par les passagers ou les composants structurels, réduisant encore la précision^{de détection 3,4,5}. Les méthodes d’annotation holistiques existantes, qui traitent EBikes comme une seule boîte englobante, échouent souvent dans de telles conditions, démontrant la nécessité d’améliorer les stratégies d’annotation et de détection. Comme montré dans le tableau 1, l’annotation holistique conduit à une performance nettement réduite, avec une réduction allant jusqu’à 21,5 % de la précision moyenne moyenne à un seuil d’intersection sur Union (IoU) de 0,5 (mAP@0,5) par rapport à l’annotation en blocs.

Avancées dans la détection basée sur l’apprentissage profond

Les méthodes d’apprentissage profond, en particulier les réseaux neuronaux convolutionnels (CNN), ont été largement appliquées à la détection d’objets. La famille You Only Look Once (YOLO) démontre une performance en temps réel solide. Cependant, lors de la détection d’objets occlus ou qui se chevauchent, les modèles YOLO ont tendance à produire des boîtes englobantes redondantes. Par exemple, YOLOv5 améliore l’extraction de caractéristiques multi-échelle grâce à des réseaux de convolution profonde et de pyramide de caractéristiques ^6,7, tandis que YOLOv10 élimine la suppression non maximale et utilise des réseaux d’agrégation de chemins pour améliorer la vitesse et la fusion^{multi-échelle 8,9}. Malgré ces améliorations, des boîtes englobantes redondantes et une robustesse décroissante dans des environnements à forte occlusion restent des problèmes non résolus. Pourtant, les deux souffrent lorsque les structures clés EBike sont partiellement bloquées, car l’annotation holistique fournit des indices locaux limités. Comme montré dans la figure 1A-C, cette limitation conduit à des boîtes englobantes redondantes et à une confiance de détection instable sous une occlusion modérée ou lourde. En revanche, l’annotation en blocs atténue ce problème en permettant au modèle de détecter des régions séparées — comme les roues ou la zone arrière — réduisant ainsi les boîtes englobantes redondantes en cas d’occlusion. La figure 1D-F montre également que l’annotation en blocs améliore la localisation des caractéristiques et maintient la stabilité de la détection lorsque seuls des composants partiels EBike restent visibles.

De même, le détecteur multiBox à Coup Unique (SSD)^{modèle 10,11}, basé sur la dorsale VGG-16, offre une détection efficace à toutes les échelles et fonctionne bien sur les petits objets¹². Cependant, le SSD rencontre également des difficultés lorsque la continuité des fonctionnalités est interrompue par une forte occlusion, entraînant des détections manquées ou une régression de boîte instable — même lorsque des mécanismes d’attention sont^{introduits 13}. L’annotation en blocs offre également un avantage ici : le modèle peut toujours s’appuyer sur les parties locales visibles restantes, améliorant la stabilité de la détection dans des conditions multi-échelle et occlées.

Stratégies d’annotation et apprentissage local des fonctionnalités

La plupart des méthodes de détection actuelles adoptent une annotation holistique, qui simplifie l’annotation mais s’appuie principalement sur les caractéristiques^{globales 14,15}. Cette approche rencontre des difficultés lorsque des zones critiques d’EBike — comme les roues, la zone avant ou la zone arrière — sont partiellement absentes. Une étude^{récente 16} a montré que l’apprentissage local des caractéristiques, qui segmente les objets en plusieurs parties annotées, peut améliorer la robustesse et la précision dans des situations difficiles. Conformément à cela, les résultats du tableau 2 montrent que l’annotation en blocs reste efficace lorsqu’au moins 40 % à 60 % des composants clés d’EBike restent visibles, notamment lors de l’annotation des roues, de la zone avant et de l’arrière. En revanche, les boîtes englobantes holistiques restent suffisantes dans les scénarios à faible occlusion (par exemple,

Justification méthodologique de l’utilisation de la détection de coins de Harris

La détection de coins Harris est sélectionnée pour l’extraction locale de caractéristiques en raison de son comportement déterministe, de son efficacité computationnelle et de ses propriétés sans entraînement, essentielles pour une annotation fiable dans les environnements d’ascenseur. Contrairement aux détecteurs de points clés appris tels que SuperPoint et LoFTR, il évite un entraînement supplémentaire et réduit le décalage de domaine sous des données annotées limitées et une forte occlusion. Comparés aux opérateurs basés sur les arêtes comme Canny et Sobel, les coins Harris mettent l’accent sur des jonctions géométriquement significatives plutôt que sur des arêtes bruyantes de fond, permettant une localisation stable des structures EBike, y compris les intersections de roues et de châssis. De plus, la détection des coins de Harris fournit des hyperparamètres interprétables. La constante empirique k contrôle la sensibilité et la stabilité des coins. Comme montré dans la section 2.6.2.4 et la Figure 2, l’ajustement k soutient un équilibre contrôlé entre robustesse et surdétection, ce qui correspond bien à la stratégie d’annotation en tranches basée sur des règles proposée.

Augmentation des données pour la robustesse

L’augmentation des données s’est avérée efficace pour accroître la diversité et l’adaptabilité des modèles de détection. Les techniques courantes incluent les transformations géométriques (par exemple, rotation, mise à l’échelle, recadrage) et les ajustements de couleur (par exemple, scalage de gris, modifications de luminance), qui simulent des conditions réelles et des variations d’éclairage 17,18,19. En intégrant ces stratégies, les modèles de détection deviennent plus résilients à la variabilité et mieux adaptés au déploiement dans le monde réel.

Pour répondre aux limitations mentionnées précédemment, cette étude propose une méthode d’annotation en blocs améliorée basée sur des caractéristiques locales. La méthode améliore l’apprentissage des caractéristiques et la robustesse en divisant les EBikes en plusieurs parties annotées indépendantes, permettant une détection plus efficace sous occlusion complexe. De plus, un ensemble de données dédié à la détection de vélos électriques (EBike-DET) adapté aux environnements d’ascenseur est construit, enrichi par diverses augmentations de données afin d’améliorer l’adaptabilité du modèle. Enfin, la méthode est validée sur YOLOv5, YOLOv10 et SSD, démontrant des gains de performance constants de +5,69 % à +39,81 % de mAP, comme résumé dans le tableau 3. Les contributions peuvent se résumer ainsi : une méthode d’annotation en tranches améliorée qui renforce l’apprentissage des caractéristiques en conditions d’occlusion, la construction d’un jeu de données spécialisé EBike-DET pour les scénarios d’ascenseur, l’intégration de multiples techniques d’augmentation, et la validation expérimentale sur des modèles de détection grand public, montrant une précision et une robustesse accrues par rapport à l’annotation holistique.

Protocol

L’ensemble de données EBike-DET utilisé dans cette étude se compose d’images collectées par les auteurs via des photographies sur place dans des environnements d’ascenseurs, de parkings et de rue, ainsi que des images EBike accessibles publiquement sur des plateformes web. Toute la collecte d’images sur place a été réalisée dans des environnements non privés uniquement pour la recherche technique liée à la sécurité sur la détection d’EBike. Les images ne ciblent pas intentionnellement les individus, et toute personne capturée accidentellement est non identifiable en raison de la distance, de l’occlusion, des vues tournées vers le dos ou d’un traitement approprié qui élimine les traits du visage et autres identifiants personnels. Les images issues du web ont été obtenues exclusivement sur des plateformes permettant la réutilisation pour la recherche académique ou à partir de ressources publiées sous licences ouvertes. Toutes les images sont utilisées strictement à des fins de recherche et éducatives non commerciales. Comme aucune donnée personnelle identifiable n’a été collectée et qu’aucune interaction directe avec des sujets humains n’a eu lieu, cette étude n’a pas nécessité l’approbation d’un comité d’éthique institutionnel conformément aux directives institutionnelles de l’auteur.

1. Construction de jeux de données

1. Résolution d’image, espace colorimétrique et formats de fichiers
   1. Réglez la résolution native des images à 1280 x 720 pixels pour capturer des détails de haute qualité d’EBikes dans différentes scènes.
   2. Après la standardisation, redimensionnez les images à 640 x 480 pixels pour équilibrer l’efficacité de calcul et la conservation des fonctionnalités.
   3. Réglez l’espace colorimétrique en RGB pour préserver l’information colorimétrique complète, assurant une reconnaissance précise des caractéristiques dans différentes conditions d’éclairage.
   4. Sauvegardez les images au format JPEG pour optimiser le stockage sans compromettre significativement la qualité de l’image.
2. Définition et répartition des ensembles de données d’entraînement, de validation et de test
   1. Divisez le jeu de données en ensembles d’entraînement, de validation et de test avec un ratio de 7:2:1, en veillant à ce que le jeu de données soit correctement divisé pour l’entraînement du modèle, l’ajustement des hyperparamètres et l’évaluation des performances.
   2. Réglez la graine aléatoire à 42 pour garantir la reproductibilité des données réparties entre différentes expériences.
   3. Appliquer un échantillonnage stratifié pour maintenir une distribution cohérente des modèles EBike et des niveaux d’occlusion dans chaque répartition des ensembles de données, afin d’éviter tout déséquilibre de classes entre ensembles.
   4. Assurez-vous qu’aucune fuite entre les ensembles d’entraînement, de validation et de test n’apparaisse sur plusieurs ensembles.
3. Construction de jeux de données publics
   1. Sélectionnez le jeu de données de détection EBike disponible publiquement sur la plateforme^{open source 20,21,22,23}, qui contient 210 images d’EBikes dans des scènes panoramiques et partiellement occultées.
   2. Reconnaître les limites du jeu de données public, notamment l’angle de caméra unique, la faible résolution et les scènes de fond simples, ce qui peut limiter la capacité de généralisation du modèle, en particulier dans des scénarios d’occlusion complexes.
4. Construction des ensembles de données EBike-DET
   1. Construisez l’ensemble de données EBike-DET pour améliorer la couverture des scènes et la diversité des échantillons, comprenant 1 680 images de haute qualité provenant de plateformes web et de photographies sur site.
   2. Assurez-vous que des environnements variés sont inclus, tels que des ascenseurs, des parkings et des rues, en capturant les différentes conditions dans lesquelles EBikes pourrait se trouver.
   3. Incorporez une variété d’angles de caméra (vues de face, de côté et de dessus) pour capturer toute la gamme d’apparences d’EBike, assurant un entraînement robuste pour les modèles de détection.
   4. Enrichir le jeu de données en incluant plusieurs marques et modèles EBike, avec des variations de couleur, de taille et d’accessoires, afin d’augmenter la diversité des échantillons.
   5. Assurez-vous que des scénarios d’occlusion sont inclus, où les EBikes sont partiellement occultés par les piétons et les véhicules, simulant ainsi des conditions réelles dans des espaces confinés comme les ascenseurs.
   6. Confirmez que l’ensemble de données EBike-DET comprend des échantillons divers et complexes, ce qui en fait un jeu de données fiable pour la détection de cibles dans des conditions d’occlusion complexes.
5. Règles d’inclusion et d’exclusion pour les images web et sur site
   1. Images web : Incluez uniquement celles qui sont accessibles au public, capturées dans des environnements variés, avec des conditions d’éclairage à haute résolution et variées. Excluez les images avec des arrière-plans à basse résolution ou simples.
   2. Images sur place : Incluez des images prises dans des environnements réels, notamment dans des lieux comme des ascenseurs, des parkings ou des rues. Assurez-vous que les images représentent des scénarios EBike réalistes avec des variations d’occlusion, de complexité de fond et de conditions météorologiques. Excluez les images avec un bruit excessif, une distorsion ou des réglages irréalistes.
   3. Assurez-vous que les images web et sur site respectent les mêmes normes de résolution et d’espace colorimétrique afin de maintenir la cohérence à travers l’ensemble des données.
6. Construction d’augmentation de données
   1. Appliquer des opérations d’augmentation de base, telles que le scalage de gris et la rotation, pour augmenter la diversité des échantillons et simuler diverses conditions d’éclairage et orientations de la caméra.
   2. Divisez la cible EBike en plusieurs régions locales indépendantes, incluant la zone de roues, la zone avant et la zone arrière, afin d’améliorer l’apprentissage des caractéristiques locales.
   3. Annoter chaque région indépendamment pour améliorer la précision de détection en cas d’occlusion et garantir des performances robustes du modèle sur différentes parties EBike.
   4. Vérifiez que toutes les images augmentées et les annotations en blocs maintiennent la cohérence structurelle avec les fonctionnalités d’EBike afin d’éviter des données d’entraînement inadaptées ou invalides.

2. Annotation en blocs de caractéristiques locales

REMARQUE : Pour améliorer la précision de détection des EBikes dans des scénarios d’occlusion complexes, une méthode d’annotation en blocs basée sur des caractéristiques locales améliorées est proposée. Cette méthode segmente la région EBike en extrayant ses points de caractéristiques locaux et détermine si une région doit être annotée en fonction du degré d’occlusion dans la région correspondante. Le processus expérimental détaillé est illustré à la Figure 3.

1. En utilisant les ensembles de données d’entraînement, de validation et de test construits précédemment.
2. Annotation manuelle : Utilisez l’outil LabelImg dans l’environnement Python pour l’annotation manuelle. Étiquetez toutes les images exclusivement comme EBikes, en assurant un minimum d’interférences avec les échantillons^{négatifs 24,25}.
3. Traitement et augmentation des données
   1. Appliquer la méthode proposée par Yongjiang et ^al.22 pour réduire le bruit et standardiser les images afin d’assurer une taille uniforme à travers l’ensemble des données.
   2. Effectuer des opérations d’augmentation des données (par exemple, rotation, ajustement de luminosité, niveaux de gris) pour augmenter la diversité des échantillons. Assurez-vous que toutes les images augmentées maintiennent la qualité et améliorent la robustesse du modèle à différents arrière-plans.
4. Culture de la zone EBike
   1. Pour garantir la reproductibilité de la localisation du ROI, appliquez les paramètres d’inférence du tableau 4 pour YOLOv10 (en utilisant le fichier poids pré-entraîné yolov10x.pt). Les coordonnées de la boîte englobante de sortie sont les suivantes :
      ROI = [x₁,_{y 1}, x₂,_{y 2}] (1)
      L’équation (1) définit les coordonnées de la boîte englobante^{ROI 26} [x₁, y₁, x₂, y₂], où : x₁, y₁ = Coordonnées du coin supérieur gauche du ROI EBike ; x₂, y₂ = Coordonnées du coin inférieur droit de l’EBike ROI. Ces coordonnées sont dérivées de la sortie brute de YOLOv10, qui prédit les boîtes englobantes dans le format [c_x,_{c, y}, w, h] pour chaque objet détecté. Les formules de conversion sont :
      (2)
      (3)
      (4)
      (5)
      Où c_x, c_y correspond aux coordonnées centrales horizontales/verticales normalisées de la boîte englobante prédite (mise à l’échelle à la taille de l’image d’entrée de 640 x 480).  w, h est la largeur/hauteur normalisée de la boîte englobante prédite (mise à l’échelle de la taille de l’image d’entrée).
   2. Filtrez la sortie du YOLOv10 par le seuil de confiance (0,5) pour ne conserver que les détections liées à EBike (ID de classe correspondant au vélo électrique), puis traitez avec NMS (IoU=0,45) pour supprimer les boîtes redondantes. Convertir la boîte englobante restante en [_{x 1}, y₁, x₂, y₂] pour le recadrage du ROI.
   3. Gestion des détections multiples
      REMARQUE : Dans les scénarios d’ascenseur (cible principale de l’ensemble de données EBike-DET), les EBikes sont généralement à instance unique (en raison de contraintes d’espace). Pour les cas avec plusieurs détections EBike (par exemple, des ascenseurs bondés avec deux EBikes), les règles suivantes s’appliquent.
      1. Priorité de confiance la plus élevée : Sélectionnez la boîte englobante avec le score de confiance maximal (la confiance en sortie de YOLOv10 reflète la certitude du modèle que l’objet est un EBike).
      2. Vérification de la validité spatiale : Si plusieurs détections ont des scores de confiance >0,7, vérifier le chevauchement spatial avec les limites structurelles des ascenseurs (par exemple, éviter les boîtes délimitantes dépassant les parois des ascenseurs). Conserver la détection dont le point central c_x, c_y, est le plus proche du centre d’image (les ascenseurs sont généralement surveillés par des caméras frontales, avec des cibles centrées).
      3. Traitement des cas particuliers : Si aucune détection valide ne satisfait le seuil de confiance (par exemple, occlusion sévère), marquez l’image pour une correction manuelle du ROI (représentant <3 % du jeu de données EBike-DET).
5. Conversion et normalisation en niveaux de gris
   1. Effectuer la conversion en niveaux de gris sur l’image RVB recadrée à partir du ROI. Utilisez la méthode de la moyenne pondérée pour la conversion, en suivant la formule suivante :
      I_gra = 0,299 × R + 0,587 × G + 0,114 × B (6)
      où R, G et B représentent respectivement les valeurs de pixels dans les canaux rouge, vert et bleu. Cette méthode correspond à la perception humaine de la luminosité à travers différentes couleurs.
   2. Normaliser les valeurs de pixels de l’image en niveaux de gris à la plage de [0, 1] en mettant à l’échelle linéaire à partir de [0, 255]. Cette normalisation améliore la stabilité des calculs numériques et garantit que les calculs de gradient et les seuils ultérieurs fonctionnent de manière cohérente sous des conditions d’éclairage variables.
6. Détection de virage Harris
   1. Appliquez la détection d’angle de Harris à la surface de gris et normalisez la région EBike pour extraire les points de caractéristiques locaux.
      REMARQUE : Le principe fondamental de la détection des coins de Harris consiste à calculer la matrice d’autocorrélation pour localiser précisément les coins de l’image, comme le montre visuellement la Figure 4B. Ces virages détectés sont généralement associés à des composants clés d’EBike tels que les roues, la zone avant et la zone arrière, qui présentent souvent des éléments de virage clairs.
   2. Calculez le gradient de l’image pour identifier les zones présentant des changements d’intensité significatifs comme décrit ci-dessous.
      1. Lissage de l’image : Appliquer un filtrage gaussen à l’image en niveaux de gris pour supprimer le bruit, obtenant l’image lissée comme suit :
         I_s = G_σ*I (7)
         où * représente l’opération de convolution, et G_σ est un noyau gaussien 2D avec un écart-type de σ, qui contrôle le niveau de lissage. Une valeur typique pour est 1,0.
      2. Calculer le gradient d’image : Utilisez un opérateur de gradient (comme l’opérateur Sobel) pour calculer les dégradés horizontaux (x) et verticaux (y) de l’image lissée :
         I_x = K_{x *} I_s ,I_y =_{K y *} I_y (8)
         où I_x et_{I y} sont les applications de gradient dans les directions x et y, respectivement, et Gx et Gy sont les noyaux de convolution pour l’opérateur de Sobel :
         , (9)
      3. Construisons la matrice d’autocorrélation M à partir des gradients précédemment calculés, en utilisant une fenêtre locale 3 x 3 W centrée sur chaque pixel (x,y) :
         (10)
         Dans la formule, W désigne une fenêtre locale à la position (x,y), et l’opération ∑W représente la somme de tous les éléments de l’image à l’intérieur de cette fenêtre ; A = ∑W I_x² représente la somme des gradients au carré dans la fenêtre W dans la direction x, reflétant l’intensité des variations dans la direction x ; B=∑W I_y² représente la somme des gradients au carré dans la fenêtre W dans la direction y, reflétant l’intensité des variations dans la direction y ; C = ∑W I_{xI y} représente la somme du produit des gradients dans les directions x et y dans la fenêtre W, décrivant la corrélation des changements entre ces deux directions.
      4. Calculer la somme des gradients au carré dans les directions x et y pour refléter l’intensité des variations dans chaque direction. Le terme croisé entre les gradients I_x I_y capture la corrélation entre les directions x et y.
      5. Fonction de réponse des coins : Calculez la fonction de réponse des coins R à partir du déterminant et de la trace de la matrice d’autocorrélation pour détecter les points d’angle dans l’image. Calculez la valeur de réponse pour chaque pixel et sélectionnez des points avec des valeurs de réponse plus élevées comme derniers coins, comme montré à la Figure 2. La fonction de réponse d’angle est donnée par :
         det(M) = A ⋅ B - C² (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M)⁾² (13)
         où det(M) est le déterminant de M, reflétant le changement global de la région locale des caractéristiques, et trace(M) est la trace de la matrice, reflétant l’intensité totale du gradient dans la région. La constante empirique k est généralement fixée entre 0,04 et 0,06.
         REMARQUE : D’après des expériences, il a été constaté que le choix de k influence significativement les résultats :
         Lorsque k=0,04, les valeurs de réponse sont trop élevées, ce qui entraîne une surabondance de points d’angle faussement détectés.
         Lorsque k=0,05, les valeurs de réponse sont plus équilibrées, détectant avec précision les véritables angles.
         Lorsque k=0,06, les valeurs de réponse sont trop faibles, rendant difficile la détection fiable des points d’angle.
   3. Effectuer une division grossièrement granulaire des zones locales de l’EBike en utilisant les résultats de détection des points de coins de Harris. Divisez l’EBike en régions basées sur la structure géométrique et la distribution des points d’angle, comme montré à la Figure 4C, afin d’améliorer la robustesse et la performance de détection du modèle dans des scénarios d’occlusion complexes.
   4. Surface de la roue : Considérez la région valide si elle contient au moins 15 points d’angle répartis symétriquement selon une forme circulaire, avec un score de symétrie d’au moins 0,85. Le score de symétrie est montré dans l’équation 11. Le rapport largeur/hauteur de la région de la roue doit être d’environ 1:1, garantissant qu’il reflète fidèlement les caractéristiques géométriques de la roue.
   5. Surface avant : Incluez la région si elle contient au moins 10 points d’angle avec un score de symétrie au moins 0,80, et que le rapport largeur/hauteur se situe entre 1,2:1 et 1,5:1, garantissant que la surface avant correspond aux caractéristiques structurelles attendues.
   6. Surface arrière : Inclure la région si elle contient au moins 12 points d’angle, avec un score de symétrie pas inférieur à 0,75, et un rapport largeur/hauteur varie entre 1,5:1 et 2:1, garantissant que la zone arrière respecte les propriétés géométriques attendues.
7. Représentation des zones critiques EBike avec boîtes englobantes
   1. Pour convertir des points d’angle en boîtes englobantes rectangulaires, utilisez l’algorithme de regroupement DBSCAN. Cette méthode regroupe les points d’angle proches en groupes, assurant que les points d’angle formant une région sont regroupés. Fixez la distance maximale entre les points d’un groupe à 30 pixels.
   2. Pour chaque groupe de points d’angle, on détermine les coordonnées x et y minimales et maximales. Ces coordonnées représentent les arêtes de la boîte englobante.
   3. Ajoutez une marge de 10 pixels autour de la boîte englobante pour vous assurer que toutes les fonctionnalités pertinentes sont incluses. Cette marge compense les possibles désalignements ou inexactitudes des pixels dans la détection des points de coin.
   4. Arrondir les coordonnées de la boîte englobante à l’entier le plus proche pour assurer un alignement correct des pixels lors du traitement de l’image.
   5. Représenter les coordonnées finales de la boîte englobante pour la i-ème composante (par exemple, roue, zone avant, arrière) comme décrit ci-dessous.
      1. Combinez les régions définies (surface des roues, zone avant et arrière) et représentez toutes les zones critiques de l’EBike à l’aide de boîtes englobantes rectangulaires.
      2. Définissez les coordonnées de la boîte englobante pour la composante i (par exemple, volant, zone avant, zone arrière) comme suit :
         (14)
         où B_i représente la boîte englobante de la i-ème composante, et et sont respectivement les coordonnées des coins supérieur gauche et inférieur droit.
8. Gestion de l’occlusion partielle
   1. Évaluez le score de symétrie d’angle pour chaque région. Accepter une région si le score de symétrie est supérieur ou égal à 0,7.
   2. Pour la gestion de l’occlusion, mesurez la visibilité des points d’angle. Acceptez une région si au moins 50 % des coins sont visibles. Si 30 % à 50 % des coins sont visibles, signalez la région pour un examen plus approfondi. Si moins de 30 % des coins sont visibles, rejetez la région en raison d’une visibilité insuffisante pour une détection précise.
9. Jugement précis des régions locales de caractéristiques
   1. Évaluer la précision de chaque région locale de caractéristiques à l’aide de trois métriques opérationnelles quantitatives : une métrique de symétrie S, une métrique de continuité de courbes de niveau C et une métrique de connexion et structure L. Appliquez ces métriques uniformément à la surface des roues, à l’avant et à l’arrière.
   2. Accepter une région seulement lorsque toutes les métriques atteignent les seuils prédéfinis. Si un indicateur échoue dans une fourchette tolérable, augmentez le ROI et réévaluez. Si deux métriques ou plus échouent, marquez la région comme peu fiable.
10. Analyse de la précision des caractéristiques par région des roues
    1. Point de contrôle opérationnel en vue frontale
       1. Calculez la métrique de symétrie :
          (15)
          où nL et nR désignent les comptes des coins gauche et droit.
       2. Acceptez la région si S ≥ 0,85. Comme montré à la Figure 5A, la roue présente une forme circulaire avec une symétrie, et les points d’angle Harris le long de la circonférence forment un motif symétrique. Donc, annotez toute la zone de la roue.
       3. Si 0,70 ≤ S<0,85, élargissez le ROl de 10 à 20 pixels et répétez l’évaluation pour permettre à plus de caractéristiques réelles de réintégrer la zone de calcul, puis réévaluez. Comme montré à la Figure 5D, une occlusion partielle de la roue se produit, donc la plage de recadrage doit être élargie pour capturer davantage de caractéristiques de l’Ebike pour évaluation.
       4. Si c’est S<0,70, étiquetez la région comme peu fiable. Comme montré à la Figure 5G, la forme circulaire est perturbée ; excluez cette région de l’annotation.
    2. Poste de contrôle opérationnel en vue latérale
       1. Mesurer la continuité des contours en utilisant :
          (16)
       2. Accepter quand C ≥ 0,75. Comme montré à la Figure 5B, le rapport entre la longueur d’arc continue réelle et la longueur d’arc attendue répond aux exigences, le contour s’adapte parfaitement au bord et il n’y a pas de rupture évidente.
       3. Si 0,55 ≤ C < 0,75, affinez l’extraction des contours et vérifiez à nouveau. Comme montré à la Figure 5E, le rapport de courant entre la longueur d’arc continue et la longueur d’arc attendue se situe dans la plage critique ; Il est nécessaire d’ajuster le seuil de l’algorithme d’extraction pour rendre le contour plus complet.
       4. Si C < 0,55, rejeter la région en raison d’une continuité géométrique insuffisante. Comme montré à la Figure 5H, les exigences d’analyse ne peuvent pas être remplies.
    3. Vue supérieure au poste de contrôle opérationnel
       1. Évaluer la connectivité structurelle en utilisant :
          (17)
       2. Accepter quand L ≥ 0,70. Comme montré à la Figure 5C, la déviation entre la distance observée et la distance attendue est effectivement décalée, la connectivité structurelle répond aux exigences, et la connexion relative de position entre le véhicule et l’environnement de l’ascenseur est complète.
       3. Si L < 0,70, augmentez le ROI et réévaluez. Comme montré à la Figure 5F, l’écart de courant entre la distance observée et la distance espérée est relativement important ; Il est nécessaire d’élargir le champ d’analyse et d’inclure davantage de structures environnantes afin d’améliorer la précision de l’évaluation de la connectivité.
       4. Si la connectivité reste inconstante, classez la région comme peu fiable. Comme montré à la Figure 5I, il ne peut pas être utilisé comme zone d’analyse efficace.
11. Analyse de la précision des caractéristiques de la zone avant
    1. Pour l’évaluation de la précision des caractéristiques de la zone frontale EBike, suivez le cadre unifié basé sur des règles défini dans la Section 2.10, incluant l’évaluation de la symétrie sous la vue frontale utilisant la métrique S telle que définie dans l’équation 15, l’évaluation de la continuité des contours sous la vue latérale utilisant la métrique C telle que définie dans l’équation 16, et la validation de la connectivité structurelle sous la vue supérieure utilisant la métrique L telle que définie dans l’équation 17.
    2. En raison de la variabilité géométrique et de l’occlusion partielle fréquente dans la zone avant, on adopte des seuils modérément relâchés par rapport à la région de la roue. Une région de zone frontale est acceptée lorsque S ≥ 0,80, C ≥ 0,70 et L ≥ 0,65. Comme illustré dans la Figure 6A-C, les régions répondant à ces critères présentent des distributions équilibrées gauche-droite, des contours cohérents et une connectivité structurelle stable.
    3. Si une métrique se situe dans la plage intermédiaire spécifiée à la Section 2.10, élargissez la région d’intérêt et réévaluez pour intégrer des caractéristiques contextuelles supplémentaires, comme montré à la Figure 6D-F. Les régions qui ne remplissent pas les critères minimums après réévaluation sont classées comme peu fiables, comme illustré à la Figure 6G-I.
12. Analyse de la précision des caractéristiques de la zone arrière
    1. Pour l’analyse de précision des caractéristiques à l’arrière, respectez le protocole d’évaluation défini à la Section 2.10, en utilisant les métriques S telles que définies dans l’Équation 15, C telles que définies dans l’Équation 16, et L telles que définies dans l’Équation 17 sous les vues de face, de côté et de dessus, respectivement.
    2. La zone arrière est plus sensible à l’obstruction causée par les usagers, les objets transportés ou les structures d’ascenseurs. Par conséquent, appliquez des conditions de rejet plus strictes pour éviter des annotations peu fiables. Une région arrière est acceptée lorsque S ≥ 0,75, C ≥ 0,70 et L ≥ 0,65. Les cas représentatifs acceptés avec une symétrie, une continuité de contour et une connectivité suffisantes sont présentés à la figure 7A-C.
    3. Pour les régions avec des valeurs limites de la métrique, effectuer une expansion et une réévaluation du ROI, comme illustré à la Figure 7D-F. Si les relations géométriques restent ambiguës ou si les métriques ne satisfont pas aux critères d’acceptation, on marque la région comme peu fiable, comme le montre la Figure 7G-I.
13. Analyse de la précision des caractéristiques de la zone arrière
    1. Pour l’analyse de précision des caractéristiques de la zone arrière, suivez le protocole d’évaluation défini à la Section 2.10, en utilisant les mêmes métriques S telles que définies dans l’Équation 15, C telles que définies dans l’Équation 16, et L telles que définies dans l’Équation 17 sous les points de vue correspondants.
    2. Comparée à la zone avant, la zone arrière est plus susceptible d’être occlusionée par les usagers, les objets transportés et les structures intérieures des ascenseurs. Par conséquent, appliquez des critères de rejet légèrement plus stricts afin d’éviter les annotations peu fiables. Une région arrière est acceptée lorsque S ≥ 0,75, C ≥ 0,70 et L ≥ 0,65. Comme montré à la figure 7A-C, les régions acceptées maintiennent une symétrie, une cohérence de courbes de niveau et une connectivité structurelle suffisantes.
    3. Pour les régions avec des valeurs de métriques limites, élargissez et réévaluez le ROI en suivant la Section 2.10, comme illustré dans la Figure 7D-F. Si la cohérence géométrique reste insuffisante après réévaluation, marquez la région comme peu fiable, comme montré à la Figure 7G-I.
14. Mise en œuvre du pipeline
    1. Structure de fichiers et dossiers : L’implémentation suit une structure de répertoires modulaire séparant la détection, l’extraction locale des caractéristiques et le jugement par annotation. Voir l’organisation des dossiers représentatifs illustrée ci-dessous. Stockez tous les résultats intermédiaires dans des sous-dossiers dédiés afin de permettre une inspection indépendante de chaque étape de traitement.
       project_root/
       │
       ├── data/
       │ ├── images/
       │ │ │ ├── train/
       │ │ ├── Val/
       │ │ └── test/
       │ └── Annotations/
       │
       ├── Détection/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── ROI/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── Harris/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── configs/
       └── seuils.yaml
    2. Pipeline d’exécution et exemples de lignes de commande
       1. Détection EBike et localisation ROI : Localisez les régions EBike à l’aide d’un modèle de détection d’objets pré-entraîné. Stockez les résultats de détection sous forme de coordonnées de boîte englobante.
          Détection Python/detect_ebike.py \
          --données d’entrée/images/test/ \
          --ROI/detections.json
       2. Recadrage ROI : Utilisez les boîtes englobantes détectées pour recadrer les régions EBike à partir des images originales.
          ROI/crop_roi.py Python \
          --détections ROI/detections.json \
          --images données/images/test/ \
          --ROI/cropped_images/
          Sauvegardez chaque image recadrée en utilisant le format de dénomination : imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. Extraction des coins Harris : Appliquer la détection des coins Harris à chaque ROI recadré après conversion en niveaux de gris. Gardez les cartes de réponse des coins et les superpositions visuelles pour inspection.
          Python Harris/harris_corner.py \
          --retour sur investissement en entrée/cropped_images/ \
          --sortie harris/corner_visualization/ \
          --config configs/thresholds.yaml
       4. Partition grossièrement granulaire et annotation par blocs : Partitionner les régions locales en roue, zone avant et arrière en fonction de la distribution spatiale des points d’angle. Appliquer le jugement de validité en utilisant des critères géométriques et basés sur les caractéristiques.
          Python chunk_annotation/region_partition.py \
          --coins Harris/corner_visualization/ \
          --sortie chunk_annotation/final_annotations/
    3. Sorties intermédiaires attendues et points de contrôle visuels : Conservez les sorties intermédiaires produites par chaque étape de traitement qui servent de points de contrôle visuels. Ces sorties intermédiaires permettent une vérification étape par étape de la localisation du ROI, de la qualité de l’extraction des coins, du partitionnement régional et des décisions finales d’annotage.
       1. Sortie de recadrage ROI : Enregistrer les images recadrées EBike en ROI/cropped_images/. Chaque image contient une seule région EBike extraite de l’image originale.
       2. Visualisation des coins Harris : Sauvegardez les superpositions de coin dans Harris/corner_visualization/. Pour les régions de roues valides, un ensemble dense de points d’angle est observable le long de la structure circulaire de la jante. Les régions présentant des réponses d’angle insuffisantes sont identifiables à ce stade.
       3. Résultats de la partition régionale : Visualisez indépendamment les régions partitionnées (roue, zone avant, arrière). Ne conserver que les régions qui satisfont à des critères de validité prédéfinis (par exemple, densité de coin suffisante et cohérence géométrique).
       4. Sortie finale d’annotation : Stocker les régions acceptées dans chunk_annotation/final_annotations/ sous forme de fichiers d’annotation structurés. Excluez les régions qui manquent de jugement de validité et ne les propagez pas aux étapes suivantes.
          REMARQUE : Tous les seuils utilisés pour la détection des coins et le jugement de validité régionale sont centralisés dans les fichiers de configuration. Le pipeline fonctionne sur des entrées à image unique sans dépendance temporelle, permettant de reproduire les résultats indépendamment pour chaque image. Étant donné des images d’entrée, des fichiers de configuration et un ordre d’exécution identiques, les sorties intermédiaires générées et les annotations finales restent déterministes.
15. Étapes de finalisation et publication du jeu de données
    REMARQUE : Pour garantir que le protocole se termine par un point d’extrémité clair et reproductible, une étape de finalisation est définie pour consolider la sauvegarde des annotations, la validation de la qualité, l’emballage des jeux de données et la documentation des versions.
    1. Sauvegarde des annotations finales : Après le jugement de validité régionale, sauvegardez toutes les annotations acceptées en chunk_annotation/final_annotations/ en utilisant le format texte YOLO, avec un fichier d’annotation correspondant à chaque image. Conserver uniquement les régions qui satisfont aux critères géométriques et basés sur les caractéristiques prédéfinis dans l’ensemble final d’annotation et exclure les régions rejetées ou peu fiables d’un usage ultérieur.
    2. Validation de la qualité des annotations : Validez la qualité finale de l’annotation en réappliquant les mêmes critères de validité utilisés lors de l’évaluation régionale, incluant la symétrie, la continuité des contours et les métriques de connectivité structurelle. Supprimez les annotations qui ne répondent pas à ces critères lors de cette phase de vérification, afin d’assurer la cohérence entre la génération d’annotation et le contrôle qualité.
    3. Emballage du jeu de données : Après la validation, organisez les images et annotations en divisions fixes d’entraînement, de validation et de test selon la partition définie du jeu de données. La structure des répertoires et les listes de fichiers sont figées à ce stade, et le jeu de données emballé est préparé pour l’entraînement et l’évaluation sans modification supplémentaire.
    4. Documentation de version et de départ : Les fichiers de configuration, y compris les paramètres de détection des coins et les seuils de validité régionale, sont conservés avec le jeu de données emballé. Utilisez des graines aléatoires pour la division des données, corrigez l’exécution de l’algorithme et enregistrez. De plus, documentez les versions des poids des modèles, des fichiers de configuration et des outils d’annotation. Étant donné des données d’entrée, des fichiers de configuration et des graines enregistrées identiques, les annotations finales et les divisions des ensembles de données restent déterministes.

3. Augmentation des données

REMARQUE : Une étude précédente a montré que les ensembles de données d’entraînement dépourvus de prétraitement et d’augmentation des données suffisants entraînent souvent une dégradation des performances du modèle²². Pour relever ces défis, la procédure suivante a été suivie.

1. Éclairage
   1. Simulez les variations d’éclairage à l’intérieur des ascenseurs pour répondre aux changements fréquents d’éclairage en ajustant le facteur de luminosité dans la plage de 0,6 à 1,4, avec une probabilité de 0,8.
   2. Appliquez des ajustements d’intensité lumineuse pour passer d’environnements lumineux à obscurs, simulant le flou induit par le mouvement EBike. Utilisez une probabilité de 0,7 pour cette opération.
   3. Générez des échantillons augmentés en ajustant les conditions d’éclairage, assurant une visibilité stable sous différents niveaux d’illumination.
   4. Appliquer ces opérations d’éclairage hors ligne et les stocker pour un traitement ultérieur. Réglez la graine aléatoire à 42 pour assurer la reproductibilité du processus d’augmentation.
2. Occlusion
   1. Créez des scénarios d’occlusion synthétique pour refléter les conditions de surpopulation des ascenseurs. Appliquez des masques d’occlusion (par exemple, silhouettes humaines, blocages d’objets) avec une probabilité de 0,6.
   2. Appliquez des occlusions mosaïques pour imiter une obstruction partielle des EBikes lors de l’entrée et de la sortie de l’ascenseur. Utilisez des pourcentages d’occlusion de 30 %, 50 % ou 70 %, et assurez-vous que l’occlusion est appliquée de manière aléatoire dans n’importe quel quadrant (haut, bas, gauche, droite) de l’image.
   3. Incorporez des échantillons occultés pour améliorer la robustesse et la stabilité de la détection en visibilité partielle, afin de garantir qu’au moins un élément clé (par exemple, roue, zone avant, arrière) reste visible.
   4. Effectuez l’augmentation d’occlusion hors ligne et validez les échantillons afin de garantir que les caractéristiques essentielles d’EBike sont conservées. Réglez la graine aléatoire à 42 pour la reproductibilité.
3. Points de vue
   1. Ajustez les angles de vision dans une plage prédéfinie de ±15° pour simuler divers angles de caméra dans différents environnements de profondeur de profondeur. Cette opération doit être appliquée avec une probabilité de 0,7.
   2. Appliquer des transformations de perspective avec des coefficients de distorsion entre 0,0 et 0,2 pour reproduire différents emplacements de caméra (par exemple, points de vue surélevés, latéraux et obliques).
   3. Ajustez et décalez la région EBike de 0,8 à 1,2 fois pour simuler les changements de distance de la caméra par rapport à la cible. Appliquez cette transformation avec une probabilité de 0,8.
   4. Confirmez que toutes les transformations de points de vue conservent l’intégrité géométrique de l’EBike, et qu’aucune caractéristique critique n’est déformée.
   5. Effectuez des transformations de points de vue hors ligne et stockez les images augmentées. Réglez la graine aléatoire à 42 pour la reproductibilité.
4. Amélioration
   1. Appliquez des niveaux de gris sur 30 % des images avec une probabilité de 0,3 pour introduire des variations liées à la luminance et améliorer la robustesse du modèle en conditions de faible luminosité.
   2. Utilisez l’égalisation histogramme sur 20 % des échantillons pour améliorer le contraste et la visibilité des caractéristiques clés de l’EBike, sous des conditions d’éclairage difficiles.
   3. Combinez séquentiellement des stratégies d’éclairage, d’occlusion et d’augmentation des points de vue pour générer des échantillons à haute diversité. Utilisez des probabilités de 0,9 pour ce processus en plusieurs étapes.
   4. Examinez les échantillons augmentés pour vous assurer qu’ils maintiennent l’intégrité structurelle EBike avant de les intégrer dans le jeu de données final.
   5. Effectuez des opérations d’amélioration hors ligne et stockez les images pour une utilisation ultérieure de la formation. Réglez la graine aléatoire à 42 pour garantir la reproductibilité de l’ensemble du processus d’augmentation.

4. Environnement expérimental

1. Configurez l’environnement expérimental pour garantir l’efficacité et la stabilité de calcul lors de l’entraînement et des tests du modèle.
2. Utilisez un processeur multi-cœur moderne, un GPU dédié pour l’accélération de l’apprentissage profond, une mémoire suffisante et un système de stockage stable pour supporter le traitement d’images EBike à grande échelle.
3. Adaptez l’environnement logiciel à la configuration matérielle en installant des versions compatibles du framework d’apprentissage profond, des pilotes GPU et des bibliothèques d’accélération afin d’optimiser la vitesse d’entraînement et la performance d’inférence.
4. Consultez les Tableaux 5, 6, 7 et 8 pour les spécifications matérielles détaillées, l’environnement logiciel, les dépendances des modèles et les paramètres des équipements d’imagerie afin d’assurer la reproductibilité.
5. Surcharge computationnelle et analyse à l’exécution
   1. Analysez la surcharge de calcul associée à la stratégie d’annotation en blocs en termes de complexité d’annotation et d’efficacité à l’exécution. Comparée à l’annotation holistique, l’annotation en blocs représente un EBike utilisant des zones de niveau de pièce, incluant la zone de la roue, la zone avant et la zone arrière. Annoter ces régions uniquement lorsqu’elles sont visibles et satisfont aux critères de validité géométriques et basés sur les caractéristiques prédéfinis, plutôt que d’être appliquées à chaque instance.
      REMARQUE : Du point de vue de l’annotage, l’augmentation du nombre d’étiquettes reste limitée et structurellement contrainte. Une instance EBike contribue au maximum à trois annotations au niveau des parties, tandis que moins de régions sont annotées en cas d’occlusion partielle (par exemple, lorsque seule la zone avant est visible). En conséquence, le nombre d’étiquettes par image varie selon la visibilité de la scène et les conditions d’occlusion, et le nombre moyen d’étiquettes augmente modérément, comme résumé dans le tableau 9. Cette conception équilibre la représentation locale des caractéristiques avec la complexité des annotages. Du point de vue de l’inférence, l’annotation en blocs n’introduit pas d’augmentation proportionnelle du coût de post-traitement. Bien que la détection au niveau partiel puisse générer des boîtes englobantes candidates supplémentaires, les détections sont agrégées au niveau de l’objet EBike pour l’évaluation finale, et un filtrage basé sur la confiance est appliqué avant le post-traitement. Cette stratégie d’annotation conditionnelle et basée sur la visibilité limite les candidats à la détection inutiles. Pour des modèles comme YOLOv10, qui réduisent la dépendance à la suppression non maximale traditionnelle, la surcharge supplémentaire introduite par le chunking reste limitée en pratique.
   2. Évaluer les performances en temps réel à une résolution typique de surveillance d’ascenseur de 640 x 480 pixels à l’aide d’un GPU NVIDIA RTX 3090. Comme montré dans le tableau 9, l’annotation en chunks conserve une capacité d’inférence en temps réel, avec seulement une légère réduction des images par seconde par rapport à l’annotation holistique. Ces résultats indiquent que la stratégie d’annotation en blocs reste adaptée à la surveillance EBike en temps réel dans les environnements d’ascenseurs.

5. Indicateurs d’évaluation

REMARQUE : Bien que des annotations en blocs soient utilisées pendant la formation et l’inférence, l’évaluation est réalisée au niveau de l’objet du vélo électrique. Les détections au niveau des parties sont agrégées en une seule décision de vélo électrique selon les règles définies à la section 2.4, 3.

1. Appliquer les métriques d’évaluation standard couramment utilisées dans la recherche sur la détection de^{cibles 27} pour évaluer de manière exhaustive la performance des algorithmes dans les scénarios de détection d’occlusion EBike.
2. Précision de détection (P)
   1. Utilisez l’équation (8) pour calculer la précision de détection, qui mesure la proportion d’EBikes correctement identifiés parmi tous les échantillons positifs prédits.
      (18)
      où TP désigne les vrais positifs et FP désigne les faux positifs.
   2. Fixez le seuil IoU à 0,5 pour déterminer si les boîtes englobantes prédites correspondent aux boîtes de la vérité du terrain.
   3. Utilisez la précision pour évaluer la capacité du modèle à réduire les alarmes inutiles causées par une erreur d’identification d’objets non-EBike.
   4. Commande(s) pour générer cette métrique : Utilisez le script d’évaluation pertinent (par exemple, evaluate_precision.py). Sauvegardez les résultats dans precision_results.txt pour une analyse plus approfondie.
3. Taux de rappel (R)
   1. Utilisez l’équation (9) pour déterminer à quel point le modèle identifie efficacement les EBikes dans les environnements de profondeur de profondeur, en particulier lorsque l’occlusion affecte la visibilité.
      (19)
      où FN représente les faux négatifs.
   2. Fixer le seuil d’IoU à 0,5 pour évaluer la précision des détections. Utilisez le rappel pour évaluer la capacité du modèle à minimiser les détections manquées, garantissant que les EBikes restent précisément identifiés même lorsqu’ils sont partiellement obstrués.
   3. Utilisez des commandes pour générer cette métrique : exécutez evaluate_recall.py. Sauvegarde donne recall_results.txt.
      REMARQUE : Les détections manquées sont cruciales dans les situations d’ascenseurs bondés et doivent être minimisées pour des raisons de sécurité. Les détections manquées posent des risques de sécurité dans les ascenseurs bondés et doivent être minimisées.
4. Score F1
   1. Calculez le score F1 à l’aide de l’équation (10) pour obtenir une représentation équilibrée de la précision et de la performance de rappel du modèle.
      (20)
   2. Utilisez le score F1 pour fournir une évaluation globale, notamment dans les situations où la précision et le rappel présentent des compromis sous différents niveaux d’occlusion.
   3. Utilisez Commande(s) pour générer cette métrique : Exécutez evaluate_f1.py pour calculer le score F1. Résultat de sauvegarde dans f1_score_results.txt.
5. Précision moyenne moyenne (mAP)
   1. Utilisez l’équation (11) pour mesurer la capacité globale de détection du modèle à travers différentes apparences d’EBike, conditions d’occlusion et variations d’éclairage.
      (21)
      Où AP_c désigne la précision moyenne de la catégorie c et C est le nombre de catégories.
   2. Fixez le seuil d’IoU à 0,5 pour évaluer la performance du modèle dans différentes catégories.
   3. Utilisez mAP@0.5 pour déterminer dans quelle mesure le modèle s’adapte à diverses conditions visuelles dans les environnements des ascenseurs, assurant ainsi une évaluation complète des performances de détection.
   4. Utilisez la(s) commande(s) suivant(s) pour générer cette métrique : exécuter evaluate_map.py avec les paramètres spécifiés. Sauvegarde donne map_results.txt.

Results

Comparaison de l’annotation holistique et de l’annotation en blocs sur un ensemble de données public

L’évaluation a été réalisée sur un ensemble de données public comprenant 210 images EBike collectées sur des scènes de surveillance ouverte et de surveillance du trafic, avec des conditions d’éclairage variées, des couleurs EBike et des degrés variables d’occlusion. Chaque image était annotée à la fois en utilisant la méthode holistique (boîte ...

Discussion

Étapes critiques

Une étape cruciale de ce protocole est la méthode d’annotation en blocs basée sur des caractéristiques locales, où les EBikes sont segmentés en zones de roue, avant et arrière. Cette division garantit que les modèles de détection peuvent apprendre des représentations fines, ce qui s’est avéré essentiel dans les environnements d’ascenseurs à forte occlusion. Par exemple, YOLOv5 entraîné avec des annotations en blocs sur le jeu...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	Groupe HDF	2.10.0
matplotlib (SSD)	Communauté Matplotlib	3.1.2
matplotlib (YOLOv10)	Communauté Matplotlib	3.9.0
matplotlib (YOLOv5)	Communauté Matplotlib	3.8.4
matplotlib (YOLOv5+SAHI)	Communauté Matplotlib	3.8.4
matplotlib (YOLOv8-Seg)	Communauté Matplotlib	3.9.0
numpy (SSD)	Communauté NumPy	1.17.0
numpy (YOLOv10)	Communauté NumPy	1.26.3
numpy (YOLOv5)	Communauté NumPy	1.26.4
numpy (YOLOv5+SAHI)	Communauté NumPy	1.26.4
numpy (YOLOv8-Seg)	Communauté NumPy	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	Microsoft	1.15.1
onnxruntime (YOLOv5)	Microsoft	1.15.1
onnxruntime (YOLOv5+SAHI)	Microsoft	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
Pandas (YOLOv10)	Communauté Pandas	2.2.2
Pandas (YOLOv5)	Communauté Pandas	2.2.2
Pandas (YOLOv5+SAHI)	Communauté Pandas	2.2.2
pandas (YOLOv8-Seg)	Communauté Pandas	2.2.2
Oreiller (SSD)	Développeurs d’oreillers	8.2.0
Oreiller (YOLOv10)	Développeurs d’oreillers	10.2.0
Oreiller (YOLOv5)	Développeurs d’oreillers	8.5.0
Oreiller (YOLOv5+SAHI)	Développeurs d’oreillers	8.5.0
Oreiller (YOLOv8-Seg)	Développeurs d’oreillers	10.2.0
psutil (YOLOv10)	Développeurs Psutil	5.9.8
psutil (YOLOv5)	Développeurs Psutil	5.9.8
psutil (YOLOv5+SAHI)	Développeurs Psutil	5.9.8
pycocotools (YOLOv10)	COCO Consortium	2.0.7
pycocotools (YOLOv5)	COCO Consortium	2.0.7
pycocotools (YOLOv5+SAHI)	COCO Consortium	2.0.7
pycocotools (YOLOv8-Seg)	COCO Consortium	2.0.7
py-cpuinfo (YOLOv10)	Développeurs Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5)	Développeurs Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Développeurs Py-CPUInfo	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
requêtes (SSD)	Requêtes Python	2.27.1
requêtes (YOLOv10)	Requêtes Python	2.32.3
requêtes (YOLOv5)	Requêtes Python	2.31.0
requêtes (YOLOv5+SAHI)	Requêtes Python	2.31.0
SAHI	Développeurs SAHI	0.3.4+
scipy (SSD)	Communauté SciPy	1.2.1
scipy (YOLOv10)	Communauté SciPy	1.13.0
scipy (YOLOv5)	Communauté SciPy	1.13.0
scipy (YOLOv5+SAHI)	Communauté SciPy	1.13.0
scipy (YOLOv8-Seg)	Communauté SciPy	1.13.0
Seaborn (YOLOv10)	Développeurs Seaborn	0.13.2
Seaborn (YOLOv5)	Développeurs Seaborn	0.13.2
seaborn (YOLOv5+SAHI)	Développeurs Seaborn	0.13.2
seaborn (YOLOv8-Seg)	Développeurs Seaborn	0.13.2
Formé (YOLOv5+SAHI)	Développeurs Shapely	2.0.4
SSD	Auteurs Caffe/Original SSD	Python 3.6.13+ ; PyTorch 1.2.0+ ; CUDA 10.0 ; CUDNN 7.4.1
Tensorboard (SSD)	Google	2.10.1
Tensorboard (YOLOv5)	Google	2.16.2
Tensorboard (YOLOv5+SAHI)	Google	2.16.2
Torchvision (SSD)	PyTorch	0.4.0
Torchvision (YOLOv10)	PyTorch	0.15.2
Torchvision (YOLOv5)	PyTorch	0.17.2
torchvision (YOLOv5+SAHI)	PyTorch	0.17.2
Torchvision (YOLOv8-Seg)	PyTorch	0.16.1+
tqdm (SSD)	Développeurs TQDM	4.60.0
tqdm (YOLOv10)	Développeurs TQDM	4.66.4
tqdm (YOLOv5)	Développeurs TQDM	4.66.2
tqdm (YOLOv5+SAHI)	Développeurs TQDM	4.66.2
Ultralytiques (YOLOv8-Seg)	Ultralytiques	8.2.99+
YOLOv10	Équipe YOLOv10	Python 3.8.0+ ; PyTorch 2.0.1+cu118 ; CUDA 11,8 ; CUDNN 8.7
YOLOv5	Ultralytiques	Python 3.8.0+ ; PyTorch 2.2.2+ ; CUDA 11.2 ; CUDNN 8.1.2
YOLOv5 + SAHI	Ultralytiques + Développeurs SAHI	Python 3.8.0+ ; PyTorch 2.2.2+ ; CUDA 11.2 ; CUDNN 8.1.2
YOLOv8-Seg	Ultralytiques	Python 3.8.0+ ; PyTorch 2.0.1+cu118 ; CUDA 11,8 ; CUDNN 8.6.0+