Method Article

Conception et mise en œuvre d’un cadre de détection piétonne basé sur un réseau de portes programmable sur le terrain pour une application de conduite autonome

DOI:

10.3791/70292

June 12th, 2026

* These authors contributed equally

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cet article de recherche démontre la mise en œuvre d’un algorithme de détection piéton en temps réel sur du matériel de réseau de portes programmable sur le terrain, principalement pour des applications de conduite autonome. L’algorithme combine l’histogramme des gradients orientés (HoG) avec un classificateur de machine à vecteurs de support (SVM), et les résultats montrent une efficacité en termes de vitesse, consommation d’énergie et d’utilisation des ressources.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La conduite autonome offre une manière prometteuse de faire face à l’augmentation du nombre de décès dus aux accidents de la route. Un véhicule autonome comprend de nombreuses fonctionnalités, mais la capacité à détecter les piétons est cruciale, stimulante et pertinente pour diverses situations en temps réel telles que la surveillance, le suivi des personnes et la surveillance. Identifier précisément les piétons est difficile car ils peuvent apparaître sous différentes formes, positions et postures. Ils peuvent porter divers types de vêtements et parfois être partiellement cachés ou se fondre dans les objets à proximité. Cet article se concentre sur la détection en temps réel des piétons pour les voitures autonomes à l’aide d’une plateforme matérielle populaire : le field programmable gate array (FPGA), Ultra 96 v2. L’étude met en œuvre une méthode de détection des piétons basée sur un histogramme de gradients orientés (HOG) combiné à un classificateur de machine à vecteurs de support (SVM) pour reconnaître les individus sur la carte FPGA, en tirant parti d’outils de synthèse de haut niveau (HLS). L’efficacité du système a été testée à la fois sur des images fixes et sur la vidéo en direct. Les résultats montrent que les cartes FPGA avancées comme l’Ultra 96 v2 améliorent significativement les indicateurs de performance. Le système fonctionne à une fréquence d’horloge de 150 MHz en utilisant moins de la moitié des ressources disponibles et consommant environ 2,5 W d’énergie. De plus, le système rapporte une précision de détection des piétons proche de 95 % ainsi que d’autres indicateurs efficaces pour l’évaluation de la détection, tels que la précision (78,6 %), le rappel (88,3 %) et le score F1 (83,1 %). En résumé, le système développé peut détecter les piétons en temps réel et a le potentiel d’améliorer significativement la mise en place d’un environnement de transport intelligent et sûr.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Le développement urbain et l’émergence des villes intelligentes sont des sujets d’intérêt à travers le monde. Toutes les nations œuvrent au développement de leurs villes qui peuvent être construites de manière à être sûres et confortables pour leshabitants 1,2. Mais dans la situation actuelle, il a été observé qu’à mesure que la population augmente et que la congestion routière augmente, le taux de décès dus à des accidents de la route dus à la négligence au volant et à la mauvaise visibilité augmente de manière alarmante. Une solution prometteuse à ces problèmes est l’émergence des véhicules autonomes dans le monde, ce qui a suscité l’innovation 1,2,3,4, et les chercheurs s’efforcent de développer des véhicules entièrement autonomes capables de permettre aux passagers de se détendre sans aucune préoccupation. Le besoin de développer des véhicules autonomes découle du fait que même les conducteurs expérimentés peuvent faire face au stress, aux dilemmes, à la fatigue ou à des difficultés à percevoir leur environnement en raison du mauvais temps, et tous ces problèmes conduisent à des accidents de la route. Un véhicule autonome est conçu pour éviter les accidents en circulation, optimiser l’utilisation des ressources du moteur et respecter le code de la route, ce qui améliorera sans aucun doute lestransports 2,4. Un véhicule autonome est équipé de multiples fonctionnalités, capteurs et fonctionnalités qui lui permettent de percevoir son environnement avec une grande précision, évitant ainsi toute collision et accident, et c’est pourquoi ils se sont imposés comme une solution prometteuse pour rendre le transport sûret sécurisé 1,2,3,4.

Parmi toutes les fonctionnalités intégrées à un véhicule autonome, l’une des plus essentielles est la détection des piétons. Un système robuste de détection des piétons peut contribuer significativement à réduire les décès d’accidents de la route 5,6,7,8, car la majorité des victimes de ces accidents sont des piétons. La détection des piétons consiste à identifier les personnes sur la route et à éviter toute collision avec elles. Cette fonctionnalité est bénéfique non seulement pour les voitures autonomes, mais aussi pour divers autres domaines d’application tels que la surveillance des foules, l’identification des personnes et le suivi9, 10, 11. L’aspect clé de ce processus de détection est la rapidité et la précision de la détection. Il est crucial de détecter les piétons avec précision et rapidité afin que le temps de réponse soit minimal. La détection des piétons pose un énorme défi. Les piétons sur la route peuvent porter n’importe quel vêtement, apparence ou posture, et peuvent être invisibles en raison du mauvais temps ou de l’obstruction 10,11,12,13,14. De plus, il est tout à fait possible que les piétons ne respectent pas eux-mêmes les règles, et on ne peut pas contrôler la nature humaine, donc la meilleure approche possible est d’équiper le véhicule de l’intelligence nécessaire pour gérer toute mauvaise action et éviter des décès. Le déroulement complet des travaux menés dans cette recherche et la motivation derrière la mise en œuvre matérielle de la détection des piétons peuvent être facilement compris à partir de la Figure 1 ci-dessous, qui explique la nécessité de la détection des piétons, ses différents domaines d’application, les défis liés et la mise en œuvre sur un FPGA pour exploiter les avantages offerts.

Figure 1
Figure 1 : Détection des piétons. Le besoin de détection des piétons, les domaines clés d’application de la détection des piétons, les défis liés à la détection des piétons, et la mise en œuvre du flux de détection des piétons sur une carte FPGA. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Pour identifier les piétons sur la route, de nombreux algorithmes existent. Cette tâche globale peut être principalement divisée en deux sous-tâches principales : l’étape initiale extrait des caractéristiques d’une image d’entrée, ne conservant que celles qui sont significatives et transmettent des informations pertinentes, tout en ignorant les données redondantes. Pour une reconnaissance efficace des humains ou des piétons dans une image, il est crucial que ces caractéristiques indiquent la présence d’une figure humaine dans la scène13,14. Après cette extraction, les caractéristiques doivent être envoyées à un classificateur capable de déterminer si les caractéristiques identifiées correspondent à un humain. Par conséquent, l’algorithme nécessite une phase d’extraction et de description des caractéristiques, suivie d’une étape de classification pour déterminer la présence des piétons dans la scène d’entrée. Il existe divers algorithmes disponibles à cet effet. Cependant, la méthode la plus largement acceptée à ce jour pour la détection des piétons reste la combinaison de l’histogramme des gradients orientés (HoG) avec le classificateur12,13,14,15 de la machine à vecteurs de support (SVM). De nombreux exemples d’avancées logicielles existent, mais l’objectif final est de porter l’implémentation vers une plateforme matérielle compatible, qui pourra ensuite être intégrée au système applicatif pour une utilisation en temps réel. Par conséquent, l’accent actuel est mis sur la réalisation matérielle. Il est donc nécessaire de développer une mise en œuvre matérielle adaptée des systèmes de détection des piétons, où des caméras équipées du matériel approprié puissent être déployées sur les véhicules et identifier les piétons sur la route. Lorsqu’on considère quel matériel est approprié pour de telles implémentations, l’une des options les plus couramment utilisées est le réseau de portes programmable sur le terrain (FPGA) en raison de ses nombreux avantages, notamment la réduction du temps de conception, la scalabilité, la facilité de modification, la reconfigurabilité, ainsi que la moindre consommation d’énergie etd’énergie 15,16,17,18,19,20,21.22.

Les cartes FPGA ont constamment évolué et sont désormais largement utilisées pour des applications complexes et avancées de vision par ordinateur allant du traitement d’image basique à la détection d’objets, la réalité augmentée et l’apprentissageprofond 20, 21, 22. Actuellement, plusieurs cartes FPGA haute performance offrent des capacités architecturales exceptionnelles pour accueillir le traitement étendu requis pour ces applications complexes. Si les fonctionnalités avancées des véhicules autonomes, telles que la détection des piétons, sont mises en œuvre sur de telles plateformes matérielles, ces plateformes peuvent être très utiles pour le développement rapide de prototypes afin d’analyser les performances et, après optimisation, l’algorithme implémenté peut être transféré vers de véritables circuits intégrés pour être intégré au système.

Depuis plus d’une décennie, des publications importantes ont été publiées sur la mise en œuvre de la détection des piétons utilisant les méthodes HoG et SVM sur différentes plateformes FPGA. Le tableau 1 résume les articles dans ce domaine durant la période de 2015 à 2025 : 15,16,17,18,19,20,21,22,23,24, en se concentrant sur les facteurs clés tels que la résolution de l’image, le débit, ou les images par seconde (FPS), le type de classificateur, ainsi que les points forts ou les contributions apportées par le papier.

RéférencePlateforme FPGARésolution de l’imageClassificateurFaits forts / contributions
15Xilinx Zynq640×480AdaBoostMise en œuvre FPGA en temps réel ; économe en ressources ; utilise la binarisation pour l’optimisation ; Bonne précision de détection.
16Carte DE1-SOC de Terasic640×480SVMExtracteur HOG haute performance ; intègre la SVM ; détection à échelle unique ; pipeline à faible latence.
17Altera DE2-115640×480AdaBoostÉvalue la performance sous plusieurs angles ; Implémentation FPGA de HOG+AdaBoost ; détection des piétons en temps réel.
18Intel Stratix V640×480SVMdétection des piétons à plusieurs échelles ; pipeline HOG+SVM compatible avec FPGA ; Met en évidence les compromis entre précision et efficacité matérielle.
19Zynq UltraScale+ MPSoC3840×2160SVMTraitement UHD en temps réel ; HOG+SVM pipeline ; Mise en œuvre du SoC FPGA ; optimisation en virgule fixe ; Architecture évolutive.
20Non spécifiéNon spécifiéSVMAtteint une précision de détection de >95 % ; implémentation FPGA en temps réel ; exploite le parallélisme ; conception détaillée de FPGA HOG+SVM pour la détection des piétons.
21Zync 7000 FPGA1920×1080SVMArchitecture de flux à haut débit pour HOG+SVM ; prend en charge la résolution HD ; pipeline efficace pour l’accélération FPGA.
22Ultra96 (rev1)240×320SVMimplémentation FPGA utilisant HLS ; détecte les feux rouges ; calcule les probabilités dans 891 régions ; La latence varie de 153 838 à 19 cycles.
23Xilinx Zynq-7000 FPGA640 × 480HOG + SVMA implémenté la détection des piétons via HOG-SVM sur FPGA, obtenant des performances en temps réel avec une consommation d’énergie réduite par rapport au traitement CPU. Pipeline d’extraction de caractéristiques optimisé démontré, adapté aux applications de vision embarquée.
24Xilinx Virtex-6 FPGA640 × 480Détecteur d’objets à point fixe (caractéristiques de type Haar)Proposition d’accélération FPGA à haut débit de la détection d’objets utilisant l’arithmétique à virgule fixe, réduisant le coût de calcul tout en maintenant la précision. A montré une accélération de 15× par rapport aux implémentations CPU avec une utilisation efficace des ressources matérielles.

Tableau 1 : Revue de la littérature des recherches basées sur la détection des piétons sur FPGA (2015–2025).

Le tableau 1 résume qu’il existe une littérature abondante dans le domaine de la détection des piétons, et que la mise en œuvre matérielle est le domaine d’intérêt des chercheurs. Il est également évident qu’il existe des techniques avancées d’apprentissage profond et d’apprentissage automatique, telles que des détecteurs basés sur des réseaux de neurones convolutionnels (CNN) comme YOLO, des architectures basées sur des transformateurs, etc., pour la détection des piétons. Ils surpassent même l’algorithme HoG traditionnel en termes de précision, mais lorsqu’on considère la mise en œuvre matérielle, les algorithmes avancés entraînent une utilisation massive des ressources23,24 en raison de la complexité de l’algorithme, ce qui peut aussi affecter d’autres paramètres de performance, et il a également été observé qu’en raison de la complexité ajoutée, la vitesse est légèrement supérieure dans le cas de l’algorithme HoGtraditionnel 24, 25. Il a également été observé que les techniques avancées consomment plus d’énergie lorsqu’elles sont implémentées sur du matériel24,26. Ainsi, l’objectif du travail mis en œuvre dans cet article est de réaliser la détection des piétons en utilisant le cadre traditionnel HoG et SVM sur le matériel FPGA et d’obtenir un compromis favorable entre précision, vitesse, ressources et puissance pour l’intégration en temps réel. D’après le tableau 1, il est assez clair que lorsque les travaux basés sur HoG et SVM sont analysés, on observe qu’il existe peu de publications ayant utilisé la carte de développement FPGA27 récemment introduite Zynq UltraScale+ (Multi-Processor System On Chip) basée sur FPGA pour explorer les capacités de ces cartes, car du point de vue de l’architecture, ces cartes ont évolué. et offrent un grand potentiel en termes de mise en œuvre d’applications de vision par ordinateur en temps réel haut de gamme. Il existe peu de publications qui ont réalisé l’intégralité du système de détection des piétons en temps réel sur les cartes FPGA. Cependant, ils se sont concentrés sur la mise en œuvre ou l’amélioration efficace des tâches intermédiaires. De plus, la plupart de ces implémentations reposent sur la réalisation de l’ensemble du système sur une carte FPGA grâce à l’utilisation de langages de description matérielle. Peu ont exploité les avantages des outils de synthèse de haut niveau (HLS) pour accélérer le cycle de conception. Cet article démontre la conception et la mise en œuvre de la détection piétonne en temps réel sur une carte FPGA dédiée à une application de conduite autonome. L’article utilise le cadre HoG et SVM pour la détection des piétons sur des images fixes, des vidéos ou des entrées réelles de caméra. Le matériel utilisé est une carte FPGA de pointe récemment lancée, l’Ultra96 v2, qui est une architecture FPGA avancée offrant une plateforme puissante pour la vision par ordinateur, le traitement d’images, l’apprentissage automatique, l’informatique de bord, etc.24. L’Ultra96 v2 est une carte de développement équipée d’un AMD Xilinx Zynq UltraScale+MPSoC 27 basé sur Arm. Cette carte comprend le segment système de traitement (PS), qui comprend des cœurs CPU basés sur ARM gérant les aspects logiciels du projet, ainsi que le segment Logique Programmable (PL) qui permet une accélération matériellepersonnalisable 20, 21, 22. Ensemble, ces composants améliorent la fonctionnalité d’un système hybride, où la partie PS gère le contrôle et l’interaction avec les éléments externes, tandis que la partie PL gère la logique de traitement réelle.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La procédure de mise en œuvre utilisée dans cette recherche, basée sur la détection des piétons avec HoG + SVM sur une carte FPGA, tirant parti des avantages de la synthèse de haut niveau, est illustrée à la Figure 2 ci-dessous.

Figure 2
Figure 2 : Procédure de conception pour la mise en œuvre de la détection des piétons sur la carte FPGA. Phase 1 : Algorithme de détection des piétons utilisant HoG+SVM sur l’outil HLS et génération du bloc IP. Phase 2 : Algorithme de détection des piétons utilisant HoG+SVM pour l’implémentation réelle du FPGA et la génération du fichier bit. Phase 3 : Programmation de la carte avec le fichier bit généré. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

1. Détection des piétons en utilisant HoG et SVM sur l’outil HLS

  1. Téléchargez l’Environnement de Développement Intégré (IDE) Python en fonction des propriétés système sur lesquelles le téléchargement est effectué.
    REMARQUE : Dans ce travail, la version Python 3.10 est utilisée.
  2. Exécutez un script Python pour exécuter un modèle d’entraînement en utilisant l’algorithme HoG et le classificateur SVM. Commencez le script par le chargement des échantillons positifs et négatifs à partir du jeu de données.
    REMARQUE : Utilisez l’ensemble de donnéesINRIA 11.
  3. Extraire les caractéristiques HoG pour une fenêtre de 64 x 128.
  4. Séparez les données d’entraînement et de test du jeu de données INRIA en un ratio de 80/20 avec un mélange aléatoire pour la reproductibilité.
    REMARQUE : Le jeu de données est aléatoirement aléatoirement aléatoire à l’aide de la fonction python avant de diviser les données. Assurer la reproductibilité afin que la même division soit effectuée à chaque fois qu’une valeur de départ est fixée dans le code.
  5. Entraînez-vous en utilisant la SVM de classification vectorielle de support C (SVC) avec un noyau linéaire.
  6. Extraire les vecteurs de poids et le biais.
  7. Sauvegardez les poids SVM et le biais au format Q8.8 à virgule fixe pour l’implémentation FPGA.
    REMARQUE : La conversion s’effectue en mettant à l’échelle chaque valeur en virgule flottante l’originalité générée par un facteur de 256 (28) et en convertissant le résultat en entier.
  8. Testez le modèle entraîné via un autre script Python et ajustez le paramètre de régularisation C, jusqu’à ce que la précision soit calculée à plus de 95 %.
    REMARQUE : Paramètre de régularisation optimisé obtenu : C = 0,05.
  9. Ouvre l’outil HLS et crée un nouveau projet avec le numéro de pièce sélectionné comme xczu3eg-sbva484-1-e.
  10. Écrivez un code de détection de piétons sur l’outil de synthèse de haut niveau en utilisant des langages de haut niveau comme C++.
  11. Dans le code, écrivez trois scripts C++ différents : un pour le descripteur de caractéristique HoG et le classificateur SVM, un autre pour le banc d’essai afin de fournir une entrée aux images de test et sauvegarder les images de sortie, et le troisième pour un fichier d’en-tête qui déclare les paramètres utilisés dans le code.
  12. Dans le code pour le calcul des caractéristiques HoG, redimensionnez l’image à 640 x 480 et appliquez une architecture à fenêtre coulissante avec une taille de fenêtre de 64 x 128. Pour chaque fenêtre, calculez la magnitude et l’orientation du gradient pour chaque bloc de 8 x 8 qui se chevauche.
    REMARQUE : Il est important de parcourir l’image entière à travers le concept de fenêtre coulissante afin que chaque zone de l’image soit couverte et que les piétons de toutes tailles possibles soient identifiés.
  13. Dans l’autre partie du même code pour le descripteur de caractéristiques HoG, passez les gradients calculés au classificateur SVM. Écrivez le code pour associer les caractéristiques aux poids du classificateur et comparez avec le seuil pour classer la caractéristique détectée comme étant humaine ou non.
  14. Cliquez sur Exécuter la simulation C dans l’outil HLS pour simuler le code à l’aide d’un établi de test afin de vérifier la correction fonctionnelle du code.
  15. Fournissez différentes images d’entrée au code et vérifiez les images de sortie avec les piétons détectés.
  16. Cliquez sur Exécuter C Synthèse pour synthétiser le code afin de le mapper aux langages matériels via l’outil et générer les rapports de timing et d’utilisation.
    REMARQUE : L’outil ouvre automatiquement les rapports de synthèse HLS. Ce rapport montre l’estimation de la fréquence d’horloge requise pour implémenter la tâche codée sur une plateforme FPGA sélectionnée, et fournit également une estimation des ressources utilisées. Ces valeurs rapportées ne sont que des estimations et les paramètres réels ne sont calculés qu’après leur mise en œuvre sur la carte FPGA.
  17. Cliquez sur Exporter RTL pour exporter le bloc de propriété intellectuelle (IP) de l’algorithme HoG de détection des piétons.
    REMARQUE : Cette IP doit être utilisée dans les étapes ultérieures de la mise en œuvre.

2. Programmation de la carte FPGA

  1. Ouvre l’outil de programmation FPGA et crée un nouveau projet. Sélectionnez le numéro de pièce comme xczu3eg-sbva484-1-e et créez un nouveau design de bloc.
    REMARQUE : Ce schéma en blocs est créé pour établir l’intégration entre la partie PS et la partie PL de la carte FPGA. Le protocole de communication utilisé est le protocole Advanced eXtensible Interface (AXI).
  2. Cherchez le catalogue IP dans l’outil et, une fois trouvé, ouvrez-le.
  3. Créez un dépôt utilisateur en ajoutant le chemin de l’IP RTL exportée à l’étape 1.17.
  4. Dans la nouvelle fenêtre de conception de blocs , faites maintenant un clic droit et sélectionnez ajouter une adresse IP. Toutes les IP seront visibles, y compris celles fournies par l’outil ainsi que les dépôts ajoutés par l’utilisateur.
  5. Ajoutez le bloc PS Zync Ultrascale depuis le dépôt.
    REMARQUE : Ce bloc reflète la partie PS du système, responsable de la génération des fréquences requises, et il possède également les ports maître et esclave pour la connexion à l’IP HoG importée via le bloc d’interconnexion AXI, qui fonctionne sur les fondamentaux du protocole AXI.
  6. Ajoutez 8 IP HoG car le système traitera 8 fenêtres simultanément pour tirer parti de l’avantage du parallélisme offert par la carte FPGA.
  7. Ajoutez un bloc de réinitialisation du système processeur , qui contrôle également l’horloge et les alimentations de chaque bloc du schéma.
  8. Ajoutez deux blocs axi_smart connect pour connecter les IP HoG avec le bloc PS Zync. Le schéma bloc complet avec les connexions complètes est montré à la Figure 3.
    REMARQUE : Comme montré à la Figure 3, tous les blocs à ajouter à la conception ont été clairement illustrés. La figure 3 est capturée à partir de l’outil et elle montre les ports internes de chaque bloc ainsi que les interconnexions entre les ports des différents blocs. Ce bloc est la conception principale car il est responsable de l’établissement de l’interface entre la partie PS et la partie PL de la carte FPGA.
  9. Après avoir complété les connexions comme indiqué à la Figure 3, cliquez sur valider la conception.
    REMARQUE : La validation vérifie essentiellement les connexions manquantes ou cassées, ce qui peut entraîner des problèmes à des étapes ultérieures.
  10. Cliquez sur synthèse puis implémentez la conception dans le tool après que la validation du diagramme bloc ait été réussie.
    REMARQUE : Synthèse cartographie le schéma en blocs conçu et le mappe sur la carte FPGA. Cette étape signalera toute infraction pouvant indiquer que la conception ne peut pas être implémentée sur le matériel.
  11. L’outil générera également des rapports liés au timing, à l’utilisation des ressources et à la consommation d’énergie. Examinez attentivement les rapports pour vérifier toute violation du timing et analysez les performances du système conçu.
  12. Cliquez sur Générer le fichier du flux binaire qui générera le fichier .bit nécessaire à la programmation de la carte FPGA.

Figure 3
Figure 3 : Diagramme bloc pour la détection des piétons utilisant HoG + SVM IP importée. Veuillez cliquer ici pour voir une version agrandie de cette figure.

3. Implémentation finale sur la carte FPGA

  1. Prends la carte FPGA et insère la carte SD avec le bon fichier image dans le slot de la carte.
  2. Connecte aussi la carte à l’ordinateur.
  3. Démarrez la carte FPGA en mode carte SD pour activer la programmation Pythondessus 21,22.
  4. Accédez à la plateforme Jupyter sur la carte après l’avoir connectée au wifi.
  5. Connectez une webcam à la carte.
  6. Écrivez un code Python pour importer le fichier bit généré et effectuez la tâche d’accès aux images de la caméra.
  7. Dans le code, écrivez le script de façon à ce que l’image soit écrite dans la mémoire de la carte FPGA via la partie PS et transmise à la partie PL pour traitement.
    REMARQUE : La partie PL du tableau correspondant aux IP HoG accède aux pixels de l’image via ces emplacements mémoire, les traite et fournit les scores en sortie.
  8. Écrivez le code approprié dans le même script Python pour lire les images traitées et les afficher à l’écran de l’ordinateur.
    REMARQUE : Cela complète l’ensemble de la conception et le système est désormais prêt à être déployé dans des applications réelles. Tous les codes utilisés dans cette étude sont téléchargés sous forme de fichiers de codage supplémentaires (Fichier Supplémentaire 1 [Script_1_train_test.py], Fichier Supplémentaire 2 [Script_2_HLS_hog.cpp], Fichier Supplémentaire 3 [Script_3_HLS_test_bench.cpp], Fichier Supplémentaire 4 [Script_4_HLS_consts.h], Fichier Supplémentaire 5 [Script_5_jupyter_code.txt]).

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Implémentation de la détection piétonne sur HLS
La figure 4 montre les résultats de simulation sur l’outil HLS pour la détection des piétons en utilisant HoG + SVM. Une image d’entrée avec un piéton est envoyée comme entrée de test au code, et la sortie avec les piétons détectés est affichée. L’image comporte deux sections. La première détection montre de nombreuses boîtes englobantes autour du même piéton, encore et encore, et dans la seconde image, les boîtes qui se ch...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cette étude met en œuvre efficacement un système de détection des piétons en temps réel utilisant l’algorithme HoG + SVM sur du matériel FPGA avancé basé sur la carte de développement Zynq UltraScale+MPSoC 24. Les résultats indiquent que l’algorithme HoG traditionnel de détectionhumaine 11 atteint une précision proche de 95 % et n’utilise que la moitié des ressources FPGA embarquées (LUT, FF, BRAM, DSP), laissant une énorme capacité d’inclu...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs déclarent qu’ils n’ont aucun conflit d’intérêts.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
PythonPythonVersion 3.10
Ultra 96 V2 FPGA Board Xilinx Introduit en 2018Plate-forme de mise en œuvre matérielle utilisée pour implémenter l'algorithme de détection des piétons
Vivado AMD2019.2Outil de programmation FPGA utilisé pour programmer la carte FPGA Ultra 96 v2 avec l'algorithme de détection des piétons 
Vivado HLS AMD2019.2Outil de synthèse de haut niveau utilisé pour la programmation de haut niveau du code de détection des piétons dans l'article afin d'exporter la propriété intellectuelle (IP)

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Nkuzo, L., Sibiya, M., Markus, E. Computer vision-based applications in modern cars for safety purposes: A systematic literature review. 2023 Conference on Information Communications Technology and Society (ICTAS), Durban, South Africa, , (2023).
  2. Nidamanuri, J., Nibhanupudi, C., Assfalg, R., Venkataraman, H. A progressive review - Emerging technologies for ADAS driven solutions. IEEE Trans Intell Veh. 7 (2), 326-341 (2021).
  3. Bathla, G., et al. Autonomous vehicles and intelligent automation: Applications, challenges, and opportunities. Mob Inf Syst. 2022, 7632892(2022).
  4. Yamamoto, R., Izumi, Y., Aono, R., Nagahara, T., Tanaka, T., Liao, W., Mitsuyama, Y. Development of autonomous driving system based on image recognition using programmable SoCs. 2021 International Conference on Field-Programmable Technology (ICFPT), Auckland, New Zealand, , (2021).
  5. Kasem, A., Reda, A., Vásárhelyi, J., Bouzid, A. A survey about intelligent solutions for autonomous vehicles based on FPGA. Carpathian J Electr Comput Eng. , (2021).
  6. Nane, R., et al. A survey and evaluation of FPGA high-level synthesis tools. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems. 35 (10), 1591-1604 (2015).
  7. Cao, J., et al. Pedestrian detection algorithm for intelligent vehicles in complex scenarios. Sensors. 20 (13), 3646(2020).
  8. Chen, W., Zhu, Y., Tian, Z., Zhang, F., Yao, M. Occlusion and multi-scale pedestrian detection: a review. Array. 19, 100318(2023).
  9. Galvao, L. G., Abbod, M., Kalganova, T., Palade, V., Huda, M. N. Pedestrian and vehicle detection in autonomous vehicle perception systems—A review. Sensors. 21 (21), 7267(2021).
  10. Akshayaa, S., Nithin, S. Comparative study of pedestrian detection techniques for driver assistance system. 2021 Second International Conference on Electronics and Sustainable Communication Systems (ICESC), Coimbatore, India, , (2021).
  11. Dalal, N., Triggs, B. Histograms of oriented gradients for human detection. Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), San Diego, CA, USA, , (2005).
  12. Singh, G., Kaur, A., Bhardwaj, V., Shrivastava, S. Optimizing IoT capabilities: leveraging FPGA for superior performance, efficiency and security. 2024 5th International Conference for Emerging Technology (INCET), Belgaum, India, , (2024).
  13. Shrivastava, S., Kumar, B. V., Gupta, R., Sharma, V. Advancements in real-time image processing using Kintex and Virtex FPGAs: enhancing speed, efficiency, and versatility. 2025 IEEE International Conference on Interdisciplinary Approaches in Technology and Management for Social Innovation (IATMSI), Gwalior, India, , (2025).
  14. Rettkowski, J., Boutros, A., Göhringer, D. Real-time pedestrian detection on a Xilinx Zynq using the HOG algorithm. 2015 International Conference on Reconfigurable Computing and FPGAs (ReConFig), Riviera Maya, Mexico, , (2015).
  15. Ngo, V., Casadevall, A., Codina, M., Castells-Rufas, D., Carrabina, J. A high-performance HOG extractor on FPGA. arXiv. , 1802.02187(2018).
  16. Adiono, T., Prakoso, K. S., Putratama, C. D., Yuwono, B., Fuada, S. HOG-AdaBoost implementation for human detection employing FPGA ALTERA DE2-115. Int J Adv Comput Sci Appl. 9 (10), 353-358 (2018).
  17. Dürre, J., Paradzik, D., Blume, H. A HOG-based real-time and multi-scale pedestrian detector demonstration system on FPGA. Proceedings of the 2018 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, Monterey, California, USA, , (2018).
  18. Wasala, M., Kryjak, T. Real-time HOG+SVM based object detection using SoC FPGA for a UHD video stream. 2022 11th Mediterranean Conference on Embedded Computing (MECO), Budva, Montenegro, , (2022).
  19. Lin, Y. Research on HOG-SVM pedestrian detection method based on FPGA. Appl Computat Eng. 9, 272-281 (2023).
  20. Ranawaka, P., et al. Application specific architecture for hardware accelerating HOG-SVM to achieve high throughput on HD frames. 2019 IEEE 30th International Conference on Application-Specific Systems, Architectures and Processors (ASAP), New York, NY, USA, 2160, 131-134 (2019).
  21. Luo, J. H., Lin, C. H. Pure FPGA implementation of an HOG based real-time pedestrian detection system. Sensors. 18 (4), 1174(2018).
  22. Ma, X., Najjar, W. A., Roy-Chowdhury, A. K. Evaluation and acceleration of high-throughput fixed-point object detection on FPGAs. IEEE Transactions on Circuits and Systems for Video Technology. 25 (6), 1051-1062 (2015).
  23. Weng, G. Real-time pedestrian recognition on low computational resources. arXiv. , 2309.01353(2023).
  24. Nguyen, T. A., Tran-Thi, T. Q., Bui, D. H., Tran, X. T. FPGA-based human detection system using HOG-SVM algorithm. 2023 International Conference on Advanced Technologies for Communications (ATC), Da Nang, Vietnam, , (2023).
  25. Tarchoun, B., Khalifa, A. B., Dhifallah, S., Jegham, I., Mahjoub, M. A. Hand-crafted features vs deep learning for pedestrian detection in moving camera. Traitement du Signal. 37 (2), 209-216 (2020).
  26. Suleiman, A., Chen, Y. H., Emer, J., Sze, V. Towards closing the energy gap between HOG and CNN features for embedded vision. 2017 IEEE International Symposium on Circuits and Systems (ISCAS), Baltimore, MD, USA, , (2017).
  27. Ultra96-V2 Single Board Computer Hardware User’s Guide. , Avnet. Available from: https://www.avnet.com (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Pedestrian DetectionAutonomous DrivingField Programmable Gate ArrayFPGA ImplementationReal Time DetectionHistogram Of Oriented GradientsSupport Vector MachineHigh Level SynthesisUltra 96 V2Smart Transportation

Related Articles