Ontwerp en implementatie van een veldprogrammeerbaar poortarray-gebaseerd voetgangersdetectieframework voor autonome rijtoepassingen

Summary

Dit onderzoeksartikel demonstreert de implementatie van een realtime voetgangersdetectie-algoritme op veldprogrammeerbare gate-arrayhardware, voornamelijk voor autonome rijtoepassingen. Het algoritme combineert het histogram van georiënteerde gradiënten (HoG) met een support vector machine (SVM) classifier, en de resultaten tonen efficiëntie in termen van snelheid, energieverbruik en middelengebruik.

Abstract

Autonoom rijden biedt een veelbelovende manier om het toenemende aantal dodelijke slachtoffers door verkeersongevallen aan te pakken. Een autonoom voertuig heeft veel functies, maar het vermogen om voetgangers te detecteren is cruciaal, uitdagend en relevant voor verschillende realtime situaties zoals bewaking, het volgen van mensen en monitoring. Het nauwkeurig identificeren van voetgangers is moeilijk omdat ze in verschillende vormen, posities en houdingen kunnen verschijnen. Ze kunnen verschillende soorten kleding dragen en soms gedeeltelijk verborgen zijn of opgaan in nabijgelegen objecten. Dit artikel richt zich op de realtime detectie van voetgangers voor zelfrijdende auto's met behulp van een populair hardwareplatform: de field programmable gate array (FPGA), Ultra 96 v2. De studie implementeert een methode voor voetgangersdetectie gebaseerd op een histogram van georiënteerde gradiënten (HOG) gecombineerd met een support vector machine (SVM) classifier om individuen op het FPGA-bord te herkennen, gebruikmakend van high-level synthesis (HLS) tools. De effectiviteit van het systeem is getest op zowel stilstaande beelden als live video. De resultaten tonen aan dat geavanceerde FPGA-kaarten zoals de Ultra 96 v2 de prestatie-indicatoren aanzienlijk verbeteren. Het systeem werkt op een kloksnelheid van 150 MHz, gebruikt minder dan de helft van de beschikbare middelen en verbruikt ongeveer 2,5 W vermogen. Ook rapporteert het systeem de nauwkeurigheid van voetgangersdetectie rond 95% en andere efficiënte indicatoren voor detectie-evaluatie, zoals precisie (78,6%), terugroep (88,3%) en F1-score (83,1%). Samenvattend kan het ontwikkelde systeem voetgangers in realtime detecteren en heeft het het potentieel om de ontwikkeling van een slimme en veilige vervoersomgeving aanzienlijk te verbeteren.

Introduction

Stedelijke ontwikkeling en het ontstaan van slimme steden zijn wereldwijd interessante onderwerpen. Alle landen werken aan de ontwikkeling van hun steden die zo gebouwd kunnen worden dat ze veilig en comfortabel zijn voor de mensen die er wonen ^1,2. Maar in de huidige situatie is waargenomen dat, naarmate de bevolking groeit en de verkeerscongestie toeneemt, het aantal dodelijke slachtoffers als gevolg van verkeersongevallen door nalatigheid en slechte zichtproblemen alarmerend toeneemt. Een veelbelovende oplossing voor deze problemen is de opkomst van autonome voertuigen wereldwijd, wat innovatie heeft aangewakkerd ^1,2,3,4 en onderzoekers doen inspanningen om volledig autonome voertuigen te ontwikkelen waarmee passagiers zich zorgeloos kunnen ontspannen. De noodzaak voor de ontwikkeling van autonome voertuigen komt voort uit het feit dat zelfs ervaren bestuurders te maken kunnen krijgen met stress, dilemma's, vermoeidheid of moeite met het waarnemen van hun omgeving door slecht weer, en al deze problemen leiden tot verkeersonvallen. Een zelfrijdend voertuig is ontworpen om ongelukken tijdens het reizen te voorkomen, het motorverbruik te optimaliseren en te voldoen aan verkeersregels, wat het vervoer ongetwijfeld zal verbeteren ^2,4. Een autonoom voertuig is uitgerust met meerdere functies, sensoren en functies waarmee het zijn omgeving zeer nauwkeurig kan waarnemen en botsingen en ongelukken voorkomt, en daarom zijn ze nu uitgegroeid tot een veelbelovende oplossing om het transport veilig en beveiligd te maken 1,2,3,4.

Van alle functies die in een autonoom voertuig zijn opgenomen, is een van de belangrijkste de detectie van voetgangers. Een robuust voetgangersdetectiesysteem kan aanzienlijk bijdragen aan het verlagen van het aantal dodelijke^{slachtoffers bij} verkeersongevallen met ^5,6,7,8, aangezien de meerderheid van de slachtoffers van deze ongevallen voetgangers zijn. Voetgangersdetectie houdt in dat je personen op de weg identificeert en botsingen met hen vermijdt. Deze functie is niet alleen nuttig voor zelfrijdende auto's, maar ook voor diverse andere toepassingsgebieden zoals crowd monitoring, persoonsidentificatie en het volgen van ^9,10,11. Het belangrijkste aspect van dit detectieproces is de snelheid en nauwkeurigheid van de detectie. Het is cruciaal om voetgangers nauwkeurig en snel te detecteren, zodat de reactietijd minimaal is. Er is een enorme uitdaging door voetgangersdetectie. Voetgangers op de weg kunnen in elke kleding, uiterlijk of houding zijn en kunnen onzichtbaar zijn door slecht weer of occlusie 10,11,12,13,14. Bovendien is het heel goed mogelijk dat voetgangers de regels zelf niet volgen, en men kan de menselijke natuur niet beheersen, dus de beste aanpak is om het voertuig uit te rusten met de intelligentie om eventuele verkeerde acties uit te voeren en dodelijke slachtoffers te voorkomen. De volledige verloop van het werk in dit onderzoek en de motivatie achter de hardware-implementatie van voetgangersdetectie is eenvoudig te begrijpen uit Figuur 1 hieronder, die de noodzaak van voetgangersdetectie, de verschillende toepassingsgebieden, de uitdagingen en de implementatie op een FPGA om de geboden voordelen te benutten, uitlegt.

Figuur 1: Voetgangersdetectie. De behoefte aan voetgangersdetectie, belangrijke toepassingsgebieden van voetgangersdetectie, de uitdagingen bij voetgangersdetectie en de implementatieflow van voetgangersdetectie op een FPGA-bord. Klik hier om een grotere versie van deze figuur te bekijken.

Om voetgangers op de weg te identificeren, bestaan er talloze algoritmen. Deze algemene taak kan primair worden onderverdeeld in twee hoofdsubtaken: de eerste stap extraheert kenmerken uit een invoerafbeelding, waarbij alleen die belangrijke en relevante informatie worden overgebracht, terwijl de overbodige worden genegeerd. Voor een effectieve herkenning van mensen of voetgangers in een afbeelding is het cruciaal dat deze kenmerken de aanwezigheid van een menselijke figuur in scène^13,14 aangeven. Na deze extractie moeten de kenmerken naar een classifier worden gestuurd die kan bepalen of de geïdentificeerde kenmerken overeenkomen met een mens. Daarom vereist het algoritme een fase van feature-extractie en -beschrijving, gevolgd door een classificatiestap om de aanwezigheid van voetgangers in de invoerscène te bepalen. Er zijn verschillende algoritmen beschikbaar voor dit doel. De meest geaccepteerde methode voor voetgangersdetectie tot nu toe blijft echter de combinatie van het histogram van georiënteerde gradiënten (HoG) met de support vector machine (SVM) classifier ^12,13,14,15. Er bestaan talrijke voorbeelden van softwareontwikkelingen, maar uiteindelijk is het doel om de implementatie te porten naar een compatibel hardwareplatform, dat vervolgens in het applicatiesysteem kan worden geïntegreerd voor realtime gebruik. Daarom ligt de huidige nadruk op hardwarerealisatie. Er kan dus worden gesteld dat het noodzakelijk is om een geschikte hardware-implementatie van voetgangersdetectiesystemen te ontwikkelen, waarbij camera's met de juiste hardware op voertuigen kunnen worden geplaatst en voetgangers op de weg kunnen identificeren. Bij het overwegen welke hardware geschikt is voor dergelijke implementaties, is een van de meest gebruikte opties de field programmable gate array (FPGA) vanwege de vele voordelen, waaronder kortere ontwerptijd, schaalbaarheid, eenvoudige aanpassingen, herconfigureerbaarheid en lager energie- en energieverbruik 15,16,17,18,19,20,21,²².

FPGA-kaarten zijn consequent geëvolueerd en worden nu veel gebruikt voor complexe, geavanceerde computer vision-toepassingen die variëren van basis beeldverwerking tot objectdetectie, augmented reality en deep learning 20,21,22. Momenteel bieden verschillende high-performance FPGA-kaarten uitzonderlijke architecturale mogelijkheden om de uitgebreide verwerking te accommoderen die nodig is voor deze ingewikkelde toepassingen. Als de geavanceerde functies van autonome voertuigen, zoals voetgangersdetectie, op dergelijke hardwareplatforms worden geïmplementeerd, kunnen deze platforms zeer nuttig zijn voor snelle prototypeontwikkeling om prestaties te analyseren, en na optimalisatie kan het geïmplementeerde algoritme worden overgezet naar daadwerkelijke geïntegreerde schakelingen voor integratie in het systeem.

Al meer dan tien jaar zijn er belangrijke publicaties over de implementatie van voetgangersdetectie met de HoG- en SVM-methode op verschillende FPGA-platforms. Tabel 1 vat de artikelen in dit vakgebied samen in de periode 2015–2025 15,16,17,18,19,20,21,22,23,24, met de nadruk op de belangrijkste factoren zoals de beeldresolutie, de doorvoersnelheid, of de frames per seconde (FPS), het type classifier, en de belangrijkste hoogtepunten of bijdragen van de papier.

Referentie	FPGA-platform	Beeldresolutie	Classifier	Belangrijke hoogtepunten / bijdragen
15	Xilinx Zynq	640×480	AdaBoost	Realtime FPGA-implementatie; resource-efficiënt; gebruikt binarisatie voor optimalisatie; Goede detectienauwkeurigheid.
16	Terasic's DE1-SOC-bord	640×480	SVM	Hoogwaardige HOG-extractor; integreert SVM; enkelvoudige detectie; Pipeline met lage latentie.
17	Altera DE2-115	640×480	AdaBoost	Beoordeelt prestaties vanuit meerdere gezichtspunten; FPGA-implementatie van HOG+AdaBoost; realtime voetgangersdetectie.
18	Intel Stratix V	640×480	SVM	Multi-scale voetgangersdetectie; FPGA-vriendelijke HOG+SVM-pijplijn; benadrukt afwegingen tussen nauwkeurigheid en hardware-efficiëntie.
19	Zynq UltraScale+ MPSoC	3840×2160	SVM	Realtime UHD-verwerking; gepijplijnde HOG+SVM; SoC FPGA-implementatie; vastepuntoptimalisatie; schaalbare architectuur.
20	Niet gespecificeerd	Niet gespecificeerd	SVM	Bereikt >95% detectienauwkeurigheid; realtime FPGA-implementatie; maakt gebruik van parallelisme; gedetailleerd HOG+SVM FPGA-ontwerp voor voetgangersdetectie.
21	Zync 7000 FPGA	1920×1080	SVM	High-throughput streamarchitectuur voor HOG+SVM; ondersteunt HD-resolutie; efficiënte pijplijn voor FPGA-versnelling.
22	Ultra96 (rev1)	240×320	SVM	FPGA-implementatie met HLS; detecteert rode verkeerslichten; berekent waarschijnlijkheden in 891 regio's; De latentie varieert van 153.838 tot 19 cycli.
23	Xilinx Zynq-7000 FPGA	640 × 480	HOG + SVM	Voetgangersdetectie geïmplementeerd met HOG-SVM op FPGA, wat realtime prestaties behaalde met een lager stroomverbruik vergeleken met CPU-verwerking. Geïmproviseerde geoptimaliseerde feature-extractiepijplijn geschikt voor embedded vision-toepassingen.
24	Xilinx Virtex-6 FPGA	640 × 480	Vastpuntobjectdetector (Haar-achtige kenmerken)	Voorgestelde high-throughput FPGA-versnelling van objectdetectie met behulp van fixed-point arithmetica, waardoor de rekenkosten worden verlaagd en de nauwkeurigheid behouden blijft. Toonde een snelheidsstijging van 15× ten opzichte van CPU-implementaties met efficiënt hardwaregebruik.

Tabel 1: Literatuuroverzicht van onderzoek gebaseerd op voetgangersdetectie op FPGA (2015–2025).

Tabel 1 vat samen dat er uitgebreide literatuur is op het gebied van voetgangersdetectie, en dat hardware-implementatie het interessegebied is voor onderzoekers. Het is ook duidelijk dat er geavanceerde deep learning- en machine learning-technieken zijn, zoals convolutionele neurale netwerken (CNN's) gebaseerde detectoren zoals YOLO, transformer-gebaseerde architecturen, enzovoort, voor de taak van voetgangersdetectie. Ze presteren zelfs beter dan het traditionele HoG-algoritme qua nauwkeurigheid, maar als je de hardware-implementatie meeneemt, leiden de geavanceerde algoritmen tot een enorm resourceverbruik^{van 23,24} vanwege de complexiteit van het algoritme, wat ook andere prestatieparameters kan beïnvloeden, en er is ook waargenomen dat door de extra complexiteit de snelheid iets beter is in het geval van het traditionele HoG-algoritme^{24. 25}. Er is ook waargenomen dat de geavanceerde technieken meer energie verbruiken wanneer ze worden geïmplementeerd op hardware^24,26. Het doel van het werk in dit artikel is dus om voetgangersdetectie uit te voeren met het traditionele HoG- en SVM-framework op FPGA-hardware en zo een gunstige afweging tussen nauwkeurigheid, snelheid, resource en vermogen te bereiken voor realtime embedding. Uit Tabel 1 blijkt duidelijk dat wanneer het HoG- en SVM-gebaseerde werk wordt geanalyseerd, wordt opgemerkt dat er beperkte publicaties zijn die het recent geïntroduceerde Zynq UltraScale+ MPSoC (Multi-Processor System On Chip) gebaseerde FPGA-ontwikkelingsbord²⁷ hebben gebruikt om de mogelijkheden van deze kaarten te verkennen, aangezien deze borden vanuit architectuurperspectief zijn geëvolueerd, en bieden veel potentieel voor de implementatie van hoogwaardige realtime computer vision-toepassingen. Er zijn beperkte publicaties die het volledige voetgangersdetectiesysteem in realtime op de FPGA-borden hebben gerealiseerd. Ze hebben zich echter gericht op de efficiënte implementatie of verbetering van de tussentijdse taken. Bovendien zijn de meeste van deze implementaties gebaseerd op het realiseren van het volledige systeem op een FPGA-kaart via het gebruik van hardwarebeschrijvingstalen. Weinigen hebben de voordelen van High Level Synthesis (HLS) tools gebruikt om de ontwerpcyclus te versnellen. Dit artikel demonstreert het ontwerp en de implementatie van realtime voetgangersdetectie op een FPGA-bord dat is toegewezen aan een autonome rijtoepassing. Het artikel maakt gebruik van het HoG- en SVM-framework voor voetgangersdetectie op stilstaande beelden, video of echte camera-invoer. De gebruikte hardware is een geavanceerd en recent uitgebracht FPGA-kaart, de Ultra96 v2, een geavanceerde FPGA-architectuur die een krachtig platform is voor computer vision, beeldverwerking, machine learning, edge computing, enzovoort^. De Ultra96 v2 is een ontwikkelbord met een Arm-gebaseerde AMD Xilinx Zynq UltraScale+ MPSoC²⁷. Dit bord omvat het verwerkingssysteem (PS) segment, dat bestaat uit ARM-gebaseerde CPU-cores die de softwareaspecten van het project beheren, en het Programmable Logic (PL) segment dat aanpasbare hardware-versnelling mogelijk maakt 20,21,22. Samen verbeteren deze componenten de functionaliteit van een hybride systeem, waarbij het PS-gedeelte de besturing en interactie met externe elementen beheert, terwijl het PL-deel de daadwerkelijke verwerkingslogica verzorgt.

Protocol

De implementatieprocedure die in dit onderzoek wordt gebruikt, gebaseerd op voetgangersdetectie met HoG + SVM op een FPGA-bord, waarbij de voordelen van hoog-niveau synthese worden benut, wordt geïllustreerd in Figuur 2 hieronder.

Figuur 2: Ontwerpprocedure voor de implementatie van voetgangersdetectie op het FPGA-bord. Fase 1: Voetgangersdetectie-algoritme met HoG+SVM op de HLS-tool en generatie van een IP-blok. Fase 2: Voetgangersdetectie-algoritme met HoG+SVM voor de daadwerkelijke FPGA-implementatie en het genereren van het bitbestand. Fase 3: Het bord programmeren met het gegenereerde bitbestand. Klik hier om een grotere versie van deze figuur te bekijken.

1. Voetgangersdetectie met HoG en SVM op de HLS-tool

1. Download de Python Integrated Development Environment (IDE) afhankelijk van de systeemeigenschappen waarop de download wordt uitgevoerd.
   OPMERKING: In dit werk wordt de versie Python 3.10 gebruikt.
2. Voer een Python-script uit om een trainingsmodel uit te voeren met het HoG-algoritme en de SVM-classifier. Begin het script met het laden van de positieve en negatieve monsters uit de dataset.
   OPMERKING: Gebruik de INRIA-dataset¹¹.
3. Haal de HoG-functies eruit voor een raamformaat van 64 x 128.
4. Verdeel de trainings- en testgegevens uit de INRIA-dataset tot een verhouding van 80/20 met willekeurige schuddingen voor reproduceerbaarheid.
   OPMERKING: De dataset wordt willekeurig geschud met de python-functie voordat de data wordt gesplitst. Om reproduceerbaarheid te waarborgen zodat elke keer dat een seedwaarde in de code wordt vastgesteld, dezelfde splitsing wordt uitgevoerd.
5. Train met behulp van de C-support vector classification (SVC) SVM met een lineaire kernel.
6. Haal de gewichtsvectoren en de bias eruit.
7. Bewaar de SVM-gewichten en de bias in het vaste punt Q8.8-formaat voor de FPGA-implementatie.
   OPMERKING: De conversie gebeurt door de originaliteit van elke floating-point waarde te schalen die wordt gegenereerd met een factor 256 (2⁸) en het resultaat te omzetten naar een geheel getal.
8. Test het getrainde model via een ander Python-script en pas de regularisatieparameter C aan, totdat de nauwkeurigheid meer dan 95% is.
   OPMERKING: Geoptimaliseerde regularisatieparameter verkregen: C = 0,05.
9. Open de HLS-tool en maak een nieuw project aan met het onderdeelnummer geselecteerd als xczu3eg-sbva484-1-e.
10. Schrijf een voetgangersdetectiecode op het high-level synthese-instrument met behulp van high-level talen zoals C++.
11. In de code schrijf je drie verschillende C++-scripts: één voor de HoG-feature-descriptor en de SVM-classifier, een andere voor de testbench om input te leveren aan de testimages en de uitvoerimages op te slaan, en de derde voor een headerbestand dat de parameters in de code aangeeft.
12. In de code voor HoG-featureberekening wordt de afbeelding aangepast naar 640 x 480 en een schuifvensterarchitectuur toegepast met een venstergrootte van 64 x 128. Voor elk raam bereken je de gradiëntgrootte en oriëntatie voor elk overlappend blok van 8 x 8.
    OPMERKING: Het is belangrijk om het hele beeld te scannen via het sliding window-concept zodat elk deel van het beeld wordt bedekt en voetgangers van elke mogelijke grootte worden geïdentificeerd.
13. In het andere deel van dezelfde code voor de HoG-feature-descriptor geef je de berekende gradiënten door aan de SVM-classifier. Schrijf de code om de kenmerken te koppelen aan de classifiergewichten en vergelijk met de drempel om de gedetecteerde eigenschap te classificeren als die van een mens of niet.
14. Klik op Run C Simulation in de HLS-tool om de code te simuleren met behulp van een testbank om de functionaliteit van de code te controleren.
15. Geef verschillende invoerbeelden aan de code en controleer de uitvoerbeelden met de gedetecteerde voetgangers.
16. Klik op Run C Synthesis om de code te synthetiseren en de code door de tool aan hardwaretalen toe te wijzen en de rapporten van timing en gebruik te genereren.
    OPMERKING: De tool opent automatisch de HLS-syntheserapporten. Dit rapport toont de schatting van de vereiste klokfrequentie voor het implementeren van de gecodeerde taak op het geselecteerde FPGA-platform, en geeft ook een schatting van de gebruikte middelen. Deze gerapporteerde waarden zijn slechts schattingen en de daadwerkelijke parameters worden pas berekend na implementatie op de FPGA-kaart.
17. Klik op Export RTL om het Intellectual Property (IP) blok voor het HoG-algoritme voor voetgangersdetectie te exporteren.
    OPMERKING: Dit IP zal worden gebruikt in de latere fasen van de implementatie.

2. Het programmeren van de FPGA-kaart

1. Open de tool voor FPGA-programmeren en maak een nieuw project. Selecteer het onderdeelnummer als xczu3eg-sbva484-1-e en maak een nieuw blokontwerp.
   OPMERKING: Dit blokdiagram is gemaakt om integratie te creëren tussen het PS- en het PL-gedeelte van de FPGA-printplaat. Het gebruikte communicatieprotocol is het Advanced eXtensible Interface (AXI) protocol.
2. Zoek naar de IP-catalogus in de tool en zodra je hem hebt gevonden, open je hem.
3. Maak een gebruikersrepository aan door het pad van het geëxporteerde RTL-IP toe te voegen in stap 1.17.
4. In het nieuwe blokontwerpvenster klik je nu met de rechtermuisknop en selecteer je IP toevoegen. Alle IP's zijn zichtbaar, inclusief die welke door de tool worden aangeboden en door de door gebruikers toegevoegde repositories.
5. Voeg het Zync Ultrascale PS-blok toe uit de repository.
   OPMERKING: Dit blok weerspiegelt het PS-gedeelte van het systeem, dat verantwoordelijk is voor het genereren van de benodigde klokken, en het heeft ook de master- en slavepoorten voor verbinding met het geïmporteerde HoG-IP via het AXI-interconnectblok, dat draait op de AXI-protocolbasisprincipes.
6. Voeg 8 HoG IP's toe omdat het systeem 8 vensters tegelijkertijd verwerkt om optimaal gebruik te maken van het voordeel van parallelisme dat het FPGA-bord biedt.
7. Voeg een processorsysteem-resetblok toe, dat ook de klok aanstuurt en de resetvoeding aan elk blok in het diagram regelt.
8. Voeg twee axi_smart connects blocks toe om de HoG IP's met het Zync PS-blok te verbinden. Het volledige blokdiagram met de volledige verbindingen is weergegeven in Figuur 3.
   OPMERKING: Zoals weergegeven in Figuur 3, zijn alle blokken die aan het ontwerp moeten worden toegevoegd duidelijk weergegeven. Figuur 3 is vastgelegd vanuit het gereedschap en toont de interne poorten van elk blok, evenals de verbindingen tussen de poorten van verschillende blokken. Dit blok is het hoofdontwerp omdat het verantwoordelijk is voor het tot stand brengen van de interface tussen het PS- en het PL-gedeelte van de FPGA-kaart.
9. Na het voltooien van de verbindingen zoals in figuur 3, klik je op validate design.
   OPMERKING: Validatie controleert in feite de ontbrekende of kapotte verbindingen, wat later tot problemen kan leiden.
10. Klik op synthese en vervolgens Implement design in de tool nadat de validatie van het blokdiagram succesvol is.
    OPMERKING: Synthesis brengt het ontworpen blokdiagram in kaart en zet het in kaart op de FPGA-printplaat. Deze stap meldt eventuele overtredingen die erop wijzen dat het ontwerp niet op hardware kan worden geïmplementeerd.
11. De tool genereert ook rapporten over timing, middelengebruik en stroomverbruik. Controleer de rapporten zorgvuldig om te controleren op eventuele tijdsovertredingen en analyseer de prestaties van het ontworpen systeem.
12. Klik op Generate the bitstream file , wat het .bit-bestand genereert dat nodig is voor het programmeren van het FPGA-bord.

Figuur 3: Blokdiagram voor voetgangersdetectie met HoG + SVM geïmporteerd IP. Klik hier om een grotere versie van deze figuur te bekijken.

3. Definitieve implementatie op het FPGA-bord

1. Pak het FPGA-bord en steek de SD-kaart met het juiste afbeeldingsbestand in de sleuf op het bord.
2. Sluit het bord ook aan op de computer.
3. Start het FPGA-bord op in SD-kaartmodus om Python-programmering erop in te schakelen^21,22.
4. Toegang tot het jupyter-platform op het bord nadat je het met de wifi hebt verbonden.
5. Sluit een webcamera aan op het bord.
6. Schrijf een pythoncode om het gegenereerde bitbestand te importeren en voer de taak uit om de camerabeelden te benaderen.
7. In de code schrijf je het script zo dat de afbeelding via het PS-deel in het geheugen van het FPGA-bord wordt geschreven en vervolgens aan het PL-gedeelte wordt doorgegeven voor verwerking.
   OPMERKING: Het PL-gedeelte van het bord dat overeenkomt met de HoG-IP's benadert de beeldpixels via deze geheugenlocaties, verwerkt deze en levert de scores als output.
8. Schrijf passende code in hetzelfde Python-script om de verwerkte afbeeldingen te lezen en op het computerscherm weer te geven.
   OPMERKING: Dit maakt het volledige ontwerp compleet en het systeem is nu klaar voor inzet in praktijktoepassingen. Alle codes die in deze studie worden gebruikt, worden geüpload als aanvullende coderingsbestanden (Aanvullend Bestand 1 [Script_1_train_test.py], Aanvullend Bestand 2 [Script_2_HLS_hog.cpp], Aanvullend Bestand 3 [Script_3_HLS_test_bench.cpp], Aanvullend Bestand 4 [Script_4_HLS_consts.h], Aanvullend Bestand 5 [Script_5_jupyter_code.txt]).

Results

Implementatie van voetgangersdetectie op HLS
Figuur 4 toont de simulatieresultaten op de HLS-tool voor de voetgangersdetectie met HoG + SVM. Een invoerbeeld met een voetganger wordt als testinvoer aan de code toegevoegd, en de output met de gedetecteerde voetgangers wordt weergegeven. Er zijn twee secties in de afbeelding. De eerste detectie heeft steeds weer veel begrenzende vakken rond dezelfde voetganger, en in de tweede afbeelding worden de overlappende vakken verwij...

Discussion

Deze studie implementeert effectief een realtime voetgangersdetectiesysteem dat gebruikmaakt van het HoG + SVM-algoritme op geavanceerde FPGA-hardware, gebaseerd op Zynq UltraScale+ MPSoC ontwikkelingsbord²⁴. De resultaten geven aan dat het traditionele HoG-algoritme van human detection¹¹ een nauwkeurigheid van bijna 95% behaalt en slechts de helft van de onboard FPGA-bronnen (LUTs, FFs, BRAM, DSP's) gebruikt, waardoor er een enorme capacit...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Python	Python	Versie 3.10
Ultra 96 V2 FPGA Board	Xilinx	Geïntroduceerd in 2018	Hardware-implementatieplatform gebruikt voor het implementeren van het algoritme voor voetgangersdetectie
Vivado	AMD	2019.2	FPGA-programmeringstool gebruikt voor het programmeren van de Ultra 96 v2 FPGA-board met het algoritme voor voetgangersdetectie
Vivado HLS	AMD	2019.2	High Level Synthesis Tool gebruikt voor high-level programmering van de voetgangersdetectiecode in het artikel om de Intellectual Property (IP) te exporteren