Otonom Sürüş Uygulaması için Alan Programlanabilir Kapı Dizisi Tabanlı Yaya Algılama Çerçevesinin Tasarımı ve Uygulanması

Summary

Bu araştırma makalesi, öncelikle otonom sürüş uygulamaları için, sahada programlanabilir kapı dizisi donanımında gerçek zamanlı yaya algılama algoritmasının uygulanmasını göstermektedir. Algoritma, yönlendirilmiş gradyanların histogramını (HoG) destek vektör makinesi (SVM) sınıflandırıcı ile birleştirir ve sonuçlar hız, güç tüketimi ve kaynak kullanımı açısından verimlilik gösterir.

Abstract

Otonom sürüş, trafik kazalarından kaynaklanan ölümlerin artan sayısıyla başa çıkmak için umut verici bir yol sunuyor. Otonom bir araç birçok özelliğe sahiptir, ancak yayaları tespit etme yeteneği çok önemli, zorlayıcı ve gözetim, insan takibi ve izleme gibi çeşitli gerçek zamanlı durumlar için önemlidir. Yayaları doğru şekilde tanımlamak zordur çünkü onlar farklı şekillerde, pozisyonlarda ve duruşlarda ortaya çıkabilirler. Çeşitli kıyafetler giyebilirler ve bazen kısmen gizlenmiş olabilirler veya yakındaki nesnelerle karışabilirler. Bu makale, popüler bir donanım platformu olan Alan programlanabilir kapı dizisi (FPGA), Ultra 96 v2 kullanılarak otonom araçlar için yayaların gerçek zamanlı tespitine odaklanmaktadır. Çalışma, FPGA panosunda bireyleri tanımak için yönelmez gradyanlarının histogramı (HOG) ile desteklenen bir vektör makinesi (SVM) sınıflandırıcısına dayalı yaya algılama yöntemini uygular; yüksek seviyeli sentez (HLS) araçları kullanılır. Sistemin etkinliği hem sabit görüntüler hem de canlı video üzerinde test edilmiştir. Sonuçlar, Ultra 96 v2 gibi gelişmiş FPGA kartlarının performans metriklerini önemli ölçüde iyileştirdiğini gösteriyor. Sistem, mevcut kaynakların yarısından azını kullanarak yaklaşık 2,5 W güç tüketerek 150 MHz saat frekansında çalışır. Ayrıca sistem, yaya algılama doğruluğunu yaklaşık %95 ve tespit değerlendirmesi için hassasiyet (%78,6), hatırlama (%88,3) ve F1 puanı (%83,1) gibi diğer verimli ölçütleri bildirmektedir. Özetle, geliştirilen sistem yayaları gerçek zamanlı olarak tespit edebilir ve akıllı ve güvenli bir ulaşım ortamının gelişimini önemli ölçüde iyileştirme potansiyeline sahiptir.

Introduction

Kentsel gelişim ve akıllı şehirlerin ortaya çıkışı, dünya çapında ilgi çekici konulardır. Tüm ülkeler, şehirlerinin güvenli ve rahat yapılacak şekilde inşa edilmesi için çalışıyor. ^1,2. Ancak mevcut durumda, nüfus arttıkça ve yol sıkışıklığı arttıkça, sürüş ihmali ve kötü görüş sorunları nedeniyle yol kazalarından kaynaklanan ölüm oranlarının endişe verici şekilde arttığı gözlemlenmiştir. Bu sorunlara umut verici bir çözüm, dünya çapında otonom araçların ortaya çıkmasıdır; bu da yenilik 1,2,3,4 hareketlerini tetiklemiştir ve araştırmacılar, yolcuların rahatlamasını sağlayacak tamamen otonom araçlar geliştirmek için çaba göstermektedir. Otonom araçların geliştirilmesine olan ihtiyacı, deneyimli sürücülerin bile kötü hava koşulları nedeniyle stres, ikilem, yorgunluk veya çevrelerini algılamakta zorlanabilmesinden kaynaklanıyor ve tüm bu sorunlar yol kazalarına yol açıyor. Kendi kendine giden bir araç, seyahat sırasında kazaları önlemek, motor kaynak kullanımını optimize etmek ve trafik kurallarına uymak için tasarlanmıştır; bu da kesinlikle ulaşımı^{geliştirecektir 2,4}. Otonom bir araç, çevresini çok hassas hissetmesini sağlayan çok sayıda özellik, sensör ve işlevselliğe sahiptir; böylece çarpışma ve kazaları önler; bu nedenle, taşımayı güvenli ve emniyetli kılmak için umut vadeden bir çözüm^{olarak ortaya çıkmıştır} 1,2,3,4.

Otonom bir araçta yer alan tüm özellikler arasında, en önemlilerinden biri yaya algılamadır. Sağlam bir yaya tespit sistemi, bu kazaların çoğu yaya olduğundan, trafik kazası ölümlerini 5,6,7,8 azaltmaya önemli ölçüde yardımcı olabilir. Yaya tespiti, yoldaki kişileri tespit etmek ve onlarla çarpışmalardan kaçınmak anlamına gelir. Bu özellik sadece otonom araçlar için değil, kalabalık izleme, kişi tanımlama ve ^9,10,11 takibi gibi çeşitli diğer uygulama alanları için de faydalıdır. Bu tespit sürecinin temel yönü, tespit hızı ve doğruluğudur. Yayaları doğru ve hızlı tespit etmek çok önemlidir, böylece tepki süresi minimuma indirilebilir. Yaya algılama büyük bir zorluk yaratıyor. Yoldaki yayalar herhangi bir kıyafet, görünüm veya duruşla olabilir ve kötü hava koşulları veya tıkanıklık^{nedeniyle görünmez olabilirler} 10,11,12,13,14. Ayrıca, yayaların kurallara kendileri uymaması ve insan doğasını kontrol edemeyeceği oldukça mümkündür; bu yüzden en iyi yaklaşım, aracı yanlış hareketleri yönetebilecek ve ölümlerden kaçınacak zekâyla donatmaktır. Bu araştırmadaki çalışmaların tam akışı ve yaya tespitinin donanım uygulamasının motivasyonu, aşağıdaki Şekil 1'den kolayca anlaşılabilir; bu şekil, yaya algılama ihtiyacını, çeşitli uygulama alanlarını, karşılaştığı zorlukları ve sunulan avantajlardan yararlanmak için FPGA'da uygulanmayı açıklar.

Şekil 1: Yaya tespiti. Yaya tespiti ihtiyacını, yaya tespitinin temel uygulama alanları, yaya tespitiyle ilgili zorluklar ve FPGA panosunda yaya tespitinin uygulama akışı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Yoldaki yayaları tanımlamak için birçok algoritma mevcuttur. Bu genel görev öncelikle iki ana alt göreve ayrılabilir: İlk adım, giriş görüntüsünden özellikleri çıkarır, yalnızca önemli olanları ve ilgili bilgileri iletir, tekrarlananları ise göz ardı eder. Bir görüntüde insan veya yayaların etkili şekilde tanınması için, bu özelliklerin sahnede bir insan figürünün varlığını^{göstermesi çok önemlidir 13,14}. Bu çıkarımın ardından, özellikler, tanımlanan özelliklerin bir insana karşılık gelip etmediğini belirleyebilen bir sınıflandırıcıya gönderilmelidir. Bu nedenle, algoritma bir özellik çıkarma ve açıklama aşaması, ardından giriş sahnesinde yaya varlığını belirlemek için bir sınıflandırma aşaması gerektirir. Bu amaçla çeşitli algoritmalar mevcuttur. Ancak, bugüne kadar yaya algılamada en yaygın kabul gören yöntem, yönlendirilmiş gradyanların histogramı (HoG) ile destek vektör makinesi (SVM)^{sınıflandırıcısı} 12,13,14,15'in birleşimi olmuştur. Yazılım ilerlemelerine dair birçok örnek mevcuttur, ancak nihayetinde amaç, uygulamayı uyumlu bir donanım platformuna taşımak ve bunun gerçek zamanlı kullanım için uygulama sistemine entegre edilebilmesidir. Bu nedenle, mevcut vurgu donanım gerçekleştirme üzerindedir. Bu nedenle, uygun donanımlarla donatılmış kameraların araçlara yerleştirilip yoldaki yayaları tespit edilebileceği uygun bir yaya algılama sistemleri donanım uygulamasının geliştirilmesi gerekmektedir. Bu tür uygulamalar için hangi donanımın uygun olduğunu düşünürken, en yaygın kullanılan seçeneklerden biri, tasarım süresinin azalması, ölçeklenebilirlik, modifikasyon kolaylığı, yeniden yapılandırılabilirlik ve daha düşük enerji ile güç tüketimi gibi birçok avantajı nedeniyle alan programlanabilir kapı dizisi (FPGA)^{'dır 15,16,17,18,19,20,21,22}.

FPGA kartları sürekli olarak gelişmiş ve temel görüntü işlemeden nesne algılamaya, artırılmış gerçekliğe ve derin öğrenmeye kadar karmaşık ve gelişmiş bilgisayar görüş uygulamalarında^{yaygın olarak kullanılmaktadır.} Şu anda, birçok yüksek performanslı FPGA kartı, bu karmaşık uygulamalar için gereken kapsamlı işlemeyi karşılamak üzere olağanüstü mimari yetenekler sunmaktadır. Otonom araçların gelişmiş özellikleri, örneğin yaya algılama, bu donanım platformlarında uygulanırsa, bu platformlar performansı analiz etmek için hızlı prototip geliştirme için çok faydalı olabilir ve optimizasyondan sonra uygulanan algoritma, sisteme entegre edilmek üzere gerçek entegre devrelere aktarılabilir.

On yılı aşkın süredir, farklı FPGA platformlarında HoG ve SVM yöntemiyle yaya tespitinin uygulanmasına dayalı önemli yayınlar bulunmaktadır. Tablo 1, 2015–2025 yılları arasında bu alandaki makaleleri özetlemekte 15,16,17,18,19,20,21,22,23,24 olup, görüntü çözünürlüğü, veri verimliliği veya saniyede kare (FPS), sınıflandırıcı türü ve ana vurgular veya katkılar gibi temel faktörlere odaklanmaktadır. kağıt.

Referans	FPGA Platformu	Görüntü Çözünürlüğü	Sınıflandırıcı	Önemli Öne Çıkanlar / Katkılar
15	Xilinx Zynq	640×480	AdaBoost	Gerçek zamanlı FPGA uygulaması; kaynak verimli; optimizasyon için ikili izleyici kullanır; iyi bir tespit doğruluğu.
16	Terasic'in DE1-SOC kartı	640×480	SVM	Yüksek performanslı HOG çıkarıcısı; SVM'yi entegre eder; tek ölçekli tespit; düşük gecikmeli boru hattı.
17	Altera DE2-115	640×480	AdaBoost	Performansı birden fazla bakış açısından değerlendirir; HOG+AdaBoost'un FPGA uygulaması; Gerçek zamanlı yaya tespiti.
18	Intel Stratix V	640×480	SVM	Çok ölçekli yaya tespiti; FPGA dostu HOG+SVM boru hattı; Doğruluk ile donanım verimliliği arasındaki dengeleri vurgular.
19	Zynq UltraScale+ MPSoC	3840×2160	SVM	Gerçek zamanlı UHD işleme; boru hatlı HOG+SVM; SoC FPGA uygulaması; sabit nokta optimizasyonu; ölçeklenebilir mimari.
20	Belirtilmedi	Belirtilmedi	SVM	%>95 tespit doğruluğuna ulaşır; gerçek zamanlı FPGA uygulaması; paralelliği kullanır; yaya tespiti için ayrıntılı HOG+SVM FPGA tasarımı.
21	Zync 7000 FPGA	1920×1080	SVM	HOG+SVM için yüksek verimli akış mimarisi; HD çözünürlüğü destekler; FPGA hızlandırması için verimli bir pipeline.
22	Ultra96 (rev1)	240×320	SVM	HLS kullanarak FPGA uygulaması; kırmızı trafik sinyallerini algılar; 891 bölgede olasılıkları hesaplar; gecikme 153.838 ile 19 döngü arasında değişir.
23	Xilinx Zynq-7000 FPGA	640 × 480	HOG + SVM	FPGA'da HOG-SVM kullanarak yaya algılama uygulandı; CPU işlemcesine, daha düşük güç tüketimiyle gerçek zamanlı performans elde edildi. Gömülü görme uygulamalarına uygun optimize edilmiş özellik çıkarma boru hattı gösterildi.
24	Xilinx Virtex-6 FPGA	640 × 480	Sabit noktalı nesne dedektörü (Haar benzeri özellikler)	Sabit nokta aritmetiği kullanılarak nesne algılamasında yüksek verimli FPGA hızlandırılması önerildi; bu hız hesaplama maliyetini azaltırken doğruluğu korurken. Verimli donanım kaynakları kullanımıyla CPU uygulamalarına göre 15× hızlanma gösterdi.

Tablo 1: FPGA'da yaya tespitine dayalı araştırmaların literatür incelemesi (2015–2025).

Tablo 1, yaya tespiti alanında kapsamlı literatür olduğunu ve donanım uygulamasının araştırmacıların ilgi alanı olduğunu özetlemektedir. Ayrıca, yaya algılama görevi için konvolüsyon sinir ağları (CNN) tabanlı dedektörler, transformatör tabanlı mimariler gibi gelişmiş derin öğrenme ve makine öğrenimi tekniklerinin olduğu da açıktır. Doğruluk açısından geleneksel HoG algoritmasından bile daha iyi performans gösterirler, ancak donanım uygulaması düşünüldüğünde, gelişmiş algoritmalar algoritmanın karmaşıklığı nedeniyle büyük kaynak^{kullanımına yol açar ve} bu da diğer performans parametrelerini de etkileyebilir; ayrıca eklenen karmaşıklıklar nedeniyle hızın geleneksel HoG^{algoritmasında biraz daha iyi olduğu gözlemlenmiştir 24, 25}. Ayrıca, gelişmiş tekniklerin donanım^{üzerinde uygulandığında daha fazla güç tükettiği gözlemlenmiştir 24,26}. Bu nedenle, bu makalede uygulanan çalışmanın amacı, FPGA donanımında geleneksel HoG ve SVM çerçevesini kullanarak yaya algılama gerçekleştirmek ve gerçek zamanlı gömme için uygun bir doğruluk-hız-kaynak ve güç dengesi sağlamaktır. Tablo 1'den, HoG ve SVM tabanlı çalışmalar analiz edildiğinde, yeni tanıtılan Zynq UltraScale+ MPSoC (Multi-Processor System On Chip) tabanlı FPGA geliştirme^{kartı 27'yi} kullanan sınırlı sayıda yayının bu kartların mimari açıdan geliştiği yeteneklerini incelediği oldukça açıktır. ve üst düzey gerçek zamanlı bilgisayar görme uygulamasının uygulanması açısından büyük potansiyel sunar. FPGA panolarında tüm yaya tespit sistemini gerçek zamanlı olarak gerçekleştiren sınırlı sayıda yayın bulunmaktadır. Ancak, ara görevlerin verimli uygulanması veya geliştirilmesine odaklanmışlardır. Ayrıca, bu uygulamaların çoğu, donanım tanım dilleri kullanılarak tüm sistemi bir FPGA kartında gerçekleştirmeye dayanır. Çok az kişi Yüksek Seviye Sentez (HLS) araçlarının faydalarını tasarım döngüsünü hızlandırmak için kullanmıştır. Bu makale, otonom sürüş uygulamasına adanmış bir FPGA panosunda gerçek zamanlı yaya algılama tasarımı ve uygulanmasını göstermektedir. Makale, yayaların sabit görüntüler, video veya gerçek kamera girişi üzerinde tespit edilmesi amacıyla HoG ve SVM çerçevesini kullanmaktadır. Kullanılan donanım, bilgisayar görüşü, görüntü işleme, makine öğrenimi, kenar hesaplama vb. için güçlü bir platform, gelişmiş bir FPGA mimarisi olan Ultra96 v2 adlı son teknoloji ve yakın zamanda piyasaya sürülen bir FPGA ^{kartıdır.24}. Ultra96 v2, Arm tabanlı AMD Xilinx Zynq UltraScale+ MPSoC²⁷ içeren bir geliştirme kartıdır. Bu kart, projenin yazılım yönlerini yöneten ARM tabanlı CPU çekirdeklerinden oluşan işlem sistemi (PS) segmentini ve özelleştirilebilir donanım^{hızlandırmalarına olanak tanıyan Programlanabilir} Mantık (PL) segmentini (20,21,22) içerir. Bu bileşenler birlikte, PS kısmının harici öğelerle kontrol ve etkileşimi yönettiği, PL kısmının ise gerçek işlem mantığını yönettiği hibrit sistemin işlevselliğini artırır.

Protocol

Bu araştırmada kullanılan uygulama prosedürü, FPGA panosunda HoG + SVM ile yaya tespitine dayalı ve yüksek seviyeli sentezin faydalarından yararlanarak aşağıdaki Şekil 2'de gösterilmiştir.

Şekil 2: FPGA panosunda yaya algılama uygulama için tasarım prosedürü. Aşama 1: HLS aracında HoG+SVM kullanarak yaya algılama algoritması ve IP bloğu oluşturulması. Aşama 2: Gerçek FPGA uygulaması için HoG+SVM kullanarak yaya algılama algoritması ve bit dosyasını oluşturması. Aşama 3: Oluşturulan bit dosyasıyla kartı programlama. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

1. HLS aracında HoG ve SVM kullanılarak yaya tespiti

1. İndirme işlemi yapılan sistem özelliklerine bağlı olarak Python Entegre Geliştirme Ortamı (IDE) indirin.
   NOT: Bu çalışmada Python 3.10 sürümü kullanılmıştır.
2. HoG algoritması ve SVM sınıflandırıcısını kullanarak bir eğitim modeli çalıştırmak için bir Python betiği çalıştırın. Senaryoya, veri setinden pozitif ve negatif örnekleri yükleyerek başlayın.
   NOT: INRIA veri^{seti 11'i} kullanın.
3. 64 x 128 pencere boyutu için HoG özelliklerini çıkarın.
4. INRIA veri setinden eğitim ve test verilerini, tekrarlanabilirlik için rastgele karıştırma ile 80/20 oranına böl.
   NOT: Veri seti, veri bölünmeden önce python fonksiyonu kullanılarak rastgele karıştırılır. Tekrarlanabilirliği sağlamak ve böylece kodda bir tohum değeri sabitlendiğinde aynı bölünme yapılır.
5. C-destek vektör sınıflandırması (SVC) SVM'yi doğrusal bir çekirdekle eğitmek.
6. Ağırlık vektörlerini ve yanlılığı çıkar.
7. FPGA uygulaması için SVM ağırlıklarını ve yanlılığı sabit noktalı Q8.8 formatında kaydedin.
   NOT: Dönüşüm, her bir yüzeysel nokta değerinin orijinalliğini 256 (2⁸) katı ile ölçeklendirip sonucu bir tamsaya çevirerek yapılır.
8. Eğitilen modeli başka bir Python betiği ile test edin ve doğruluk %95'in üzerine çıkana kadar düzenlenme parametresi C'yi ayarlayın.
   NOT: Optimize edilmiş düzenleme parametresi alındı: C = 0.05.
9. HLS aracını açın ve parça numarası xczu3eg-sbva484-1-e olarak seçilerek yeni bir proje oluşturun.
10. C++ gibi yüksek seviyeli dilleri kullanarak yüksek seviyeli sentez aracında yaya algılama kodu yaz.
11. Kodda, üç farklı C++ betiği yazın: biri HoG özellik tanımlayıcısı ve SVM sınıflandırıcısı için, diğeri test tablosu için test görgelerine giriş sağlamak ve çıktı görüntülerini kaydetmek için, üçüncüsü ise kodda kullanılan parametreleri belirten başlık dosyası için.
12. HoG özellik hesaplama kodunda, görüntüyü 640 x 480 boyutuna değiştirin ve 64 x 128 pencere boyutuna sahip bir kaydırmalı pencere mimarisi uygulayın. Her pencere için, her örtüşen 8 x 8 blok için gradyan büyüklüğü ve yönelimi hesaplanın.
    NOT: Görüntünün her alanının kapatılmasını ve her boyuttaki yayaların tanımlanmasını sağlamak için kaydırma pencere konseptinden tüm görüntüyü taramak önemlidir.
13. Aynı kodun diğer kısmında, HoG özellik tanımlayıcısı için hesaplanan gradyanları SVM sınıflandırıcısına iletebilirsiniz. Özellikleri sınıflandırıcı ağırlıklarıyla eşleştirmek için kod yazın ve eşik eşiğiyle karşılaştırarak tespit edilen özelliği insan olarak sınıflandırıp sınıflandırmak için karşılaştırın.
14. HLS aracında Çalıştır C Simülasyonu'na tıklayarak kodu test paneli yardımıyla simüle ederek kodun işlevselliğini kontrol edin.
15. Koda farklı giriş görüntüleri sağlayın ve çıktı görüntülerini tespit edilen yayalarla kontrol edin.
16. Kod sentezlemek için Run C Synthesis'e tıklayın; böylece kodu donanım dillerine eşlemek ve zamanlama ile kullanım raporlarını oluşturmak için Çalıştır.
    NOT: Araç otomatik olarak HLS sentez raporlarını açar. Bu rapor, seçilmiş FPGA platformunda kodlanmış görevin uygulanması için gereken saat frekansının tahminini gösterir ve ayrıca kullanılan kaynakların tahminini sunar. Bu bildirilen değerler sadece tahminlerdir ve gerçek parametreler ancak FPGA panosunda uygulandıktan sonra hesaplanır.
17. Yaya algılama HoG algoritmasının Fikri Mülkiyet (IP) bloğunu dışa aktarmak için RTL İtracına tıklayın.
    NOT: Bu IP, uygulamanın sonraki aşamalarında kullanılacaktır.

2. FPGA kartının programlanması

1. FPGA programlama aracını açın ve yeni bir proje oluşturun. Parça numarasını xczu3eg-sbva484-1-e olarak seçin ve yeni bir blok tasarımı oluşturun.
   NOT: Bu blok diyagram, PS ile FPGA kartının PL kısmı arasında entegrasyon sağlamak için oluşturulmuştur. Kullanılan iletişim protokolü Gelişmiş Eksikal Arayüz (AXI) protokolüdür.
2. Araçta IP Kataloğunu arayın ve bulduktan sonra açın.
3. Kullanıcı deposu oluşturun, 1.17. adımda dışa aktarılan RTL IP'nin yolunu ekleyin.
4. Yeni blok tasarım penceresinde şimdi sağ tıklayın ve IP ekle'yi seçin. Tüm IP'ler, aracın sağladığı ve kullanıcı tarafından eklenen depolar dahil olmak üzere görünür olacaktır.
5. Depodan Zync Ultrascale PS bloğunu ekleyin.
   NOT: Bu blok, gerekli saatleri üretmekten sorumlu olan sistemin PS bölümünü yansıtır ve ayrıca AXI bağlantı bloğu üzerinden ithal edilen HoG IP'ye bağlanmak için ana ve slave portlara sahiptir; bu blok AXI protokol temellerinde çalışır.
6. 8 HoG IP ekleyin çünkü sistem aynı anda 8 pencereyi işleyecek ve FPGA kartının sunduğu paralellik avantajından faydalanacak.
7. Diyagramdaki her blokta saat ve sıfırlama beslemelerini kontrol eden bir işlemci sistemi sıfırlama bloğu ekleyin.
8. HoG IP'lerini Zync PS bloğuna bağlamak için iki axi_smart bağlantı bloğu ekleyin. Tüm blok diyagram ve tam bağlantılar Şekil 3'te gösterilmiştir.
   NOT: Şekil 3'te gösterildiği gibi, tasarıma eklenmesi gereken tüm bloklar açıkça gösterilmiştir. Şekil 3 araçtan alınmış ve her blokun iç portlarını ile farklı blokların portları arasındaki bağlantıları göstermektedir. Bu blok, PS ile FPGA kartının PL kısmı arasındaki arayüzü kurmaktan sorumlu olan ana tasarımdır.
9. Bağlantı tamamladıktan sonra , Şekil 3'e göre tasarımı doğrulama seçeneğine tıklayın.
   NOT: Doğrulama temelde eksik bağlantıları veya bozuk bağlantıları kontrol eder, bu da sonraki aşamalarda sorunlara yol açabilir.
10. Blok diyagramın doğrulaması başarılıolduktan sonra Synthesis'e tıklayın ve ardından Tasarımı Implement'e ekleyin.
    NOT: Sentez, tasarlanmış blok diyagramı haritalandırır ve FPGA kartında haritalar. Bu adım, tasarımın donanımda uygulanamayacağını gösterebilecek herhangi bir ihlali bildirecektir.
11. Araç ayrıca zamanlama, kaynak kullanımı ve güç tüketimiyle ilgili raporlar da oluşturacak. Raporları dikkatlice inceleyin, herhangi bir zamanlama ihlalini kontrol edin ve tasarlanmış sistemin performansını analiz edin.
12. FPGA kartını programlamak için gereken .bit dosyasını oluşturan bitstream dosyasını Oluştur ' seçeneğine tıklayın.

Şekil 3: HoG + SVM ithal IP kullanarak yaya tespiti için blok diyagram. Bu şeklin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

3. FPGA kartında nihai uygulama

1. FPGA kartını alın ve SD kartı uygun görüntü dosyası ile kart üzerindeki yuvaya yerleştirin.
2. Kartı bilgisayara da bağlayın.
3. FPGA kartını SD kart modunda başlatarak Python programlamayı^{etkinleştirin 21,22}.
4. Karttaki jupyter platformuna wifi'ye bağladıktan sonra erişin.
5. Bir web kamerayı panoya bağlayın.
6. Oluşturulan bit dosyasını içe aktarmak ve kamera görüntülerine erişme görevini yerine getirmek için bir python kodu yazın.
7. Kodda, betik yazın ki görüntü PS parçası üzerinden FPGA kartının belleğine yazılıp işleme için PL kısmına iletilir.
   NOT: HoG IP'lerine karşılık gelen PL bölümü, bu bellek konumları üzerinden görüntü piksellerine erişir, onları işler ve skorları çıktı olarak sağlar.
8. İşlenen görüntüleri okumak ve bilgisayar ekranında göstermek için aynı Python betikinde uygun kod yazın.
   NOT: Bu tüm tasarımı tamamlamış ve sistem artık gerçek dünya uygulamalarında kullanıma hazır hale gelmiştir. Bu çalışmada kullanılan tüm kodlar ek kodlama dosyaları olarak yüklenmiştir (Ek Dosya 1 [Script_1_train_test.py], Ek Dosya 2 [Script_2_HLS_hog.cpp], Ek Dosya 3 [Script_3_HLS_test_bench.cpp], Ek Dosya 4 [Script_4_HLS_consts.h], Ek Dosya 5 [Script_5_jupyter_code.txt]).

Results

HLS'de yaya tespit uygulaması
Şekil 4 , HoG + SVM kullanılarak yaya tespiti için HLS aracının simülasyon sonuçlarını göstermektedir. Bir yaya içeren giriş görüntüsü koda test girişi olarak verilir ve tespit edilen yayalarla çıktı gösterilir. Görselde iki bölüm var. İlk tespitte aynı yayanın etrafında tekrar tekrar birçok sınırlayıcı kutu var, ikinci görüntüde ise üst üste binen kutular kaldırılır ve bastırılır, geriye sadece ana tespit kutuları kalır.

Discussion

Bu çalışma, Zynq UltraScale+ MPSoC geliştirme^{kartı 24'e} dayalı gelişmiş FPGA donanımında HoG + SVM algoritmasını kullanarak gerçek zamanlı yaya tespit sistemini etkili bir şekilde uygulamaktadır. Sonuçlar, geleneksel insan algılama^{algoritmasının %}95'e yakın doğruluk sağladığını ve gemi içi FPGA kaynaklarının (LUT'lar, FF'ler, BRAM, DSP'ler) sadece yarısını kullandığını göstermektedir; böylece bazı farklı görevleri yerine getirmek için çok d...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Python	Python	Version 3.10
Ultra 96 V2 FPGA Board	Xilinx	2018'de tanıtıldı	Yaya algılama algoritmasının uygulanmasında kullanılan Donanım İmplemantasyon Platformu
Vivado	AMD	2019.2	Ultra 96 v2 FPGA kartını yaya algılama algoritmasıyla programlamak için kullanılan FPGA Programlama aracı
Vivado HLS	AMD	2019.2	Bildirideki yaya algılama kodunun üst düzey programlaması için kullanılan Yüksek Seviye Sentez Aracı (High Level Synthesis Tool) ve Entelektüel Mülkiyet (IP) dışa aktarma