自動運転アプリケーション向けのフィールドプログラマブルゲートアレイベースの歩行者検知フレームワークの設計および実装

Summary

本研究論文は、主に自動運転アプリケーション向けにフィールドプログラマブルゲートアレイハードウェア上でリアルタイム歩行者検出アルゴリズムを実装したことを示します。このアルゴリズムは、向き付き勾配ヒストグラム(HoG)とサポートベクトルマシン(SVM)分類器を組み合わせており、速度、消費電力、資源利用の面で効率性が示されています。

Abstract

自動運転は、交通事故による死亡者数の増加に対処する有望な方法を提供します。自動運転車には多くの機能がありますが、歩行者を検知する能力は重要であり、難しく、監視、人物追跡、監視など様々なリアルタイムの状況に関連しています。歩行者を正確に識別するのは難しいです。なぜなら、歩行者はさまざまな形や位置、姿勢で現れることがあるからです。様々な服を着ることがあり、時には部分的に隠れたり、近くの物に溶け込んだりします。本論文は、人気のハードウェアプラットフォームであるフィールドプログラマブルゲートアレイ(FPGA)、Ultra 96 v2を用いて自動運転車の歩行者をリアルタイムで検知することに焦点を当てています。本研究は、指向勾配のヒストグラム(HOG)とサポートベクターマシン(SVM)分類器を組み合わせた歩行者検出手法を実装し、高水準合成(HLS)ツールを活用してFPGAボード上の個体を認識します。このシステムの有効性は、静止画とライブ映像の両方で検証されています。その結果、Ultra 96 v2のような先進的なFPGAボードは性能指標を大幅に向上させることが示されています。このシステムは150 MHzのクロック周波数で動作し、利用可能なリソースの半分以下しか使用せず、約2.5Wの電力を消費します。また、システムは歩行者の発見精度を約95%と報告し、精度(78.6%)、リコール(88.3%)、F1スコア(83.1%)などの効率的な検出評価指標も報告しています。まとめると、開発されたシステムは歩行者をリアルタイムで検知でき、スマートで安全な交通環境の整備を大きく改善する可能性を秘めています。

Introduction

都市開発やスマートシティの出現は、世界中で関心のあるテーマです。すべての国は、住民にとって安全で快適な都市を建設できるよう、都市の発展に取り組んでいます。しかし現状では、人口増加と道路渋滞の悪化に伴い、運転過失や視界不良による交通事故による死亡者数が驚くほど増加していることが観察されています。これらの問題に対する有望な解決策として、世界的な自動運転車の登場が挙げられ^{、イノベーションを}呼び起こしました。研究者たちは、乗客が心配なくリラックスできる完全自動運転車の開発に取り組んでいます。自動運転車の開発の必要性は、経験豊富なドライバーであってもストレスやジレンマ、疲労、悪天候による環境感覚の難しさに直面し、これらが交通事故につながることにあります。自動運転車は移動中の事故を避け、エンジン資源の活用を最適化し、交通法規に準拠するよう設計されており、^{これにより交通の}便利さが確実に向上^します。自動運転車は複数の機能、センサー、機能を備えており、周囲を非常に正確に感知し、衝突や事故を回避できるため、安全^{かつ確実な}交通手段を実現する有望なソリューションとして浮上^{しています。}

自動運転車に組み込まれているすべての機能の中で、最も重要なものの一つが歩行者検知です。堅牢な歩行者検知システムは、交通事故の死亡者数を大幅に減少させることができます。^これらの事故の被害者の大多数は歩行者だからです。歩行者検知とは、道路上の人物を特定し、衝突を避けることを指します。この機能は自動運転車だけでなく、群衆監視、人物識別、^9、10、11の追跡など、さまざまな応用分野にも有効です。この検出プロセスの重要な側面は、検出の速度と正確さにあります。歩行者を正確かつ迅速に発見し、対応時間を最小限に抑えることが重要です。歩行者検知は非常に大きな課題です。道路上の歩行者は服装、外見、姿勢は自由で、悪天候や遮蔽により見えないこと^{もあります。}さらに、歩行者自身がルールを守らない可能性が高く、人間の本性を制御できないため、最善の方法は車両に誤った行動に対応し、死亡事故を避けるための知性を装備させることです。本研究の全体的な流れと歩行者検知のハードウェア実装の動機は、下の図1から簡単に理解できます。図1は歩行者検知の必要性、その多様な応用分野、課題、そして提供された利点を活用するためのFPGA実装について説明しています。

図1:歩行者検知。歩行者検知の必要性、歩行者検知の主要な応用分野、歩行者検知に伴う課題、そしてFPGAボード上での歩行者検知の実装の流れについて。 この図の拡大版はこちらをクリックしてご覧ください。

道路上の歩行者を特定するために、多数のアルゴリズムが存在します。この全体的なタスクは主に二つの主要なサブタスクに分けられます。最初のステップは入力画像から特徴を抽出し、重要な特徴だけを保持し、関連する情報を伝えるものだけを保持し、冗長なものは無視します。画像内の人間や歩行者を効果的に認識するためには、これらの特徴がシーン^13,14に人間の存在を示すことが重要です。この抽出の後、特徴は分類器に送られ、識別された特徴が人間のものかどうかを判断します。したがって、アルゴリズムは特徴抽出と記述フェーズを経て、その後に分類ステップで入力シーン内の歩行者の存在を判断する必要があります。この目的のために様々なアルゴリズムが利用可能です。しかし、これまでで最も広く受け入れられている歩行者検知方法は、指向勾配ヒストグラム(HoG)と支持ベクターマシン(SVM)分類器12,13,14,15の組み合わせです。ソフトウェアの進歩例は数多く存在しますが、最終的には実装を互換性のあるハードウェアプラットフォームに移植し、それをアプリケーションシステムに統合してリアルタイムで利用できるようにすることです。したがって、現在の重点はハードウェア実現にあります。したがって、適切なハードウェアを備えたカメラを車両に搭載し、道路上の歩行者を識別できるような、歩行者検知システムの適切なハードウェア実装を開発する必要があると言えます。このような実装に適したハードウェアを検討する際、最も一般的に利用される選択肢の一つはフィールドプログラマブルゲートアレイ(FPGA)です。これは設計時間の短縮、スケーラビリティ、改造の容易さ、再構成可能、低消費エネルギーと電力消費など多くの利点からです。15,16,17,18,19,20,21。²²歳。

FPGAボードは継続的に進化し、現在では基本的な画像処理から物体検出、拡張現実、深^層学習に至る複雑で高度なコンピュータビジョンアプリケーションに広く使われ^{ています。}現在、いくつかの高性能FPGAボードは、これらの複雑なアプリケーションに必要な広範な処理に対応する卓越したアーキテクチャ能力を備えています。歩行者検知などの自動運転車の高度な機能をこれらのハードウェアプラットフォームに実装すれば、性能分析のための迅速な試作開発に非常に役立つでしょう。最適化後、実装されたアルゴリズムを実際の集積回路に移してシステムに統合することも可能です。

10年以上にわたり、HoGおよびSVM手法を用いた歩行者検出の実装に関する重要な論文が異なるFPGAプラットフォームで発表されています。表1は、2015年から2025年までの期間(15,16,17,18,19,20,21,22,23,24)におけるこの分野の記事をまとめており、画像解像度、スループット、フレーム毎秒(FPS)、分類器の種類、主要なハイライトや貢献点などの主要要素に焦点を当てています。紙。

参考文献	FPGAプラットフォーム	画像解像度	分類器	主なハイライト/貢献
15	ザイリンクス・ジンク	640×480	アダブースト	リアルタイムFPGA実装;資源効率的;最適化のためにバイナリゼーションを使用します。高い発見精度。
16	テラシックのDE1-SOCボード	640×480	SVM	高性能HOG抽出器;SVMを統合し、単一スケール検出;低遅延パイプライン。
17	アルテラ DE2-115	640×480	アダブースト	複数の視点からパフォーマンスを評価し、HOG+AdaBoostのFPGA実装;リアルタイムの歩行者検知。
18	インテル・ストラティックスV	640×480	SVM	マルチスケールの歩行者検知;FPGAに適したHOG+SVMパイプライン;精度とハードウェア効率のトレードオフを強調します。
19	Zynq UltraScale+ MPSoC	3840×2160	SVM	リアルタイムUHD処理;パイプライン化されたHOG+SVM;SoC FPGAの実装;不動点最適化;スケーラブルアーキテクチャ。
20	詳細は不明です	詳細は不明です	SVM	検出精度>95%を達成;リアルタイムFPGA実装;並列性を活用し、歩行者検出のための詳細なHOG+SVM FPGA設計。
21	Zync 7000 FPGA	1920×1080年	SVM	HOG+SVM向けのハイスループットストリームアーキテクチャ;HD解像度に対応しています。FPGA加速のための効率的なパイプライン。
22	ウルトラ96(rev1)	240×320	SVM	HLSを用いたFPGA実装;赤信号を検知し、891領域で確率を計算します。レイテンシーは153,838サイクルから19サイクルの範囲です。
23	ザイリンクスZynq-7000 FPGA	640×480	HOG + SVM	FPGA上でHOG-SVMを用いて歩行者検知を実装し、CPU処理に比べて消費電力を抑えつつリアルタイム性能を実現しました。組み込みビジョンアプリケーションに適した最適化された特徴抽出パイプラインを実証しました。
24	Xilinx Virtex-6 FPGA	640×480	固定点物体検出器(ハール様の特徴)	高精度を維持しつつ計算コストを削減し、物体検出を高精度に保つ高スループットFPGAのオブジェクト検出加速を提案しました。効率的なハードウェアリソース利用でCPU実装に比べて15×の高速化を示しました。

表1:FPGAにおける歩行者検出に基づく研究の文献レビュー(2015–2025年)。

表1は、歩行者検知の分野で豊富な文献が存在し、ハードウェアの実装が研究者の関心分野であることをまとめています。また、歩行者検出のタスクには、YOLOのような畳み込みニューラルネットワーク(CNN)ベースの検出器やトランスアーキテクチャなどの高度な深層学習および機械学習技術が存在することも明らかです。精度の面では従来のHoGアルゴリズムよりも優れていますが、ハードウェア実装を考慮すると高度なアルゴリズムは膨大なリソース利用率を生みます。複雑さのため^23,24は他の性能パラメータにも影響を及ぼす可能性があります。また、複雑さが増すため、従来のHoGアルゴリズムの速度がわずかに優れていることも観察されています。^24。25歳。また、高度な技術はハードウェア^24,26上で実装されるとより多くの電力消費が見られます。したがって、本論文で実装された研究の目的は、FPGAハードウェア上で従来のHoGおよびSVMフレームワークを用いて歩行者検出を行い、リアルタイム埋め込みにおいて精度・速度・資源・消費電力の有利なトレードオフを達成することです。表1から明らかなのは、HoGおよびSVMベースの研究を分析すると、最近導入されたZynq UltraScale+ MPSoC(Multi-Processor System On Chip)ベースのFPGA開発ボード²⁷を活用し、これらのボードの能力を探求するために限られた出版物が存在することが明らかです。これらのボードはアーキテクチャの観点から進化してきたからです。 そして、ハイエンドなリアルタイムコンピュータビジョンアプリケーションの実装において大きな可能性を提供します。FPGAボード上で歩行者検知システム全体をリアルタイムで実現した論文は限られています。しかし、中間課題の効率的な実装や改善に注力してきました。さらに、これらの実装の多くはハードウェア記述言語を用いてFPGAボード上でシステム全体を実現することに基づいています。設計サイクルを短縮するためにハイレベルシンセシス(HLS)ツールの利点を活用した人はほとんどいません。本論文では、自動運転アプリケーション専用のFPGAボード上でリアルタイム歩行者検知の設計と実装を実証します。本論文は、静止画、動画、または実際のカメラ入力における歩行者検出のためにHoGおよびSVMフレームワークを利用しています。使用されているハードウェアは、最先端で最近リリースされたFPGAボードであるUltra96 v2で、これはコンピュータビジョン、画像処理、機械学習、エッジコンピューティングなどの強力なプラットフォームである先進的なFPGAアーキテクチャ^です。Ultra96 v2は、ArmベースのAMD Xilinx Zynq UltraScale+ MPSoC²⁷を搭載した開発ボードです。このボードには、ARMベースのCPUコアで構成されるプロセッシングシステム(PS)セグメントと、カスタマイズ可能なハードウェアアクセラレーション^20、21、22を可能にするプログラマブルロジック(PL)セグメントが含まれます。これらのコンポーネントは、PS部分が外部要素との制御と相互作用を管理し、PL部分が実際の処理ロジックを処理するハイブリッドシステムの機能性を高めています。

Protocol

本研究で用いられた実装手順は、FPGAボード上でHoG + SVMを用いた歩行者検出に基づき、高水準合成の利点を活用しており、以下の 図 2に示されています。

図2:FPGAボード上での歩行者検知実装の設計手順。フェーズ1:HLSツールを用いたHoG+SVMを用いた歩行者検出アルゴリズムとIPブロック生成。フェーズ2:HoG+SVMを用いた歩行者検出アルゴリズムによる実際のFPGA実装とビットファイルの生成。フェーズ3:生成されたビットファイルでボードをプログラムする。 この図の拡大版はこちらをクリックしてご覧ください。

1. HLSツールによるHoGおよびSVMを用いた歩行者検知

1. ダウンロード先のシステムプロパティに応じて、Python統合開発環境(IDE)をダウンロードしてください。
   注:本作業ではPython 3.10バージョンを使用しています。
2. HoGアルゴリズムとSVM分類器を使ってトレーニングモデルを実行するためのPythonスクリプトを実行します。スクリプトをまず、データセットからポジティブサンプルとネガティブサンプルを読み込みます。
   注意:INRIAデータセット¹¹を使用してください。
3. 64×128のウィンドウサイズでHoGの特徴を抽出します。
4. INRIAデータセットのトレーニングデータとテストデータを80対20の比率に分割し、再現性を確保するためにランダムシャッフルを行います。
   注意:データセットはPython関数を使ってランダムにシャッフルしてから分割されます。コード内でシード値が固定されるたびに同じ分割が行われるように再現性を確保するためです。
5. 線形核を用いたCサポートベクトル分類(SVC)SVMを用いて訓練します。
6. 重みベクトルとバイアスを抽出します。
7. SVMの重みとバイアスはFPGA実装用に固定小数点Q8.8形式で保存してください。
   注:変換は、生成される各浮動小数点値のオリジナリティを256倍(2⁸)倍でスケーリングし、その結果を整数にキャスティングすることで行われます。
8. 訓練済みのモデルを別のPythonスクリプトでテストし、正則化パラメータCを調整して、精度が95%を超えるまで計算します。
   注:最適化された正則化パラメータはC = 0.05です。
9. HLSツールを開き、xczu3eg-sbva484-1-eの部品番号を選択して新しいプロジェクトを作成します。
10. C++のような高水準言語を使って、高水準合成ツールで歩行者検出コードを書きます。
11. コード内で、3つの異なるC++スクリプトを書きます。1つはHoG特徴記述子とSVM分類器用、もう1つはテストベンチ用でテスト画像への入力と出力画像の保存用、そして3つ目はコードで使用されるパラメータを宣言するヘッダーファイル用です。
12. HoG特徴計算のコードでは、画像を640×480にリサイズし、64×128のスライドウィンドウアーキテクチャを適用します。各ウィンドウについて、重なり合う8×8ブロックの勾配の大きさと向きを計算します。
    注意:スライドウィンドウの概念で画像全体をスキャンし、画像のすべてのエリアをカバーし、あらゆるサイズの歩行者を識別することが重要です。
13. 同じコードのHoG特徴記述子の別の部分では、計算された勾配をSVM分類器に渡します。特徴を分類器の重みと照合するコードを書き、検出された特徴を人間のものかどうかの閾値と比較します。
14. HLSツールの「 Run C Simulation 」をクリックすると、テストベンチを使ってコードの機能正確性をシミュレートできます。
15. コードに異なる入力画像を提供し、検出された歩行者と出力画像を比較します。
16. 「 C合成を実行する 」をクリックすると、ツールによるハードウェア言語へのコードの合成、タイミングや利用率のレポートを生成できます。
    注意:このツールは自動的にHLS合成レポートを開きます。このレポートは、選択したFPGAプラットフォーム上でコーディングされたタスクを実装するために必要なクロック周波数の推定値を示し、使用されたリソースの推定も提供しています。これらの報告値はあくまで推定値であり、実際のパラメータはFPGAボードでの実装後に計算されます。
17. 「 RTLエクスポート 」をクリックすると、歩行者検出のHoGアルゴリズムの知的財産(IP)ブロックをエクスポートできます。
    注意:このIPは実装の後半段階で使用されるものとします。

2. FPGAボードのプログラミング

1. FPGAプログラミングツールを開き、新しいプロジェクトを作成します。部品番号を xczu3eg-sbva484-1-e として選択し、新しいブロック設計を作成します。
   注意:このブロック図は、PSとFPGAボードのPL部分の統合を確立するために作成されています。使用されている通信プロトコルはAdvanced eXtensible Interface(AXI)プロトコルです。
2. ツール内で IPカタログ を検索し、見つけたら開いてください。
3. ステップ1.17でエクスポートされたRTL IPのパスを追加してユーザーリポジトリを作成します。
4. 新しいブロックデザインウィンドウで、右クリックしてIPを追加を選択します。ツールが提供するIPやユーザー追加リポジトリを含むすべてのIPが見えます。
5. リポジトリから Zync Ultrascale PSブロックを追加してください。
   注:このブロックはシステムのPS部分を反映しており、必要なクロックを生成する役割を担い、AXIインターコネクトブロックを介してインポートされたHoG IPに接続するためのマスターポートとスレーブポートも備えています。AXIプロトコルの基本回路で動作します。
6. 8つの HoG IPを追加してください。これは、FPGAボードが提供する並列処理の利点を活かすために、システムが同時に8つのウィンドウを処理することになるからです。
7. プロセッサシステムのリセットブロックを追加し、図内の各ブロックのクロックとリセット電源を制御します。
8. HoG IPとZync PSブロックをつなぐための axi_smart connect ブロックを2つ追加してください。完全な接続を含む全ブロック図は 図3に示されています。
   注: 図3に示されているように、設計に追加すべきすべてのブロックは明確に示されています。 図3 はツールから取得したもので、各ブロックの内部ポートと異なるブロック間のポート間の相互接続を示しています。このブロックは主要な設計であり、FPGAボードのPSとPL部分間のインターフェースを確立する役割を担っています。
9. 図3に従って接続を完了したら、「設計の検証」をクリックします。
   注意:検証は基本的に欠損した接続や切断された接続を確認するもので、これが後の段階で問題を引き起こす可能性があります。
10. 合成をクリックして、ブロック図の検証が成功したら「設計を実装」と入力してください。
    注:Synthesisは設計されたブロック図をマッピングし、それをFPGAボードにマッピングします。このステップでは、設計がハードウェア上で実装できないことを示す違反を報告します。
11. また、タイミング、資源利用、消費電力に関するレポートも生成します。報告書を慎重に確認し、タイミング違反がないか確認し、設計されたシステムの性能を分析してください。
12. FPGAボードのプログラミングに必要な.bitファイルを生成するビット ストリームファイルを生成する「生成ビットファイル(Generate the bitstream) 」をクリックしてください。

図3:HoG + SVMインポートIPを用いた歩行者検出のブロック図。この図の拡大版はこちらをクリックしてください。

3. FPGAボードへの最終実装

1. FPGAボードを用意し、適切なイメージファイルが入ったSDカードをボードのスロットに差し込みます。
2. ボードもパソコンに接続してください。
3. FPGAボードをSDカードモードで起動して、Pythonプログラミング^{を有効にすることができます。}
4. Wi-Fiに接続した後、基板上のJupyterプラットフォームにアクセスします。
5. ウェブカメラをボードに接続します。
6. 生成されたビットファイルをインポートするPythonコードを書き、カメラ画像へのアクセスタスクを実行します。
7. コード内で、画像がPS部分を通じてFPGAボードのメモリに書き込まれ、PL部分に渡されて処理されるようにスクリプトを書きます。
   注:HoG IPに対応するPL部分は、これらのメモリ位置を通じて画像ピクセルにアクセスし、処理し、スコアを出力として提供します。
8. 同じPythonスクリプトで適切なコードを書いて、処理済みの画像を読み込み、コンピュータ画面に表示します。
   注:これで設計全体が完成し、システムは実世界での展開準備が整いました。本研究で使用されたすべてのコードは補足コーディングファイルとしてアップロードされています(補足ファイル1 [Script_1_train_test.py]、 補足ファイル2 [Script_2_HLS_hog.cpp]、 補足ファイル3 [Script_3_HLS_test_bench.cpp]、 補足ファイル4 [Script_4_HLS_consts.h]、 補足ファイル5 [Script_5_jupyter_code.txt])。

Results

HLSでの歩行者検知実装
図4 は、HoG + SVMを用いた歩行者検出のためのHLSツールによるシミュレーション結果を示しています。歩行者を含む入力画像がテスト入力としてコードに入力され、検出された歩行者の出力が表示されます。画像には2つのセクションがあります。最初の検出は同じ歩行者の周囲に何度もバウンディングボックスがあり、2枚目の画像では重なっているボックスが取り除かれ、抑制され、メインの検出ボックスだけが残っています。

図4:HLSツールによるシミュレーション結果

Discussion

本研究は、Zynq UltraScale+ MPSoC開発ボード²⁴に基づく高度なFPGAハードウェア上で、HoG + SVMアルゴリズムを用いたリアルタイム歩行者検出システムを効果的に実装します。結果は、従来のHoGアルゴリズムであるヒト検出¹¹は約95%の精度を達成し、オンボードFPGAリソース(LUT、FF、BRAM、DSP)の半分しか利用していないため、異なるタスクを処理するためにはるかに多くの処理を含める能力が大きく残っていることを示しています。全体の実装アプローチを分析すると、さまざまな重要なステップが存在することが観察されます。大きなステップの一つは、歩行者検出に適したデータセットでSVMモデル^18、19、24を学習し、重みを抽出してFPGAプログラミングで活用することです。ト...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Python	Python	バージョン 3.10
Ultra 96 V2 FPGAボード	Xilinx	2018年に導入	歩行者検出アルゴリズムを実装するために使用されるハードウェア実装プラットフォーム
Vivado	AMD	2019.2	歩行者検出アルゴリズムでUltra 96 v2 FPGAボードをプログラムするために使用されるFPGAプログラミングツール
Vivado HLS	AMD	2019.2	ペーパーの歩行者検出コードのハイレベルプログラミングに使用される高レベル合成ツールで、知的財産（IP）をエクスポートするために使用