Проектирование и реализация программируемой платформы для обнаружения пешеходов на основе массива ворот для автономного вождения

Summary

В этой исследовательской статье демонстрируется реализация алгоритма обнаружения пешеходов в реальном времени на полевых программируемых аппаратных средствах вентильных массивов, преимущественно для автономного вождения. Алгоритм объединяет гистограмму ориентированных градиентов (HoG) с классификатором опорной векторной машины (SVM), и результаты показывают эффективность по скорости, энергопотреблению и использованию ресурсов.

Abstract

Автономное вождение — многообещающий способ справиться с растущим числом смертельных случаев в дорожно-транспортных происшествиях. Автономное транспортное средство включает множество функций, но возможность обнаруживать пешеходов крайне важна, сложна и актуальна для различных ситуаций реального времени, таких как наблюдение, отслеживание людей и мониторинг. Точно определить пешеходов сложно, так как они могут появляться в разных формах, позах и позах. Они могут носить разную одежду и иногда быть частично скрытыми или сливаться с окружающими предметами. В данной статье сосредоточена на обнаружении пешеходов в реальном времени для беспилотных автомобилей с помощью популярной аппаратной платформы: программируемого массива полевых затворов (FPGA), Ultra 96 v2. В исследовании реализуется метод обнаружения пешеходов на основе гистограммы ориентированных градиентов (HOG) в сочетании с классификатором опорной векторной машины (SVM) для распознавания отдельных лиц на плате FPGA, используя инструменты высокоуровневого синтеза (HLS). Эффективность системы была проверена как на статичных изображениях, так и на живом видео. Результаты показывают, что продвинутые FPGA-платы, такие как Ultra 96 v2, значительно улучшают показатели производительности. Система работает на тактовой частоте 150 МГц, используя менее половины доступных ресурсов и потребляя около 2,5 Вт мощности. Кроме того, система сообщает о точности обнаружения пешеходов близко к 95% и других эффективных показателях для оценки обнаружения, таких как точность (78,6%), отзыв (88,3%) и оценка F1 (83,1%). В заключение, разработанная система способна обнаруживать пешеходов в реальном времени и имеет потенциал значительно улучшить создание умной и безопасной транспортной среды.

Introduction

Городское развитие и появление умных городов являются темами, представляющими интерес во всём мире. Все страны работают над развитием своих городов, которые можно построить так, чтобы они были безопасными и комфортными для жителей ^1,2. Однако в нынешней ситуации наблюдается, что по мере роста населения и увеличения дорожных пробок уровень смертей в результате дорожно-транспортных происшествий из-за халатности вождения и плохой видимости резко растёт. Многообещающим решением этих проблем стало появление автономных транспортных средств по всему миру, что вдохновило^{на инновации. 1, 2, 3, 4}, и исследователи прилагают усилия для создания полностью автономных транспортных средств, позволяющих пассажирам расслабляться без каких-либо опасений. Необходимость разработки автономных транспортных средств связана с тем, что даже опытные водители могут столкнуться со стрессом, дилеммами, усталостью или трудностями с ощущением окружающей среды из-за плохой погоды, и все эти проблемы приводят к дорожно-транспортным происшествиям. Беспилотный автомобиль предназначен для предотвращения аварий во время движения, оптимизации использования ресурсов двигателя и соблюдения правил дорожного движения, что, несомненно, улучшит^{транспортировку 2,4}. Автономный автомобиль оснащён множеством функций, датчиков и функций, позволяющих ему очень точно ощущать окружающую обстановку, избегая столкновений и аварий, и поэтому теперь они стали перспективным решением для обеспечения безопасности и надёжности^{транспорта} 1,2,3,4.

Среди всех функций, встроенных в автономный автомобиль, одной из самых важных является обнаружение пешеходов. Надёжная система обнаружения пешеходов может значительно снизить количество погибших в дорожно-транспортных^{происшествиях — 5, 6, 7, 8}, поскольку большинство жертв — пешеходы. Обнаружение пешеходов включает идентификацию людей на дороге и предотвращение столкновений с ними. Эта функция полезна не только для беспилотных автомобилей, но и для различных других областей применения, таких как мониторинг толпы, идентификация личностей и отслеживание^{9, 10 и 11}. Ключевой аспект этого процесса обнаружения — скорость и точность обнаружения. Крайне важно быстро и точно и быстро обнаруживать пешеходов, чтобы время реагирования было минимальным. Обнаружение пешеходов создает огромную проблему. Пешеходы на дороге могут быть в любой одежде, внешнем виде или позе и быть невидимыми из-за плохой погоды или окклюзии^{10, 11, 12, 13, 14}. Более того, вполне возможно, что пешеходы сами не следуют правилам, и невозможно контролировать человеческую природу, поэтому лучший способ — оснастить автомобиль интеллектом, способным справиться с неправильными действиями и избежать потерь. Полный ход работы в этом исследовании и мотивация аппаратной реализации обнаружения пешеходов легко понять на рисунке 1 ниже, где объясняется необходимость обнаружения пешеходов, его различные области применения, связанные с этим вызовы и внедрение на FPGA для использования предлагаемых преимуществ.

Рисунок 1: Обнаружение пешеходов. Необходимость обнаружения пешеходов, ключевые области применения обнаружения пешеходов, вызовы, связанные с обнаружением пешеходов, и внедрение процесса обнаружения пешеходов на плате FPGA. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Для идентификации пешеходов на дороге существует множество алгоритмов. Эту общую задачу можно в первую очередь разделить на две основные подзадачи: начальный шаг извлекает признаки из входного изображения, сохраняя только те, что являются значимыми и передают релевантную информацию, игнорируя избыточные. Для эффективного распознавания людей или пешеходов на изображении крайне важно, чтобы эти признаки указывали на присутствие человеческой фигуры в^{сцене 13,14}. После этого извлечения признаки должны быть отправлены классификатору, который сможет определить, соответствуют ли выявленные признаки человеку. Поэтому алгоритм требует этапа извлечения и описания объектов, за которым следует этап классификации для определения присутствия пешеходов в входной сцене. Существуют различные алгоритмы для этой цели. Однако самым широко принятым методом обнаружения пешеходов на сегодняшний день остаётся сочетание гистограммы ориентированных градиентов (HoG) с классификатором опорной векторной машины (^SVM) 12,13,14,15. Существует множество примеров программных достижений, но в конечном итоге цель — портировать реализацию на совместимую аппаратную платформу, которая затем может быть интегрирована в систему приложений для использования в реальном времени. Поэтому сейчас акцент делается на реализацию аппаратного обеспечения. Таким образом, необходимо разработать соответствующую аппаратную реализацию систем обнаружения пешеходов, при которой камеры с соответствующим оборудованием могут устанавливаться на транспортные средства и выявлять пешеходов на дороге. При выборе аппаратного обеспечения, подходящего для таких реализаций, одним из наиболее часто используемых вариантов является программируемый массив полевых элементов (FPGA) благодаря многочисленным преимуществам, включая сокращение времени проектирования, масштабируемость, простоту модификаций, перенастраиваемость и меньшее энергопотребление^{и энергопотребление 15,16,17,18,19,20,21,22}.

Платы FPGA постоянно развивались и сейчас широко используются для сложных и продвинутых приложений компьютерного зрения, охватывающих базовые обработки изображений до обнаружения объектов, дополненной реальности и глубокого^{обучения} 20,21,22. В настоящее время несколько высокопроизводительных плат FPGA предлагают исключительные архитектурные возможности для обеспечения обширной обработки, необходимой для этих сложных приложений. Если передовые функции автономных транспортных средств, такие как обнаружение пешеходов, будут реализованы на таких аппаратных платформах, эти платформы могут быть очень полезны для быстрой разработки прототипов с целью анализа производительности, а после оптимизации реализованный алгоритм может быть перенесён в реальные интегральные схемы для интеграции в систему.

Более десяти лет существуют значительные публикации, основанные на реализации обнаружения пешеходов с использованием методов HoG и SVM на различных платформах FPGA. Таблица 1 суммирует статьи в этой области за период с^{2015 по 2025 годы: 15, 16, 17, 18, 19, 20, 21, 22, 23, 24}, с акцентом на ключевые факторы, такие как разрешение изображения, пропускная способность или кадры в секунду (FPS), тип классификатора и ключевые выделения или вклад Бумага.

Ссылка	Платформа FPGA	Разрешение изображения	Классификатор	Ключевые достижения / вклад
15	Xilinx Zynq	640×480	AdaBoost	Реализация FPGA в реальном времени; ресурсоэффективность; использует бинаризацию для оптимизации; Хорошая точность обнаружения.
16	Плата DE1-SOC компании Terasic	640×480	SVM	Высокопроизводительный экстрактор HOG; интегрирует SVM; обнаружение на одном уровне; Конвейер с низкой задержкой.
17	Altera DE2-115	640×480	AdaBoost	Оценивает результаты с разных точек зрения; FPGA-реализация HOG+AdaBoost; Обнаружение пешеходов в реальном времени.
18	Intel Stratix V	640×480	SVM	Многомасштабное обнаружение пешеходов; конвейер HOG+SVM, дружественный к FPGA; подчёркивает компромиссы между точностью и аппаратной эффективностью.
19	Zynq UltraScale+ MPSoC	3840×2160	SVM	Обработка UHD в реальном времени; конвейерный HOG+SVM; Реализация SoC FPGA; оптимизации с фиксированными точками; Масштабируемая архитектура.
20	Не указано	Не указано	SVM	Достигает точности обнаружения >95%; реализация FPGA в реальном времени; использовать параллелизм; детальный дизайн FPGA HOG+SVM для обнаружения пешеходов.
21	Zync 7000 FPGA	1920×1080	SVM	Архитектура потоков с высокой пропускной способностью для HOG+SVM; поддерживает HD-разрешение; эффективный конвейер для ускорения FPGA.
22	Ultra96 (rev1)	240×320	SVM	реализация FPGA с использованием HLS; обнаруживает красные светофоры; рассчитывает вероятности в 891 регионе; Задержка варьируется от 153 838 до 19 циклов.
23	Xilinx Zynq-7000 FPGA	640 × 480	HOG + SVM	Реализовано обнаружение пешеходов с помощью HOG-SVM на FPGA, обеспечивая работу в реальном времени с меньшим энергопотреблением по сравнению с процессорной обработкой. Продемонстрирован оптимизированный конвейер извлечения признаков, подходящий для приложений встраиваемого зрения.
24	Xilinx Virtex-6 FPGA	640 × 480	Детектор объектов с фиксированной точкой (характеристики, подобные Хаару)	Предлагается высокопроизводительное ускорение обнаружения объектов с помощью фиксированной точной арифметики, что снижает вычислительные затраты при сохранении точности. Показано 15× ускорения по сравнению с реализациями процессора с эффективным использованием аппаратных ресурсов.

Таблица 1: Обзор литературы исследований, основанных на обнаружении пешеходов по FPGA (2015–2025).

Таблица 1 подводит итог того, что существует обширная литература в области обнаружения пешеходов, и внедрение аппаратного обеспечения является областью интереса для исследователей. Также очевидно, что существуют передовые методы глубокого обучения и машинного обучения, такие как детекторы на основе сверточных нейронных сетей (CNN), такие как YOLO, архитектуры на основе трансформаторов и др., которые выполняют задачу обнаружения пешеходов. Они даже превосходят традиционный алгоритм HoG по точности, но если рассматривать аппаратную реализацию, то продвинутые алгоритмы приводят к огромному использованию^{ресурсов 23,24} из-за сложности алгоритма, что может влиять и на другие параметры производительности, и также было отмечено, что из-за дополнительной сложности скорость немного выше в случае традиционного алгоритма^{HoG 24, 25}. Также было замечено, что современные методы потребляют больше энергии при реализации на^{аппаратном устройстве 24,26}. Таким образом, цель работы, реализованной в данной статье, — провести обнаружение пешеходов с использованием традиционных фреймворков HoG и SVM на аппаратном обеспечении FPGA и достичь выгодного компромисса точности, скорости, ресурсов и энергопотребления для вложения в реальном времени. Из Таблицы 1 совершенно ясно, что при анализе работ на базе HoG и SVM наблюдается, что существует ограниченное количество публикаций, использующих недавно представленную FPGA-плату Zynq UltraScale+ MPSoC (Multi-Processor System On Chip) для изучения возможностей этих плат, поскольку с точки зрения архитектуры эти платы эволюционировали, и предлагают большой потенциал для реализации высококлассных приложений для компьютерного зрения в реальном времени. Существует ограниченное количество публикаций, реализующих всю систему обнаружения пешеходов в реальном времени на платах FPGA. Однако они сосредоточились на эффективной реализации или улучшении промежуточных задач. Кроме того, большинство этих реализаций основаны на реализации всей системы на плате FPGA с помощью языков аппаратного описания. Мало кто использовал преимущества инструментов высокоуровневого синтеза (HLS) для ускорения цикла проектирования. В данной статье демонстрируется проектирование и реализация системы обнаружения пешеходов в реальном времени на плате FPGA, предназначенной для автономного вождения. В статье используется фреймворк HoG и SVM для обнаружения пешеходов на неподвижных изображениях, видео или реальном входе камеры. Используемое оборудование — это передовая и недавно выпущенная плата FPGA Ultra96 v2, которая представляет собой продвинутую архитектуру FPGA, являющуюся мощной платформой для компьютерного зрения, обработки изображений, машинного обучения, периферийных вычислений и ^т.д.24. Ultra96 v2 — это плата для разработки с AMD Xilinx Zynq UltraScale+^{MPSoC 27} на базе Arm. Эта плата включает сегмент системы обработки (PS), который состоит из ядер процессора на базе ARM, управляющих программными аспектами проекта, и сегмента Программируемой Логики (PL), позволяющего настраиваемое аппаратное^{ускорение 20, 21, 22}. Вместе эти компоненты усиливают функциональность гибридной системы, где PS-часть управляет и взаимодействует с внешними элементами, а PL отвечает за фактическую логику обработки.

Protocol

Процедура реализации, использованная в этом исследовании, основанная на обнаружении пешеходов с помощью HoG + SVM на плате FPGA, используя преимущества высокоуровневого синтеза, показана на рисунке 2 ниже.

Рисунок 2: Процедура проектирования внедрения обнаружения пешеходов на плате FPGA. Фаза 1: Алгоритм обнаружения пешеходов с использованием HoG+SVM на инструменте HLS и генерация IP-блока. Фаза 2: Алгоритм обнаружения пешеходов с использованием HoG+SVM для фактической реализации FPGA и генерации битового файла. Фаза 3: Программирование платы с использованием сгенерированного битового файла. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

1. Обнаружение пешеходов с помощью HoG и SVM в инструменте HLS

1. Скачайте интегрированную среду разработки на Python (IDE) в зависимости от свойств системы, на которых выполняется скачивание.
   ПРИМЕЧАНИЕ: В этой работе используется версия Python 3.10.
2. Запустите скрипт на Python для запуска обучающей модели с использованием алгоритма HoG и классификатора SVM. Начинайте скрипт с загрузки положительных и отрицательных образцов из набора данных.
   ПРИМЕЧАНИЕ: Используйте набор данных^{INRIA 11}.
3. Извлечь функции HoG для окна размером 64 x 128.
4. Разделите обучающие и тестовые данные из набора данных INRIA в соотношение 80/20 с случайным перемешиванием для воспроизводимости.
   ПРИМЕЧАНИЕ: Набор данных случайным образом перетасовывается с помощью функции python перед разделением данных. Обеспечить воспроизводимость, чтобы одно и то же разделение происходило каждый раз, когда в коде фиксируется заточённое значение.
5. Обучать с использованием классификации векторов C-поддержки (SVC) SVM с линейным ядром.
6. Извлеките векторы веса и смещение.
7. Сохраняйте веса SVM и смещение в формате Q8.8 с фиксированной точкой для реализации FPGA.
   ПРИМЕЧАНИЕ: Преобразование осуществляется путём масштабирования оригинальности каждого значения с плавающей запятой в разряд 256 (2⁸) и передачи результата в целое число.
8. Протестируйте обученную модель через другой скрипт на Python и отрегулируйте параметр регуляризации C, пока точность не превысит 95%.
   ПРИМЕЧАНИЕ: Получен оптимизированный параметр регуляризации: C = 0.05.
9. Откройте инструмент HLS и создайте новый проект с выбранным номером детали как xczu3eg-sbva484-1-e.
10. Напишите код обнаружения пешеходов на высокоуровневом инструменте синтеза, используя языки высокого уровня, такие как C++.
11. В коде напишите три разных скрипта на C++: один для дескриптора особенностей HoG и классификатора SVM, другой для тестбенда для входных данных тестовых образов и сохранения выходных образов, и третий для файла заголовка, который объявляет параметры, используемые в коде.
12. В коде для вычисления функций HoG уменьшите размер изображения до 640 x 480 и примените архитектуру скользящего окна с размером окна 64 x 128. Для каждого окна вычислите градиентную величину и ориентацию для каждого перекрывающегося блока 8 x 8.
    ПРИМЕЧАНИЕ: Важно отсканировать всё изображение через концепцию скользящего окна, чтобы покрыть каждую область изображения и идентифицировать пешеходов всех возможных размеров.
13. В другой части того же кода для дескриптора признаков HoG передайте рассчитанные градиенты классификатору SVM. Напишите код для сопоставления признаков с весами классификатора и сравните с порогом, чтобы классифицировать обнаруженный признак как человеческий или нет.
14. Нажмите на Run C Simulation в инструменте HLS, чтобы смоделировать код с помощью тестового стенда и проверить корректность кода.
15. Предоставьте разные входные изображения в код и проверьте выходные изображения с обнаруженными пешеходами.
16. Нажмите на Run C Synthesis , чтобы синтезировать код для сопоставления кода с аппаратными языками инструмента и сгенерировать отчёты по времени и использованию.
    ПРИМЕЧАНИЕ: Инструмент автоматически открывает отчёты по синтезу HLS. В этом отчёте приведена оценка необходимой тактовой частоты для реализации закодированной задачи на выбранной платформе FPGA, а также оценка используемых ресурсов. Эти представленные значения являются лишь оценками, а фактические параметры рассчитываются только после внедрения на плате FPGA.
17. Нажмите на Export RTL , чтобы экспортировать блок интеллектуальной собственности (IP) для алгоритма HoG для обнаружения пешеходов.
    ПРИМЕЧАНИЕ: Этот IP предназначен для использования на поздних этапах реализации.

2. Программирование платы FPGA

1. Откройте инструмент для программирования FPGA и создайте новый проект. Выберите номер детали как xczu3eg-sbva484-1-e и создайте новый дизайн блока.
   ПРИМЕЧАНИЕ: Эта блок-схема создана для установления интеграции между PS и PL частью платы FPGA. Используемый протокол связи — протокол Advanced eXtensible Interface (AXI).
2. Найдите IP-каталог в инструменте и, как только найдёте, откройте его.
3. Создайте пользовательский репозиторий, добавив путь экспортированного RTL-IP в шаге 1.17.
4. В новом окне дизайна блока теперь кликните правой кнопкой мыши и выберите добавить IP. Все IP-адреса будут видны, включая те, что предоставляются инструментом, а также добавленные пользователем репозитории.
5. Добавьте блок Zync Ultrascale PS из репозитория.
   ПРИМЕЧАНИЕ: Этот блок отражает PS-часть системы, которая отвечает за генерацию необходимых тактовых частот, а также содержит главные и ведомые порты для подключения к импортированному IP HoG через блок AXI, который работает на основе протокола AXI.
6. Добавьте 8 IP HoG , потому что система будет одновременно обрабатывать 8 окон, чтобы использовать преимущества параллелизма, предлагаемые платой FPGA.
7. Добавьте блок сброса процессорной системы , который также управляет тактовой частотой и питанием сброса для каждого блока на диаграмме.
8. Добавьте два axi_smart блока соединения для соединения IP HoG с блоком Zync PS. Вся блок-схема с полными соединениями показана на рисунке 3.
   ПРИМЕЧАНИЕ: Как показано на рисунке 3, все блоки, которые необходимо добавить в дизайн, показаны чочно. Рисунок 3 запечатлено из инструмента, на котором показаны внутренние порты каждого блока, а также межсоединения между портами разных блоков. Этот блок является основной конструкцией, так как отвечает за установление интерфейса между PS и PL частью платы FPGA.
9. После завершения соединений согласно рисунку 3 нажмите на «Валидировать проектирование».
   ПРИМЕЧАНИЕ: Валидация в основном проверяет отсутствующие или неисправные соединения, что может привести к проблемам на поздних этапах.
10. Нажмите на синтез , а затем выполните проектирование в tool после успешной валидации блок-схемы.
    ПРИМЕЧАНИЕ: Synthesis отображает разработанную блок-схему и отображает её на плате FPGA. Этот шаг сообщает о любых нарушениях, которые могут указывать на невозможность реализации конструкции на аппаратном обеспечении.
11. Инструмент также будет генерировать отчёты, связанные с таймингом, использованием ресурсов и энергопотреблением. Тщательно изучите отчёты, чтобы проверить нарушения по времени и проанализировать работу разработанной системы.
12. Нажмите Generate the bitstream file , который сгенерирует .bit файл, необходимый для программирования платы FPGA.

Рисунок 3: Блок-схема для обнаружения пешеходов с использованием импортированного IP HoG + SVM. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой рисунка.

3. Окончательная реализация на плате FPGA

1. Возьмите плату FPGA и вставьте SD-карту с нужным изображением в слот на плате.
2. Подключите плату к компьютеру тоже.
3. Загрузите FPGA-плату в режиме SD-карты, чтобы включить программирование на Python^{на ней 21, 22}.
4. Получите доступ к платформе Jupyter на плате после подключения к Wi-Fi.
5. Подключите веб-камеру к плате.
6. Напишите код на python для импорта сгенерированного битового файла и выполнения задачи доступа к изображениям камеры.
7. В коде запишите скрипт так, чтобы изображение записывалось в память платы FPGA через PS-компонент и передавалось на PL-компонент для обработки.
   ПРИМЕЧАНИЕ: Часть платы PL, соответствующая IP HoG, обращается к пикселям изображения через эти ячейки памяти, обрабатывает их и предоставляет результаты в виде результата.
8. Напишите соответствующий код в том же скрипте на Python для чтения обработанных изображений и их отображения на экране компьютера.
   ПРИМЕЧАНИЕ: Это завершает весь проект, и система теперь готова к внедрению в реальных приложениях. Все коды, использованные в этом исследовании, загружаются в качестве дополнительных кодовых файлов (Дополнительный файл 1 [Script_1_train_test.py], Дополнительный файл 2 [Script_2_HLS_hog.cpp], Дополнительный файл 3 [Script_3_HLS_test_bench.cpp], Дополнительный файл 4 [Script_4_HLS_consts.h], Дополнительный файл 5 [Script_5_jupyter_code.txt]).

Results

Реализация обнаружения пешеходов на HLS
На рисунке 4 показаны результаты моделирования на инструменте HLS для обнаружения пешеходов с помощью HoG + SVM. Входное изображение с пешеходом подаётся в качестве тестового входа в код, а выход с обнаруженными пешеходами отображается. На изображении есть две часть. Первое обнаружение имеет множество ограничивающих рамок вокруг одного и того же пешехода снова и снова, а на втором изображении перекрывающиеся коробки удаляются и под...

Discussion

Это исследование эффективно реализует систему обнаружения пешеходов в реальном времени, использующую алгоритм HoG + SVM на современном оборудовании FPGA на базе платы разработки Zynq UltraScale+^{MPSoC 24}. Результаты показывают, что традиционный алгоритм HoG для обнаружения человека¹¹ достигает точности около 95% и использует только половину встроенных ресурсов FPGA (LUT, FF, BRAM, DSP), оставляя огромные возможности для включения гораздо бол...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Python	Python	Версия 3.10
Ultra 96 V2 FPGA Board	Xilinx	Представлен в 2018 году	Платформа аппаратной реализации, используемая для реализации алгоритма обнаружения пешеходов
Vivado	AMD	2019.2	Инструмент программирования FPGA, используемый для программирования платы FPGA Ultra 96 v2 с алгоритмом обнаружения пешеходов
Vivado HLS	AMD	2019.2	Инструмент высокоуровневой синтезируемости, используемый для высокоуровневого программирования кода обнаружения пешеходов в статье для экспорта интеллектуальной собственности (IP)