본 연구에서는 Ultra96-V2 이기종 플랫폼을 기반으로 Sobel 엣지 검출 알고리즘을 FPGA로 구현하였으며, 256 × 256에서 2560 × 1440에 이르는 다양한 이미지 해상도에 따른 리소스 활용도, 전력 및 속도를 평가하였습니다. 제안된 아키텍처는 실시간 이미지 처리 응용 분야에서 서브 리니어(sub-linear) 리소스 스케일링 특성을 보여줍니다.
이 콘텐츠를 보려면 JoVE 구독이 필요합니다. 로그인하거나 오늘 무료 평가판을 시작하세요.
방법 논문
본 연구에서는 Ultra96-V2 이기종 플랫폼을 기반으로 Sobel 엣지 검출 알고리즘을 FPGA로 구현하였으며, 256 × 256에서 2560 × 1440에 이르는 다양한 이미지 해상도에 따른 리소스 활용도, 전력 및 속도를 평가하였습니다. 제안된 아키텍처는 실시간 이미지 처리 응용 분야에서 서브 리니어(sub-linear) 리소스 스케일링 특성을 보여줍니다.
에지 검출(Edge detection)은 컴퓨터 비전의 핵심 분야이며, 다양한 응용 분야의 필수적인 부분이 되었습니다. 에지 검출을 통해 이미지 내의 중요한 특징이자 이미지에서 핵심적이고 구별 가능한 정보를 추출하는 데 도움을 주는 중요한 속성인 에지를 식별할 수 있습니다. 에지 검출의 하드웨어 구현은 속도가 빨라야 하며, 최소한의 리소스를 사용하고, 전력 소모가 적어야 하며, 다양한 이미지 해상도에 적응 가능해야 합니다. 본 논문은 저해상도 이미지부터 풀 HD(full high-definition)까지 적응형 이미지 해상도를 위한 Sobel 에지 검출을 구현하며, 최신 이기종 FPGA(Field Programmable Gate Array) 플랫폼인 Ultra96-V2를 사용합니다. 결과에 따르면, 저해상도 이미지의 경우 Look up Table(LUT), Flip Flop(FF), 디지털 신호 처리기(DSP) 및 블록 메모리(BRAM)를 포함한 FPGA 온보드 리소스의 5%만 사용된 반면, 고해상도 이미지의 경우 온보드 리소스의 약 23%가 소모되었습니다. 이는 저해상도에서 고해상도 이미지로 전환될 때 리소스 사용량 증가분이 20% 미만임을 보여줍니다. 또한, 최고 해상도에서의 전력 소모는 약 2 W이며, 최대 동작 주파수는 고해상도 이미지에서 136 MHz, 저해상도 이미지에서 166 MHz로 기록되어 주파수 감소율이 18%에 불과함을 보여줍니다. 제안된 아키텍처는 최신 이기종 FPGA 아키텍처의 장점을 활용하여, 픽셀 수가 56배 증가함에도 불구하고 리소스 사용량 증가와 속도 및 전력 감소가 모두 20% 미만인 서브-리니어(sub-linear) 리소스 스케일링을 달성했습니다. 결과적으로, 적응형 해상도 기능과 낮은 리소스 스케일링이 결합되어, 제안된 설계는 고품질 이미지 처리가 요구되는 실시간 에지 검출 응용 분야에 특히 적합합니다.
에지 검출(Edge Detection)은 오늘날 다양한 응용 분야에서 사용되는 거의 모든 컴퓨터 비전 기술의 핵심 요소가 되었습니다1. 에지 검출은 특징 추출 단계로, 이미지에서 유용한 정보를 담고 있는 구별되는 세부 사항을 추출하는 역할을 하며, 이는 광범위한 시나리오에 적용될 수 있습니다2. 이미지 내의 에지는 강도가 급격히 변하는 영역을 나타내므로, 해당 이미지에 대한 중요하고 독특한 정보를 제공합니다. 이 과정은 불필요하고 무관한 세부 사항을 제거하고, 특정 응용 분야를 위해 추가로 처리될 수 있는 핵심적이고 고유한 요소들만 보존하는 것을 용이하게 합니다.
그림 1에 나타난 바와 같이, 에지 검출의 중요성은 이미지 분할, 객체 검출 및 인식, 특징 추출, 이미지 향상, 객체 식별, 의료 영상, 감시, 산업 자동화, 자율 주행, 증강 현실 및 로보틱스를 포함한 다양한 작업에서의 응용을 통해 강조됩니다2,3,4,5,6.
Sobel, Prewitt, Roberts, Canny 등을 포함하여 에지 검출을 위한 다양한 방법이 존재합니다. 이러한 기술 중에서 Sobel 에지 검출은 적용 방법이 간단하고 구현 복잡도가 낮으며, 에지 검출 정밀도가 높다는 점에서 매우 유용합니다3,4,5,6. Sobel 에지 알고리즘은 아래에 표시된 것과 같이 각각 Gx 및 Gy 커널을 사용하여 이미지의 수평 및 수직 방향 그래디언트를 결정합니다2,4.
Gx는 다음의 가장자리를 강조합니다. × 방향, 그리고 Gy는 y 방향의 경계선을 강조합니다.12,13이들이 결합되면 이미지 내의 모든 엣지를 완전히 정의하게 됩니다.6커널을 이용한 컨볼루션(convolution) 과정과 슬라이딩 윈도우(sliding window)는 이미지에 소벨(Sobel) 엣지 검출을 적용하는 데 사용됩니다. 예를 들어 3x3 픽셀 크기의 윈도우를 이미지에서 하나씩 추출하고, 이 윈도우를 필터 행렬과 컨볼루션하여 중심 픽셀의 새로운 값을 구합니다. 전체 이미지를 이와 같은 방식으로 다시 처리합니다. 소벨 엣지 검출에는 두 개의 커널이 사용되는데, 하나는 x 방향의 엣지를 추출하기 위한 것이고 다른 하나는 y 방향의 엣지를 추출하기 위한 것입니다. 모든 엣지를 얻기 위해 이 두 결과를 결합합니다. 소벨 엣지 검출은 정확하고 신뢰할 수 있는 결과를 생성하며, 이는 일부 전처리를 통해 더욱 향상될 수 있습니다.4,5,15전체 Sobel 엣지 검출 과정은 다음과 같이 해석됩니다. 그림 2.
보고된 모든 문헌이 에지 검출 분야에 상당한 기여를 했음에도 불구하고, 대부분의 주요 연구는 낮은 이미지 해상도에서 수행되었습니다. 반면, 본 논문에서 제시하는 연구는 저해상도 이미지(256 × 256)부터 풀 HD(Full High-Definition) 이미지 해상도(2560 × 1440)까지 다양한 이미지 해상도를 다룹니다. 따라서 다양한 이미지 해상도를 가진 실시간 시나리오에 적용되었을 때의 구현 효율성을 이해하기 위해서는, 여러 이미지 해상도에 따른 Sobel 에지 검출 알고리즘의 하드웨어 구현을 조사하는 것이 매우 중요합니다. FPGA(Field Programmable Gate Array)는 신속한 프로토타입 개발에 적합하며, 전체 하드웨어 구성을 변경할 필요 없이 설계 수정이 용이한 재구성 가능성과 같은 장점 덕분에 하드웨어 구현을 위한 적절한 플랫폼으로 인정받아 왔습니다6,7,8,9,10,11,12,13. 또한, FPGA는 병렬 처리 및 파이프라이닝 가능성을 제공하며, 성능 지표가 최적화되고 플랫폼이 검증되면 해당 설계를 실제 ASIC(Application Specific Integrated Circuits) 생산 단계로 발전시킬 수 있습니다14,15. FPGA의 또 다른 중요한 특징은 재구성 가능성으로, 이를 통해 설계자는 하드웨어를 교체할 필요 없이 언제든지 제품 설계를 수정할 수 있습니다. 설계자가 VHDL/Verilog와 같은 하드웨어 기술 언어에 능숙하다면 칩을 다시 프로그래밍하는 것만으로 충분하며, 여기에는 매우 적은 시간과 노력이 소요됩니다4,6,13,16,17. FPGA 구현 분석을 위해 고려된 주요 파라미터는 속도(최대 주파수), 자원 활용도 및 전력 효율성입니다. 표 1은 FPGA 분야에서 발표된 문헌의 수가 증가하고 있음을 보여주며, 2006년부터 2024년까지 FPGA 관련 출판물이 어떻게 발전해 왔는지를 나타냅니다. 이는 FPGA 연구 영역이 이제 실시간 애플리케이션, 증강 현실, 에지 컴퓨팅 및 기타 하이엔드 애플리케이션으로 이동했음을 명확히 설명합니다13,14,15,16,17,18,19,20,21,22,23.
표 2는 2020년부터 2025년까지 FPGA 기반의 Sobel 엣지 검출 구현과 관련된 기존 문헌의 연구 내용을 강조하여 보여줍니다. 표 2에는 참조된 각 논문에서 사용된 FPGA 보드, 구현된 알고리즘, 설계 방법론, 연구 결과, 성능 지표, 응용 분야 및 당면 과제가 명시되어 있습니다.
저자들4은 에지 검출 정확도를 높이기 위해 8방향 Sobel Edge 방법을 사용할 것을 권장했으나, 제안된 방법론에서 더 높은 리소스 소모가 발생한다고 보고했다. Navinkumar 등은 전통적인 Sobel 에지 검출에 포함된 곱셈 및 제곱근과 같은 복잡한 수학 연산을 줄이는 기술을 활용하여, 온보드 리소스를 절약하고 속도를 향상시켰다9. 또 다른 저자들17은 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems)에서 차선을 식별하기 위해 Sobel 에지 검출 알고리즘을 사용하는 것에 대해 기록했다. 그들의 목표는 처리 시간을 단축하면서 검출 속도를 높이는 것이었다. 전반적으로, 에지 검출의 사용은 향후 관심 영역(region of interest) 추출을 위한 신뢰할 수 있는 방법으로 제시되었으며, 이는 불필요한 정보를 무시하고 이미지에서 필요한 영역만을 추출해야 하는 다양한 응용 분야에서 매우 유용할 수 있다. 종합적으로 보고된 과제에는 더 높은 리소스 및 메모리 점유율, 노이즈에 대한 민감도, 높은 계산 비용 및 고해상도 이미지에 대한 제한적인 확장성이 포함되었다4,5,6,11,12,13,21,22,23.
본 연구에서는 256 × 256의 저해상도부터 2560 × 1440의 풀 HD 해상도까지 다양한 이미지 해상도에 대해 전통적인 Sobel 엣지 검출 알고리즘을 Ultra96-V2 FPGA 보드에 구현하였습니다. Ultra96-V2는 고성능 애플리케이션을 위해 FPGA의 프로그래밍 가능 기능과 강력한 Arm 프로세싱(Cortex-A53/R5)을 결합한 보드입니다. 이 보드는 2018년에 처음 출시되었으며, 16 nm FinFET 공정 기술 노드18를 사용합니다.
재현성을 보장하기 위해, 전체 구현은 고수준 합성(HLS)을 위한 Vivado HLS 2019.2와 배치 및 배선을 위한 Vivado 2019.2, 그리고 Ultra96-V2 리소스에서 제공한 PYNQ 이미지를 포함하는 표준 툴체인을 사용하여 수행되었습니다. HLS 코드는 Sobel 엣지 검출 IP(Intellectual Property)를 도출하는 데 사용되었으며, 이는 내보내기 후 Vivado 설계 스위트에 통합되었습니다. IP는 PL(Programmable Logic) 파트에 구현되었으며, FPGA의 PS(Processing System) 파트는 데이터 전송 및 제어 메커니즘을 담당했습니다. PS와 PL의 인터페이싱은 AXI 프로토콜을 통해 이루어졌습니다. 보고된 모든 지표인 주파수, 리소스 활용도 및 전력은 HLS 추정치가 아닌 구현 후 보고서(post-implementation reports)에서 가져온 값입니다. 구현 설정은 일관되게 유지되었으며, 실험 전반에 걸쳐 이미지 해상도만 변경되었습니다.
본 연구의 주요 성과는 낮은 전력 소비, 낮은 리소스 활용도 및 빠른 속도 측면에서 나타납니다. 결과에 따르면 고해상도 이미지에 대한 온보드 리소스 활용도는 20% 미만(Look Up Tables (LUTs) 18%, Flip Flops (FF) 11%, 메모리 3%, DSP 10%)으로 나타났으며, 이는 엣지 검출이 중간 단계일 뿐인 컴퓨터 비전 시스템에서 예상되는 바와 같이, 해당 이미지들에 대해 훨씬 더 많은 프로세싱을 통합할 수 있는 충분한 여유 공간이 있음을 시사합니다. 또한, 전력 소모는 거의 2 W이며, 최대 동작 주파수는 144 MHz로 보고되었습니다. 결과적으로 이미지 크기를 거의 56배 확대하더라도 리소스 활용도는 약 20%만 증가하는 것으로 나타났습니다. 속도와 전력 소모 또한 약 20% 정도만 저하되었습니다. 이러한 분석은 이전 문헌에서 보고되지 않은 다른 관점에서 알고리즘을 심도 있게 조사한 것이며, 따라서 본 구현 방식이 실시간 애플리케이션에 매우 적합하며, 엣지 검출 이후의 후속 단계에서 필요로 하는 정보량을 확실히 감소시키는 작은 이미지 크기나 낮은 해상도로 제한할 필요가 없음을 나타냅니다.
본 연구의 참신함은 알고리즘 자체에 있는 것이 아니라, HLS 기반 구현 기술의 장점을 활용하여 현대의 이기종 FPGA 아키텍처 상에서 다양한 이미지 해상도에 따른 전통적인 Sobel 엣지 검출 알고리즘의 성능을 평가하는 데 중점을 둡니다. 이 논문의 주요 기여는 기본적으로 FPGA 상에 구현된 하이브리드 방법론의 적용에 있으며, 아키텍처의 PS와 PL 섹션 간에 작업 부하를 효율적으로 분산함으로써 설계가 다양한 해상도에 유연하게 적응할 수 있도록 한 것입니다. 또 다른 기여는 이미지 해상도 변화에 따라 리소스 스케일링이 어떻게 달라지는지 평가하는 실험을 수행한 것이며, 이는 다양한 설정 및 다양한 응용 분야에서의 성능을 이해하는 데 도움이 됩니다.
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
1. HLS 툴을 이용한 Sobel 엣지 검출 구현
2. 추출된 HLS IP를 이용한 FPGA 플랫폼 Ultra96-V2 상의 Sobel 엣지 검출 구현
3. FPGA 보드 프로그래밍
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
이 섹션에서는 Ultra96-V2에서 Sobel 에지 검출을 설계하여 얻은 결과에 대해 논의합니다. 그림 5 다음은 HLS 시뮬레이션을 통해 얻은 입력 및 출력 이미지입니다. 사용된 이미지는 512 × 512 크기의 표준 이미지입니다. 이 결과는 Sobel 에지 검출을 위해 작성된 HLS 코드가 기능적으로 정확함을 보여줍니다. 결과 이미지에서 에지가 명확하게 보여야 합니다.
표 3은 xczu3eg-sbva484-1-e FPGA 파트를 사용하는 Ultra96-V2에서의 합성 보고서와 생성된 타이밍 및 리소스 사용량 파라미터를 보여줍니다. 이 보고서는 설계가 사용자가 지정한 타이밍 제약 조건을 충족하는지 여부를 나타내는 타이밍 관련 정보로 구성됩니다. 타이밍 요약에 따르면, 추정 시간인 8.544 ns는 목표 시간인 10 ns보다 작으며, 이는 설계가 사용자 제약 조건을...
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
본 논문은 컴퓨터 비전 및 이미지 처리의 여러 분야에서 다양한 응용 프로그램의 필수 구성 요소인 Sobel 엣지 검출 알고리즘의 실행에 초점을 맞춥니다2,3,4,5,6. Sobel 엣지 검출 구현은 Vivado HLS 도구를 사용하여 수행되었으며, 이를 통해 하드웨어 기술 언어에 의존하지 않고 고수준 언어로 코딩이 가능했습니다. Vivado HLS 코드는 Ultra96-V2 보드에서 실행되었습니다. 구현 후 결과에 따르면, 구현된 설계는 고해상도 이미지를 지원하며 136 MHz의 주파수에서 작동하고, 전력 소비는 2 W이며 보드 전체 리소스의 20% 미만을 사용합니다. 또한, 결과적으로 다양한 응용 프로그램에서 서로 다른 이미지 크기의 사용을 요구할 수 있고, 엣지 검출은 일반...
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
저자들은 이해관계의 충돌이 없음을 밝힙니다. 본 원고의 작성 과정에서 인공지능(AI) 도구는 사용되지 않았습니다.
저자들은 선언할 감사 인사가 없습니다. 본 연구는 외부 지원금을 받지 않았습니다.
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
| 이름 | 회사 | 카탈로그 번호 | 댓글 |
|---|---|---|---|
| Ultra96-V2 FPGA 보드 | Xilinx | 2018년 도입 | 보행자 검출 알고리즘 구현에 사용된 하드웨어 구현 플랫폼 |
| Vivado HLS | AMD | 2019.2 | 지적 재산(IP) 내보내기를 위해 논문의 보행자 검출 코드를 고수준 프로그래밍하는 데 사용된 고수준 합성 도구 |
| Vivado | AMD | 2019.2 | Sobel 엣지 검출 알고리즘을 Ultra 96 v2 FPGA 보드에 프로그래밍하는 데 사용된 FPGA 프로그래밍 도구 |
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.