지역 특징을 기반으로 한 복잡한 엘리베이터 시나리오에서 전기자전거용 개선된 청크 이미지 주석 방법

Summary

EBike-DET 데이터셋과 주류 객체 검출 모델을 사용하여 복잡한 엘리베이터 시나리오에서 전기 자전거 탐지를 향상시키기 위해 지역 특징을 기반으로 한 청크된 이미지 주석 방법을 제시합니다.

Abstract

주거용 엘리베이터와 같은 밀폐 환경에서 전기 자전거(EBikes)의 사용이 증가하면서 심각한 안전 문제가 제기되었고, 특히 잦은 장애물로 인해 자동화된 물체 감지에 상당한 도전이 제기되고 있습니다. 전통적인 탐지 방식은 주로 전체론적 주석에 의존하지만, 시각적으로 복잡한 장면에서 부분적으로 가려진 EBike를 정확히 인식하지 못하는 경우가 많습니다. 이러한 한계를 극복하기 위해 본 연구는 국소적 특징을 기반으로 한 새로운 청크 주석 기법을 제안하여 보다 해석 가능한 주석 전략을 제공합니다. EBike를 여러 주요 영역으로 분해하여 독립적으로 라벨링함으로써, 제안된 방법은 검출 모델이 미세한 구조 정보를 학습할 수 있게 하여, 폐쇄가 강한 조건에서도 견고성을 향상시킵니다. 또한, 현실적인 엘리베이터 시나리오에서 탐지 작업을 지원하기 위해 전용 데이터셋인 EBike-DET가 개발되었습니다. 청크 접근법을 사용해 주석을 달고 시뮬레이션된 환경 조건으로 보완된 이 데이터셋은 모델 성능과 적응력을 모두 향상시킵니다. 제안된 방법은 객체 탐지를 더 투명하고 구조적으로 해석 가능하게 만들어 설명 가능한 인공지능(XAI) 개발을 촉진하며, 이는 특히 안전에 중요한 응용 분야에서 가치가 있습니다. 세 가지 주류 모델(YOLOv5, YOLOv10, SSD)을 사용하여 광범위한 실험이 진행되었습니다. 결과에 따르면, 청크 주석을 적용한 EBike-DET에서 YOLOv5를 학습했을 때 정밀도 3.7%, 기억 5.3%, F1 점수 4.5%, mAP 4.4%의 향상을 이룬다. 공개 데이터셋과 비교할 때, EBike-DET는 폐쇄 하에서도 더 높은 안정성과 견고성을 보입니다. 이 연구는 탐지 정확도를 향상시킬 뿐만 아니라 실제 안전 모니터링 시스템에 배치할 수 있는 보다 해석 가능하고 설명 가능한 AI 솔루션으로 나아가는 한 걸음을 제시합니다.

Introduction

특히 중국에서 2022년까지 3억 5천만 대를 넘는 전기자전거(EBikes)의 급속한 확산으로 인해 전기자전거(EBikes)는 단거리 교통수단의 주된 수단이 되었습니다. 하지만 주거용 엘리베이터와 같은 밀폐된 공간에서 자주 사용되면 비정상적인 진동, 장비 손상, 불쾌한 악취, 화재 위험 등 심각한 안전 위험이 발생합니다. 최근 연구에 따르면 EBike 관련 화재 사고는 약 1.44%의 확률로 발생한다고 추정합니다^. 이러한 위험은 엘리베이터 환경에서 안전을 강화하기 위해 효율적이고 정확한 EBike 탐지 방법의 긴급한 필요성을 강조합니다.

컴퓨터 비전과 딥러닝이 발전했음에도 불구하고, 엘리베이터에서의 EBike 탐지는 여전히 도전적입니다. 공개된 데이터셋은 드물고, EBike 모델, 색상, 폐쇄 조건 등 다양성이 부족해 모델 일반화를 제한합니다^. 더불어, 엘리베이터 시나리오에서는 복잡한 오클루즈가 자주 발생하는데, 이때 EBikes가 승객이나 구조 부품에 부분적으로 가려져 탐^{지 정밀도가 3,4,5}로 더욱 저하됩니다. EBikes를 단일 경계 상자로 취급하는 기존의 전체론적 주석 기법은 이러한 조건에서 종종 실패하여 주석 및 탐지 전략의 개선이 필요함을 보여줍니다. 표 1에서 보듯, 전체론적 주석은 성능 저하를 초래하며, 교차점 오버 유니언(IoU) 임계값에서 청크 주석에 비해 평균 정확도가 최대 21.5% 감소하여 0.5(mAP@0.5)를 기록했습니다.

딥러닝 기반 탐지의 발전

딥러닝 기법, 특히 합성곱 신경망(CNN)은 객체 탐지에 널리 적용되어 왔습니다. You Only Look Once(YOLO) 시리즈는 강력한 실시간 성능을 보여줍니다. 하지만 가려졌거나 겹치는 객체를 감지할 때, YOLO 모델은 중복된 경계 상자를 생성하는 경향이 있습니다. 예를 들어, YOLOv5는 딥 컨볼루션과 피라미드 피라미드 네트워크 ^6,7을 통해 다중 스케일 특징 추출을 향상시키고, YOLOv10은 비최대 억제를 제거하고 경로 집계 네트워크를 사용하여 속도와 다중 스케일 융합 ^8,9를 개선합니다. 이러한 개선에도 불구하고, 중복된 경계 박스와 오클루전이 많은 환경에서 점점 더 견고해지는 문제는 해결되지 않고 있습니다. 하지만 핵심 EBike 구조가 부분적으로 차단될 때는 전체론적 주석이 제한된 국소 단서를 제공하기 때문에 두 방법 모두 어려움을 겪습니다. 그림 1A-C에서 보듯, 이 한계는 중복 경계 박스와 중간 또는 강한 폐쇄 시 불안정한 검출 신뢰도를 초래합니다. 반면, 청크 주석은 바퀴나 후방 영역 등 별도의 영역을 감지할 수 있게 하여 폐쇄 시 중복 경계 박스를 줄여 이 문제를 완화합니다. 그림 1D-F는 청크 주석이 특징 국지화를 개선하고 부분적인 EBike 성분만 보이는 경우 탐지 안정성을 유지함을 추가로 보여줍니다.

마찬가지로, VGG-16 백본을 기반으로 한 단일 촬영 멀티박스 탐지기(SSD) 모델^10,11은 스케일에서 효율적인 탐지를 제공하며 소형 물체¹²에서도 우수한 성능을 보입니다. 하지만 SSD는 심한 오클루전으로 인해 기능 연속성이 깨질 경우 어려움을 겪으며, 이는 인식 실패나 불안정한 박스 회귀 현상이 발생한다. 이는 주의 메커니즘이 도입되었음에도 불구하고¹³. 청크 주석은 이 점에서도 장점이 있습니다: 모델은 여전히 남아 있는 가시 지역 부분에 의존할 수 있어 다중 스케일 및 가린 조건에서 검출 안정성을 향상시킵니다.

주석 전략과 국소 특징 학습

대부분의 현재 검출 방법은 주석을 단순화하지만 주로 전역 특징에 의존하는 전체론적 주석을 채택합니다^14,15. 이 접근법은 바퀴, 앞부분, 뒷부분과 같은 중요한 EBike 영역이 부분적으로 빠질 때 어려움을 겪습니다. 최근 연구(¹⁶)는 객체를 여러 주석 부분으로 분할하는 국소 특징 학습이 어려운 상황에서 견고함과 정밀도를 향상시킬 수 있음을 보여주었습니다. 이와 일치하게, 표 2의 결과는 청크 주석이 주요 EBike 부품의 최소 40%-60%가 보이는 경우, 특히 바퀴, 전면, 후방 영역에 주석을 달 때 여전히 효과적임을 보여줍니다. 반면, 전체 경계 박스는 저폐쇄 상황(예: <20% 폐쇄)이나 이미지 해상도가 ≥1280 x 720 이때 전체 실루엣이 보존되는 경우에 충분합니다. 청킹의 이점은 폐쇄가 ≈70%를 초과하거나, 특징 수준 영역이 너무 작아져 구별적 공간 정보를 제공할 수 없을 때 감소합니다.

해리스 코너 검출 사용의 방법론적 근거

해리스 코너 검출은 결정론적 동작, 계산 효율성, 훈련 없는 특성 때문에 엘리베이터 환경에서 신뢰할 수 있는 주석 작성에 필수적이기 때문에 국소 특징 추출에 선택됩니다. SuperPoint나 LoFTR과 같은 학습된 키포인트 검출기와 달리, 추가 훈련을 피하고 제한된 주석 데이터와 강한 폐쇄 상태에서 도메인 이동을 줄여줍니다. Canny와 Sobel과 같은 엣지 기반 연산자와 비교할 때, Harris 코너는 잡음이 많은 배경 모서리보다는 기하학적으로 의미 있는 접합을 강조하여, 바퀴와 프레임 교차를 포함한 EBike 구조의 안정적인 위치 지정을 가능하게 합니다. 더불어 해리스 코너 검출은 해석 가능한 하이퍼파라미터를 제공합니다. 경험적 상수 k 는 모서리 감도와 안정성을 제어합니다. 2.6.2.4절과 그림 2에서 보듯, k 조정은 강인성과 과도한 탐지 사이의 통제된 균형을 지원하며, 이는 제안된 규칙 기반 청크 주석 전략과 잘 부합합니다.

강인성을 위한 데이터 증강

데이터 증강은 탐지 모델의 다양성과 적응성을 높이는 데 효과적임이 입증되었습니다. 일반적인 기법으로는 기하학적 변환(예: 회전, 스케일링, 크롭)과 색상 조정(예: 그레이스케일링, 휘도 수정)이 있으며, 이는 실제 환경과 조명 변화를 시뮬레이션^합니다. 이러한 전략을 도입함으로써 탐지 모델은 변동성에 더 강해져 실제 배치에 더 적합해집니다.

앞서 언급한 한계를 해결하기 위해 본 연구는 국소적 특징을 기반으로 한 개선된 청크 주석 방법을 제안합니다. 이 방법은 eIkes를 여러 개의 독립적인 주석 부분으로 나누어 특징 학습과 견고성을 향상시켜, 복소 폐쇄 하에서도 더 효과적인 탐지를 가능하게 합니다. 또한, 엘리베이터 환경에 맞춘 전용 전기 자전거 탐지(EBike-DET) 데이터셋이 구축되어 다양한 데이터 보강을 통해 모델 적응성을 향상시킵니다. 마지막으로, 이 방법은 YOLOv5, YOLOv10, SSD에서 검증되었으며, 표 3 에 요약된 바와 같이 +5.69%에서 +39.81%의 mAP라는 일관된 성능 향상을 보였습니다.기여는 다음과 같이 요약할 수 있습니다: 폐쇄 조건에서 특징 학습을 강화하는 개선된 청크 주석 기법, 엘리베이터 시나리오를 위한 특수 EBike-DET 데이터셋 구축, 다중 증강 기법 도입, 그리고 주류 검출 모델에 대한 실험적 검증 (전체론적 주석에 비해 향상된 정밀도와 견고성을 입증).

Protocol

본 연구에 사용된 EBike-DET 데이터셋은 저자들이 엘리베이터, 주차장, 거리 환경에서 현장 촬영을 통해 수집한 이미지와 웹 기반 플랫폼에서 공개된 EBike 이미지로 구성되어 있습니다. 모든 현장 이미지 수집은 안전 관련 기술 연구를 위해 비사적 환경에서 수행되었습니다. 이미지는 의도적으로 개인을 겨냥하지 않으며, 우연히 포착된 인물은 거리, 가림, 뒤를 향한 시점, 또는 얼굴 특징 및 기타 개인 식별 요소를 제거하는 적절한 처리 때문에 식별이 불가능합니다. 웹 소스에서 수집된 이미지는 학술 연구를 위해 재사용이 허용되는 플랫폼이나 오픈 라이선스 하에 공개된 자료에서만 수집되었습니다. 모든 이미지는 비상업적 연구 및 교육 목적으로만 사용됩니다. 식별 가능한 개인 데이터가 수집되지 않았고 인간 피험자와의 직접적인 상호작용도 없었기 때문에, 저자의 기관 지침에 따라 기관 윤리 위원회의 승인이 필요하지 않았습니다.

1. 데이터셋 구성

1. 이미지 해상도, 색 공간, 파일 형식
   1. 이미지의 기본 해상도를 1280 x 720 픽셀로 설정하면 다양한 장면에서 EBikes의 고화질 디테일을 포착할 수 있습니다.
   2. 표준화 이후에는 계산 효율성과 특징 유지를 균형 있게 하기 위해 이미지를 640 x 480 픽셀로 크기 조정합니다.
   3. 색상 공간을 RGB로 설정하여 전체 색상 정보를 보존하여 다양한 조명 조건에서 정확한 특징 인식을 보장합니다.
   4. 이미지 품질을 크게 해치지 않으면서 저장 공간을 최적화하기 위해 이미지를 JPEG 형식으로 저장하세요.
2. 학습, 검증, 테스트 데이터셋의 정의 및 분할
   1. 데이터셋을 7:2:1 비율로 학습, 검증, 테스트 세트로 나누어 모델 학습, 하이퍼파라미터 튜닝, 성능 평가에 적절히 할당하세요.
   2. 무작위 시드를 42로 설정하여 여러 실험에 나누어 데이터가 재현 가능하도록 하세요.
   3. 층화된 표본추출을 적용하여 각 데이터셋 분할에서 EBike 모델과 폐색 수준이 일정하게 분포되도록 하여 집합 간 클래스 불균형이 없도록 합니다.
   4. 학습, 검증, 테스트 세트 간에 누수가 없도록 하기 위해 EBike 이미지가 두 세트 이상에 나타나지 않도록 하세요.
3. 공개 데이터셋 구성
   1. 오픈 소스 플랫폼 20,21,22,23에서 공개된 EBike 탐지 데이터셋을 선택하세요. 이 데이터에는 파노라마 장면과 부분 가린 장면에서 210장의 EBikes 이미지가 포함되어 있습니다.
   2. 공개 데이터셋의 한계를 인지하세요. 예를 들어 단일 카메라 앵글, 저해상도, 단순한 배경 장면 등이 있어 특히 복잡한 폐쇄 상황에서 모델의 일반화 능력을 제한할 수 있습니다.
4. EBike-DET 데이터셋 구성
   1. EBike-DET 데이터셋을 구축하여 장면 커버리지를 향상시키고 샘플 다양성을 향상시키며, 웹 기반 플랫폼과 현장 사진에서 수집한 1,680장의 고품질 이미지로 구성됩니다.
   2. 엘리베이터, 주차장, 거리 등 다양한 환경을 포함하여 EBikes가 처할 수 있는 다양한 환경을 포착하세요.
   3. 다양한 카메라 앵글(전면, 측면, 상단 시점)을 통합하여 EBike의 전체 외모 범위를 포착하여 탐지 모델에 대한 탄탄한 훈련을 보장합니다.
   4. 색상, 크기, 액세서리에 변화가 있는 여러 EBike 브랜드와 모델을 포함시켜 샘플 다양성을 높이는 데이터셋을 풍부하게 합니다.
   5. 보행자와 차량에 의해 부분적으로 차단되는 오클루전 시나리오가 포함되어, 엘리베이터와 같은 좁은 공간에서 실제 환경을 시뮬레이션하는 경우를 반드시 포함하세요.
   6. EBike-DET 데이터셋이 다양하고 복잡한 샘플을 포함하고 있어, 복잡한 폐쇄 조건에서 표적 탐지에 신뢰할 수 있는 데이터셋임을 확인하세요.
5. 웹 및 사이트 내 이미지의 포함 및 제외 규칙
   1. 웹 이미지: 공개적으로 이용 가능하고, 다양한 환경에서 촬영된 고해상도 및 다양한 조명 조건의 이미지만 포함하세요. 저해상도이거나 단순한 배경의 이미지를 제외하세요.
   2. 현장 이미지: 엘리베이터, 주차장, 거리 등 실제 환경에서 촬영한 이미지를 포함하세요. 이미지가 가림, 배경 복잡성, 기상 조건의 차이를 가진 현실적인 EBike 시나리오를 나타내도록 하세요. 과도한 노이즈, 왜곡, 비현실적인 설정이 있는 이미지를 제외하세요.
   3. 웹 이미지와 사이트 내 이미지 모두 동일한 해상도와 색 공간 표준을 따르도록 하여 데이터셋 전반에 걸쳐 일관성을 유지하세요.
6. 데이터 증강 구성
   1. 그레이스케일링과 회전과 같은 기본 보강 작업을 적용하여 샘플 다양성을 높이고 다양한 조명 조건과 카메라 방향을 시뮬레이션합니다.
   2. EBike 목표를 휠 영역, 전방 영역, 후방 영역 등 여러 독립적인 지역 영역으로 나누어 지역 특징 학습을 강화합니다.
   3. 각 영역을 독립적으로 주석 달아 폐쇄 상태 검출 정확도를 높이고 서로 다른 EBike 부분에서 견고한 모델 성능을 보장합니다.
   4. 모든 증강 이미지와 청크된 주석이 EBike 기능과 구조적 일관성을 유지하는지 확인하여 학습 데이터가 불일치하거나 무효화되는 것을 방지합니다.

2. 로컬 특징 청크 주석

참고: 복잡한 폐쇄 시나리오에서 EBikes 검출 정밀도를 높이기 위해, 개선된 국부 특징을 기반으로 한 청크 주석 기법이 제안되었습니다. 이 방법은 EBike 영역의 국소 특징점을 추출하여 분할하고, 해당 특징 영역의 폐쇄 정도에 따라 해당 영역에 주석을 달아야 하는지 결정합니다. 상세한 실험 과정은 그림 3에 나와 있습니다.

1. 이전에 구축된 학습, 검증, 테스트 데이터셋을 사용합니다.
2. 수동 주석: Python 환경에서 LabelImg 도구를 사용해 수동 주석을 작성하세요. 모든 이미지는 오직 EBikes로 라벨링하여 음수 샘플의 간섭을 최소화하세요^24,25.
3. 데이터 처리 및 증강
   1. Yongjiang 등이 제안한 방법을 적용하여 이미지 노이즈 제거 및 표준화를 적용하여 데이터셋 전체에서 균일한 크기를 보장합니다.
   2. 샘플 다양성을 높이기 위해 데이터 증강 작업(예: 회전, 밝기 조절, 그레이스케일링)을 수행하세요. 모든 증강 이미지가 이미지 품질을 유지하고 모델의 견고성을 다양한 배경에 맞게 강화하도록 하세요.
4. EBike 지역 작물
   1. ROI 국소화의 재현성을 보장하기 위해, YOLOv10에 대해 표 4 의 추론 매개변수(yolov10x.pt 사전 학습된 가중치 파일 사용)를 적용합니다. 출력 경계 박스 좌표는 다음과 같습니다:
      ROI = [x₁, y₁, x₂, y₂] (1)
      식(1)은 ROI²⁶ 경계 상자 좌표 [x₁, y₁, x₂, y₂]를 정의하며, 여기서 x₁, y₁ = EBike ROI의 좌상단 좌표; x₂, y₂ = EBike ROI의 오른쪽 아래 좌표. 이 좌표들은 YOLOv10의 원시 출력에서 도출되었으며, 각 검출된 객체마다 [c_x, c_y, w, h] 형식의 경계 상자를 예측합니다. 변환 공식은 다음과 같습니다:
      (2)
      (3)
      (4)
      (5)
      여기서 c_x, c_y는 예측된 경계 상자의 정규화된 수평/수직 중심 좌표(입력 이미지 크기인 640 x 480에 맞게 축소됨)입니다.  w, h는 예측된 경계 상자의 정규화된 너비/높이(입력 이미지 크기에 맞게 축소됨)입니다.
   2. YOLOv10의 출력을 신뢰 임계값(0.5)으로 필터링하여 EBike 관련 감지(전기 자전거에 해당하는 클래스 ID)만 유지한 후, NMS로 처리해 중복 박스를 제거합니다. 남은 경계 박스를 [x₁, y₁, x₂, y₂]로 변환해 ROI 크롭을 하세요.
   3. 다중 탐지 처리
      참고: 엘리베이터 시나리오(EBike-DET 데이터셋의 핵심 목표)에서는 공간 제약으로 인해 일반적으로 단일 인스턴스로 사용됩니다. 여러 개의 EBike 감지가 있는 경우(예: 두 개의 EBike가 있는 혼잡한 엘리베이터)에는 다음 규칙이 적용됩니다.
      1. 가장 높은 신뢰 우선순위: 최대 신뢰 점수가 있는 경계 상자를 선택하세요(YOLOv10의 출력 신뢰도는 모델이 객체가 EBike임을 확실히 반영함).
      2. 공간 타당성 검사: 여러 탐지가 신뢰 점수>0.7이라면, 엘리베이터 구조 경계와 공간 겹침을 검증하세요(예: 엘리베이터 벽을 넘어 경계 상자를 피할 것). 중심점 c_x, c_y가 이미지 중심에 가장 가까운 탐지기를 유지합니다(엘리베이터는 일반적으로 전면 카메라로 모니터링되며, 목표물이 중앙에 위치합니다).
      3. 예외 사례 처리: 신뢰 임계값을 충족하는 유효한 검출이 없으면(예: 심각한 폐색), 수동 ROI 보정을 위해 이미지를 표시합니다(EBike-DET 데이터셋의 <3%를 차지).
5. 그레이스케일 변환 및 정규화
   1. ROI에서 잘린 RGB 이미지에 대해 그레이스케일 변환을 수행합니다. 변환에는 다음과 같은 공식에 따라 가중 평균법을 사용하세요:
      I_gra = 0.299 × R + 0.587 × G + 0.114 × B (6)
      여기서 R, G, B는 각각 빨강, 초록, 파랑 채널의 픽셀 값을 나타냅니다. 이 방법은 인간이 다양한 색에서 느끼는 밝기에 부합합니다.
   2. [0, 255]에서 선형 스케일링하여 그레이스케일 이미지의 픽셀 값을 [0, 1] 범위로 정규화합니다. 이 정규화는 수치 계산의 안정성을 높이고, 이후 구배 계산과 임계값 계산이 다양한 조명 조건에서 일관되게 작동하도록 보장합니다.
6. 해리스 코너 검출
   1. 해리스 코너 감지를 그레이스케일에 적용하고 EBike 영역을 정규화하여 국부적 특징 포인트를 추출합니다.
      참고: 해리스 코너 검출의 핵심 원리는 이미지 내 모서리를 정확히 위치시키기 위해 자기상관 행렬을 계산하는 것으로, 이는 그림 4B에 시각적으로 나타난 것입니다. 이러한 감지된 코너는 일반적으로 바퀴, 전면, 후방 등 주요 EBike 부품과 연관되어 있으며, 이들은 종종 명확한 코너 특징을 보입니다.
   2. 아래에서 설명한 것처럼 이미지의 기울기를 계산하여 강도 변화가 큰 영역을 식별합니다.
      1. 이미지 스무딩: 그레이스케일 이미지에 가우시안 필터링을 적용해 노이즈를 억제하여 다음과 같이 평활화된 이미지를 얻습니다:
         I_s = G_σ * I (7)
         여기서 *는 합성곱 연산을 나타내며, G_σ는 표준편차가 σ인 2차원 가우시안 핵으로, 평활화 수준을 제어한다. 일반적인 값은 1.0입니다.
      2. 이미지 그라디언트 계산: 소벨 연산자와 같은 그라데이션 연산자를 사용하여 평활화된 이미지의 수평(x)과 수직(y) 그라데이션을 계산합니다:
         I_x = K_{x *} I_s , I_y=K_{y *} I_y (8)
         여기서 I_x와 I_y는 각각 x와 y 방향의 그라데이언트 사상이며, Gx와 Gy는 소벨 연산자에 대한 컨볼루션 커널이다:
         , (9)
      3. 이전에 계산된 기울기를 바탕으로 각 픽셀 (x,y)를 중심으로 3 x 3 국소 창 W를 사용하여 자기상관 행렬 M을 구성한다:
         (10)
         공식에서 W는 위치(x,y)에 있는 국소 창을 의미하며, 연산∑W는 이 창 내 모든 이미지 요소의 합을 나타냅니다; A = ∑W I_x² 는 W 창에서 x 방향으로 기울기의 제곱 기울기의 합을 나타내며, x 방향 변화의 강도를 반영합니다; B=∑W I_y²는 W 창의 y 방향 제곱 기울기의 합을 나타내며, y 방향 변화의 강도를 반영합니다; C = ∑W I_xI_y 는 W 창 내 x와 y 방향의 기울기들의 곱을 나타내며, 이 두 방향 간의 변화 상관관계를 설명합니다.
      4. x와 y 방향 양쪽의 제곱 기울기의 합을 계산하여 각 방향의 변화 강도를 반영합니다. 기울기 I_{x I y} 사이의 교차 항은 x와 y 방향 간의 상관관계를 포착합니다.
      5. 코너 응답 함수: 자기상관 행렬의 행렬식과 트레이스를 바탕으로 코너 응답 함수 R을 계산하여 이미지 내 코너 점을 감지합니다. 각 픽셀의 응답 값을 계산하고, 그림 2에 나타난 것처럼 응답 값이 높은 점을 최종 모서리로 선택합니다. 코너 응답 함수는 다음과 같이 주어집니다:
         det(M) = A ⋅ B - C² (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M))² (13)
         여기서 det(M)는 M의 행렬식으로, 국소 특징 영역의 전체 변화를 반영하고, trace(M)는 해당 영역의 전체 기울기 강도를 반영하는 행렬 역량이다. 경험적 상수 k는 일반적으로 0.04에서 0.06 사이에 설정됩니다.
         참고: 실험에 근거한 결과, k의 선택이 결과에 유의미한 영향을 미친다는 것이 밝혀졌습니다:
         k=0.04일 때 응답 값이 너무 높아 잘못 감지된 코너 점이 과도하게 발생한다.
         k=0.05일 때 응답 값이 더 균형 잡혀 진정한 모서리를 정확히 감지합니다.
         k=0.06일 때는 응답 값이 너무 낮아 코너 점을 신뢰성 있게 감지하기 어렵습니다.
   3. 해리스 코너 포인트 검출 결과를 사용하여 EBike의 국소 영역을 거칠게 분할합니다. 그림 4C에 나타난 것처럼 기하학적 구조와 코너 포인트 분포를 기준으로 EBike를 영역으로 나누어 복잡한 폐쇄 상황에서 모델의 견고성과 탐지 성능을 향상시킵니다.
   4. 휠 면적: 원형 모양을 따라 대칭적으로 분포된 최소 15개의 코너 점이 있고, 대칭 점수가 0.85 이상일 경우 해당 영역이 유효하다고 간주합니다. 대칭 점수는 방정식 11에 나타난다. 바퀴 영역의 너비 대 높이 비율은 대략 1:1이어야 하며, 이는 바퀴의 기하학적 특성을 정확히 반영하도록 합니다.
   5. 전면 면적: 대칭 점수가 0.80 이상인 최소 10개의 모서리 점이 있고, 너비 대 높이 비율이 1.2:1에서 1.5:1 사이인 영역을 포함하여 전면 면적이 예상되는 구조적 특징과 일치하도록 보장합니다.
   6. 후면 면적: 최소 12개의 모서리 점이 포함된 영역을 포함하고, 대칭성 점수가 0.75 이상이며, 너비 대 높이 비율이 1.5:1에서 2:1 사이일 경우 후방 면적이 예상 기하학적 특성을 준수하도록 해야 합니다.
7. 경계 상자를 이용한 중요한 EBike 영역의 표현
   1. 모서리 점을 직사각형 경계 상자로 변환하려면 DBSCAN 클러스터링 알고리즘을 사용하세요. 이 방법은 인접한 모서리 점들을 클러스터로 묶어, 영역을 형성하는 모서리 점들이 함께 그룹화되도록 보장합니다. 클러스터 내 점들 간 최대 거리를 30픽셀로 설정하세요.
   2. 각 모서리 점들의 집합에 대해 최소 및 최대 x 및 y 좌표를 구합니다. 이 좌표들은 경계 상자의 경계를 나타냅니다.
   3. 경계 상자 주변에 10픽셀의 여백을 추가하여 관련 요소가 모두 포함되도록 하세요. 이 여유는 코너 포인트 검출에서 발생할 수 있는 정렬 불일치나 픽셀 부정확성을 보완합니다.
   4. 바운딩 박스 좌표를 가장 가까운 정수로 반올려 이미지 처리를 위한 적절한 픽셀 정렬을 보장합니다.
   5. 아래에 설명된 대로 i번째 구성 요소(예: 바퀴, 앞면, 후방 영역)의 최종 경계 상자 좌표를 나타냅니다.
      1. 정의된 영역(휠 영역, 앞쪽 영역, 후방 영역)을 결합하여 직사각형 경계 상자를 사용해 EBike의 모든 중요한 영역을 표현합니다.
      2. i 구성 요소(예: 바퀴, 앞면, 후면 영역)의 경계 상자 좌표를 다음과 같이 정의합니다:
         (14)
         여기서 B_i 는 i번째 성분의 경계 상자를 나타내고 , 와 는 각각 왼쪽 상단과 오른쪽 하단 모서리의 좌표이다.
8. 부분 폐쇄 처리
   1. 각 영역의 코너 대칭 점수를 평가합니다. 대칭 점수가 0.7 이상일 경우 영역을 받아들입니다.
   2. 가림막 처리를 위해서는 모서리 점의 가시성을 측정합니다. 모서리의 최소 50%가 보이면 영역을 받아들입니다. 모서리의 30%-50%가 보이면 해당 지역을 표시해 추가 검토를 위해 표시하세요. 모서리의 30% 미만이 보이면 정확한 탐지에 비해 가시성이 부족해 해당 영역을 제외하세요.
9. 국소 특징 영역의 정확도 판단
   1. 대칭 지표 S, 등고선 연속성 지표 C, 연결 구조 지표 L의 세 가지 정량적 운영 지표를 사용하여 각 국소 특징 영역의 정확도를 평가합니다. 이 지표들을 바퀴 면적, 전면 영역, 후방 영역에 균일하게 적용합니다.
   2. 모든 지표가 미리 정의된 임계값을 충족할 때만 영역을 수용하세요. 한 지표가 허용 가능한 범위 내에서 실패하면 ROI를 확장하고 재평가하세요. 두 개 이상의 지표가 실패하면 해당 지역을 신뢰할 수 없는 것으로 표시하세요.
10. 휠 영역 특징 정확도 분석
    1. 전면 운영 검문소
       1. 대칭성 계량을 계산합니다:
          (15)
          여기서 nL과 nR은 좌측과 우측 모서리 수를 나타냅니다.
       2. S ≥ 0.85이면 지역을 받아들이세요. 그림 5A에서 보듯이, 바퀴는 대칭적인 원형 형태를 띠며, 둘레를 따라 해리스 코너점들이 대칭적인 패턴을 이룹니다. 그래서 휠 전체 영역에 주석을 달아라.
       3. 0.70≤ S<0.85이면, ROl을 10-20픽셀 확장하고 더 많은 실제 특징이 계산 영역에 다시 들어올 수 있도록 평가를 반복한 후 재평가합니다. 그림 5D에서 보듯이 바퀴의 부분 가림이 발생하므로, 평가를 위해 Ebike의 더 많은 특징을 포착하기 위해 크롭 범위를 확장해야 합니다.
       4. S<0.70이라면 해당 지역을 신뢰할 수 없는 것으로 표시하세요. 그림 5G에서 보듯, 원형 형태가 깨져 있습니다; 이 영역을 주석에서 제외합니다.
    2. 측면 운영 검문소
       1. 다음과 같은 방법으로 윤곽 연속성을 측정합니다:
          (16)
       2. C가 0.75≥ 때 수용하세요. 그림 5B에서 보듯, 실제 연속 호 길이와 예상 호 길이의 비율이 요구사항을 충족하고, 윤곽선이 가장자리에 완전히 맞으며, 명확한 단절도 없습니다.
       3. 0.55 ≤ C< 0.75라면 윤곽 추출을 정밀하게 조정하고 다시 확인하세요. 그림 5E에서 보듯, 연속 호 길이와 예상 호 길이의 전류 비율은 임계 범위에 속합니다; 윤곽을 더 완성하기 위해 추출 알고리즘의 임계값을 조정해야 합니다.
       4. C가 0.55<면, 기하학적 연속성이 부족해 해당 영역을 거부한다. 그림 5H에서 볼 수 있듯이, 분석 요구사항은 충족되지 않습니다.
    3. 위쪽 뷰 운영 체크포인트
       1. 구조적 연결성을 다음과 같이 평가합니다:
          (17)
       2. L이 0.70≥ 받을 때 받아들입니다. 그림 5C에서 보듯, 관측 거리와 예상 거리 간의 편차가 효과적으로 오프셋되었고, 구조적 연결성이 요구사항을 충족하며, 차량과 엘리베이터 환경 간의 상대적 위치 연결이 완료되었습니다.
       3. L이 0.70<면 ROI를 확장하고 재평가하세요. 그림 5F에서 보듯, 관측 거리와 예상 거리 사이의 현재 편차는 비교적 큽니다; 연결 평가의 정확도를 높이기 위해 분석 범위를 확장하고 주변 구조물을 더 많이 포함해야 합니다.
       4. 연결성이 일관되지 않으면 해당 지역을 신뢰할 수 없는 것으로 분류합니다. 그림 5I에 나타난 것처럼, 효과적인 분석 영역으로 사용할 수 없습니다.
11. 전면 면적 특징 정확도 분석
    1. EBike 전면 영역의 특징 정확도 평가를 위해서는 2.10절에 정의된 통합 규칙 기반 프레임워크를 따르며, 여기에는 방정식 15에 정의된 메트릭 S를 사용한 전면 뷰에서의 대칭성 평가, 방정식 16에 정의된 메트릭 C를 사용한 측면 뷰에서의 등고선 연속성 평가, 방정식 17에 정의된 메트릭 L을 사용한 상단 뷰에서의 구조적 연결성 검증이 포함됩니다.
    2. 기하학적 변동성과 앞쪽 영역의 잦은 부분 폐쇄로 인해 바퀴 영역에 비해 적당히 완화된 임계값을 채택하세요. 전면 영역 영역은 S ≥ 0.80, C ≥ 0.70, L ≥ 0.65일 때 허용됩니다. 그림 6A-C에 나타난 것처럼, 이 기준을 충족하는 영역은 균형 잡힌 좌우 특징 분포, 일관된 윤곽, 안정적인 구조적 연결성을 보인다.
    3. 만약 어떤 지표가 2.10절에 명시된 중간 범위 내에 속한다면, 관심 영역을 확장하고 그림 6D-F에 나타난 것처럼 추가적인 맥락적 특징을 포함하도록 재평가하십시오. 재평가 후 최소 기준을 충족하지 못하는 영역은 그림 6G-I에 나타난 대로 신뢰할 수 없는 영역으로 분류됩니다.
12. 후면 면적 특징 정확도 분석
    1. 후면 면적 특징 정확도 분석의 경우, 2.10절에 정의된 평가 프로토콜을 따르며, 방정식 15에 정의된 S, 방정식 16에 정의된 C, 방정식 17에 정의된 L을 각각 전면, 측면, 상단 뷰에서 사용합니다.
    2. 후방 부위는 탑승자, 운반된 물건, 엘리베이터 구조물로 인한 폐쇄에 더 취약합니다. 따라서 신뢰할 수 없는 주석을 피하기 위해 더 엄격한 거부 조건을 적용해야 합니다. 후면 영역은 S ≥ 0.75, C ≥ 0.70, L ≥ 0.65일 때 허용됩니다. 충분한 대칭성, 윤곽 연속성, 연결성을 가진 대표적인 수용 사례들은 그림 7A-C에 나 와 있습니다.
    3. 경계 지표 값을 가진 지역에는 그림 7D-F에 나타난 대로 ROI 확장 및 재평가를 수행하세요. 기하학적 관계가 모호하거나 측정치가 수용 기준을 충족하지 못하면, 해당 영역을 신뢰할 수 없는 것으로 표시하라(그림 7G-I에 나타난 것처럼).
13. 후방 영역 특징 정확도 분석
    1. 후면 면적 특징 정확도 분석의 경우, 2.10절에 정의된 평가 프로토콜을 따르며, 방정식 15에서 정의한 S, 방정식 16에서 정의된 C, 방정식 17에서 정의된 L을 해당 관점에서 동일하게 사용합니다.
    2. 앞쪽 영역과 비교할 때, 뒷부분은 탑승객, 들고 있는 물체, 엘리베이터 내부 구조물로 인한 폐쇄에 더 취약합니다. 따라서 신뢰할 수 없는 주석을 방지하기 위해 약간 더 엄격한 거부 기준을 적용하세요. 후면 영역은 S ≥ 0.75, C ≥ 0.70, L ≥ 0.65일 때 허용됩니다. 그림 7A-C에서 보듯, 수용된 영역들은 충분한 대칭성, 윤곽 일관성, 구조적 연결성을 유지합니다.
    3. 지표 경계에 있는 지역은 2.10절에 따라 ROI를 확장하고 재평가하라(그림 7D-F에 나타난 것처럼). 재평가 후에도 기하학적 일관성이 충분하지 않으면, 해당 영역을 신뢰할 수 없는 것으로 표시하는데, 이는 그림 7G-I에 나타난 것입니다.
14. 파이프라인 구현
    1. 파일 및 폴더 구조: 구현은 탐지, 로컬 피처 추출, 주석 판단을 분리하는 모듈식 디렉터리 구조를 따릅니다. 아래에 표시된 대표 폴더 구성을 참고하세요. 모든 중간 결과를 전용 하위 폴더에 저장하여 각 처리 단계를 독립적으로 검사할 수 있도록 합니다.
       project_root/
       │
       ├── 데이터/
       │ ├── 이미지/
       │ │ ├── 기차/
       │ │ ├── 발/
       │ │ └── 테스트/
       │ └── 주석/
       │
       ├── 탐지/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── ROI/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── 해리스/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── configs/
       └── thresholds.yaml
    2. 실행 파이프라인 및 예제 명령어 라인
       1. EBike 탐지 및 ROI 위치화: 사전 학습된 객체 탐지 모델을 사용하여 EBike 지역을 현지화합니다. 탐지 결과를 바운딩 박스 좌표로 저장합니다.
          파이썬 탐지/detect_ebike.py \
          --입력 데이터/이미지/테스트/ \
          --ROI/detections.json
       2. ROI 크롭: 감지된 경계 박스를 사용해 원본 이미지에서 EBike 영역을 자르세요.
          파이썬 투자 수익률/crop_roi.py \
          --탐지 ROI/detections.json \
          --이미지 데이터/이미지/테스트/ \
          --ROI/cropped_images/
          각 잘린 이미지를 명명 형식으로 저장하세요: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. 해리스 코너 추출: 그레이스케일 변환 후 각 잘라진 ROI에 해리스 코너 감지를 적용합니다. 코너 반응 지도와 시각적 오버레이를 저장해 검사를 하세요.
          파이썬 해리스/harris_corner.py \
          --투자 ROI/cropped_images/ \
          --출력 해리스/corner_visualization/ \
          --config configs/thresholds.yaml
       4. 대략적인 분할 및 청크 주석: 코너 점의 공간적 분포에 따라 지역 특징 영역을 휠, 전방, 후방 영역으로 나눕니다. 기하학적이고 특징 기반 기준을 사용하여 타당성 판단을 적용하세요.
          파이썬 chunk_annotation/region_partition.py \
          --코너 해리스/corner_visualization/ \
          --출력 chunk_annotation/final_annotations/
    3. 예상 중간 출력 및 시각적 체크포인트: 각 처리 단계에서 생성되는 시각적 체크포인트 중간 출력을 저장합니다. 이 중간 출력들은 ROI 현지화, 코너 추출 품질, 지역 분할, 최종 주석 결정에 대한 단계별 검증을 가능하게 합니다.
       1. ROI 크롭 출력: 잘린 EBike 이미지를 roi/cropped_images/에 저장하세요. 각 이미지는 원본 프레임에서 추출한 단일 EBike 영역을 포함합니다.
       2. 해리스 코너 시각화: Harris/corner_visualization/에서 코너 오버레이를 저장하세요. 유효한 바퀴 영역의 경우, 원형 테두리 구조를 따라 조밀한 코너 점들이 관찰됩니다. 이 단계에서 코너 응답이 부족한 영역을 식별할 수 있습니다.
       3. 영역 분할 결과: 분할된 영역(바퀴, 앞쪽 영역, 뒤쪽 영역)을 독립적으로 시각화하세요. 사전 정의된 타당성 기준(예: 충분한 모서리 밀도와 기하학적 일관성)을 만족하는 영역만 유지합니다.
       4. 최종 주석 출력: chunk_annotation/final_annotations/에 허용된 영역을 구조화된 주석 파일로 저장합니다. 타당성 판단에 실패한 영역은 제외하고 이후 단계로 전파하지 않습니다.
          참고: 코너 감지와 영역 타당성 판단에 사용되는 모든 임계값은 구성 파일에 중앙집중되어 있습니다. 파이프라인은 시간 의존성 없이 단일 프레임 입력으로 동작하여 각 이미지에 대해 결과를 독립적으로 재현할 수 있습니다. 동일한 입력 이미지, 구성 파일, 실행 순서가 주어졌을 때, 생성된 중간 출력과 최종 주석은 결정론적입니다.
15. 최종 단계 및 데이터셋 공개
    참고: 프로토콜이 명확하고 재현 가능한 종료 지점으로 종료되도록 하기 위해, 주석 저장, 품질 검증, 데이터셋 패키징, 버전 문서화를 통합하는 최종 단계가 정의됩니다.
    1. 최종 주석 저장: 지역 타당성 판단 후 YOLO 텍스트 형식을 사용하여 chunk_annotation/final_annotations/에 모든 승인된 주석을 저장하고, 각 이미지에 대응하는 주석 파일을 하나씩 저장합니다. 최종 주석 집합에서 미리 정의된 기하학 및 특징 기반 기준을 만족하는 영역만 유지하고, 거부되거나 신뢰할 수 없는 영역은 추가 사용을 제외합니다.
    2. 주석 품질 검증: 대칭성, 윤곽 연속성, 구조 연결성 지표 등 영역 평가 시 사용된 동일한 타당성 기준을 재적용하여 최종 주석 품질을 검증합니다. 이 검증 단계에서 기준을 충족하지 못하는 주석을 제거하여 주석 생성과 품질 관리 간의 일관성을 보장합니다.
    3. 데이터셋 패키징: 검증 후, 이미지와 주석을 정의된 데이터셋 파티션에 따라 고정된 학습, 검증, 테스트 분할로 정리합니다. 이 단계에서 디렉터리 구조와 파일 목록은 동결되며, 패키지된 데이터셋은 추가 수정 없이 학습 및 평가를 위해 준비됩니다.
    4. 버전 및 시드 문서: 코너 감지 매개변수와 지역 유효성 임계값을 포함한 구성 파일은 패키지된 데이터셋과 함께 보존됩니다. 무작위 시드를 사용해 데이터 분할, 알고리즘 실행, 기록을 수정하세요. 또한, 모델 가중치, 구성 파일, 주석 도구의 버전을 문서화하세요. 동일한 입력 데이터, 구성 파일, 기록된 시드가 주어졌을 때, 최종 주석과 데이터셋 분할은 결정론적입니다.

3. 데이터 증강

참고: 이전 연구에 따르면 충분한 전처리와 데이터 보강이 없는 훈련 데이터셋은 모델 성능 저하를 초래하는 경우가 많습니다²². 이러한 문제를 해결하기 위해 다음과 같은 절차가 따랐습니다.

1. 조명
   1. 엘리베이터 내부의 조명 변화를 시뮬레이션하여 밝기 계수를 0.6–1.4 범위 내에서 0.8 확률로 조정하여 조명 변화를 해결합니다.
   2. 밝은 환경에서 어두운 환경으로 전환하는 빛의 강도 조정을 적용하여 EBike의 움직임으로 인한 흐림을 시뮬레이션합니다. 이 연산에는 확률 0.7을 사용한다.
   3. 조명 조건을 조절하여 다양한 조명 수준에서 안정적인 가시성을 보장하여 증강 샘플을 생성합니다.
   4. 이 조명 작업을 오프라인에서 적용하고 후속 처리를 위해 저장하세요. 증강 과정의 재현성을 보장하기 위해 무작위 시드를 42로 설정하세요.
2. 폐쇄
   1. 혼잡한 엘리베이터 상태를 반영하는 합성 폐쇄 시나리오를 만드세요. 0.6 확률로 오클루전 마스크(예: 인간 실루엣, 오브젝트 블록)를 적용하세요.
   2. 엘리베이터 출입 시 EBikes의 부분 폐쇄를 모방하기 위해 모자이크 폐색을 적용합니다. 30%, 50%, 70%의 폐쇄 비율을 사용하고, 이미지의 상부, 아래, 좌우 등 어느 사분면에서든 무작위로 가해집니다.
   3. 가린 샘플을 포함시켜 부분 시야에서 탐지의 견고함과 안정성을 높이고, 최소 한 가지 핵심 요소(예: 바퀴, 전방, 후방 영역)가 계속 보이도록 합니다.
   4. 오프라인에서 폐쇄 증강을 수행하고 샘플을 검증하여 필수적인 EBike 특징이 유지되도록 합니다. 재현성을 위해 무작위 시드를 42로 설정하세요.
3. 관점
   1. 서로 다른 엘리베이터 환경에서 다양한 카메라 앵글을 시뮬레이션하기 위해 미리 정해진 ±15° 범위 내에서 시야 각도를 조정하세요. 이 연산은 0.7의 확률로 적용되어야 한다.
   2. 왜곡 계수가 0.0에서 0.2 사이의 원근 변환을 적용하여 다양한 카메라 위치(예: 고도, 측면, 사선 뷰포인트)를 재현합니다.
   3. EBike 영역을 0.8–1.2배 정도 스케일링하고 이동시켜 카메라가 목표물과 거리 변화를 시뮬레이션합니다. 이 변환을 0.8의 확률로 적용합니다.
   4. 모든 시점 변환이 EBike의 기하학적 완전성을 유지하고 중요한 특징이 왜곡되지 않는지 확인하세요.
   5. 오프라인에서 시점 변환을 수행하고 증강된 이미지를 저장하세요. 재현성을 위해 무작위 시드를 42로 설정하세요.
4. 향상
   1. 30%의 이미지에 0.3 확률로 그레이스케일링을 적용하여 밝도에 따른 변화를 도입하고 저조도 조건에서 모델의 견고성을 강화합니다.
   2. 샘플의 20%에 히스토그램 이퀄라이제이션을 적용하여 도전적인 조명 조건에서 EBike의 주요 특징의 대비와 가시성을 향상시키세요.
   3. 조명, 가림막, 시점 증강 전략을 순차적으로 결합하여 고다양성 샘플을 생성합니다. 이 다단계 과정에는 확률 0.9를 사용하세요.
   4. 최종 데이터셋에 통합하기 전에 증강된 샘플을 검토하여 EBike의 구조적 무결성을 유지하는지 확인하세요.
   5. 오프라인에서 향상 작업을 수행하고 이미지를 저장하여 이후 훈련 사용을 위해 사용하세요. 전체 증강 과정의 재현성을 보장하기 위해 무작위 시드를 42로 설정하세요.

4. 실험 환경

1. 모델 훈련 및 테스트 중 계산 효율성과 안정성을 보장하기 위해 실험 환경을 구성하세요.
2. 현대적인 멀티코어 프로세서, 딥러닝 가속을 위한 전용 GPU, 충분한 메모리, 그리고 대규모 EBike 이미지 데이터 처리를 지원할 수 있는 안정적인 스토리지 시스템을 사용하세요.
3. 딥러닝 프레임워크, GPU 드라이버, 가속 라이브러리의 호환 버전을 설치하여 소프트웨어 환경과 하드웨어 구성을 맞추어 학습 속도와 추론 성능을 최적화합니다.
4. 재현성을 보장하기 위해 하드웨어 사양, 소프트웨어 환경, 모델 의존성 및 영상 장비 설정에 대해서는 표 5, 표 6, 표 7, 표 8 을 참조하십시오.
5. 계산 오버헤드 및 런타임 분석
   1. 청크 주석 전략과 관련된 계산 오버헤드를 주석 복잡성과 실행 시간 효율성 측면에서 분석하세요. 전체론적 주석과 비교할 때, 청크 주석은 휠 영역, 앞부분, 후방 영역 등 부분 수준 영역을 사용하는 EBike를 나타냅니다. 이 영역들은 보이고 미리 정의된 기하학적 및 특징 기반 타당성 기준을 충족할 때만 주석을 달아야 하며, 모든 사례에 강제하지 마세요.
      참고: 주석 측면에서 라벨 수 증가는 여전히 제한적이고 구조적으로 제한적입니다. EBike 인스턴스는 최대 세 개의 부분 수준 주석만 기여하며, 부분 폐쇄(예: 앞부분만 보이는 경우)에서는 주석이 적은 영역에 주석이 붙습니다. 그 결과, 장면 가시성과 가림 조건에 따라 이미지당 라벨 수는 달라지며, 평균 라벨 수는 표 9에 요약된 대로 적당히 증가합니다. 이 설계는 국소적 특징 표현과 주석 복잡성을 균형 있게 유지합니다. 추론 관점에서 청크 주석은 후처리 비용을 비례적으로 증가시키지 않습니다. 부분 수준 검출이 추가 후보 경계 상자를 생성할 수 있지만, 검출은 최종 평가를 위해 EBike 객체 수준에서 집계되며, 신뢰도 기반 필터링은 후처리 전에 적용됩니다. 이 조건부 가시성 주석 전략은 불필요한 검출 후보를 제한합니다. YOLOv10과 같은 모델은 전통적인 비최대 억제 의존도를 줄이기 때문에, 청킹으로 인한 추가 오버헤드는 실제로는 제한적입니다.
   2. NVIDIA RTX 3090 GPU를 사용해 640 x 480 픽셀의 일반적인 엘리베이터 감시 해상도에서 실행 성능을 평가합니다. 표 9에 나타난 것처럼, 청크 주석은 실시간 추론 능력을 유지하며, 전체적 주석에 비해 초당 프레임 수가 미미한 감소만 있습니다. 이 결과들은 청크 주석 전략이 엘리베이터 환경에서 실시간 EBike 모니터링에 여전히 적합함을 나타냅니다.

5. 평가 지표

참고: 청크 주석은 훈련과 추론 중에 사용되지만, 평가는 전기자전거 객체 수준에서 수행됩니다. 부분 수준 탐지는 2.4,3절에 정의된 규칙에 따라 단일 전기자전거 결정으로 통합됩니다.

1. 목표 탐^{지 연구에서} 흔히 사용되는 표준 평가 지표를 적용하여 EBike 폐쇄-탐지 시나리오에서 알고리즘 성능을 포괄적으로 평가합니다.
2. 탐지 정밀도 (P)
   1. 방정식 (8)을 사용하여 검출 정밀도를 계산하는데, 이는 모든 예측된 양성 샘플 중 올바르게 식별된 EBike의 비율을 측정합니다.
      (18)
      여기서 TP는 진양성을, FP는 거짓 양성을 나타냅니다.
   2. 예측된 경계 박스가 그라운드 트루스 박스와 일치하는지 확인하기 위해 IoU 임계값을 0.5로 설정하세요.
   3. 비-EBike 객체의 오식별로 인한 불필요한 경보를 줄이는 모델의 능력을 정밀하게 평가합니다.
   4. 이 메트릭을 생성하는 명령어: 관련 평가 스크립트(예: evaluate_precision.py)를 사용하세요. 결과를 precision_results.txt에 저장해 추가 분석을 위해 사용하세요.
3. 리콜률 (R)
   1. 식(9)을 사용하여 모델이 엘리베이터 환경에서 EBikes를 얼마나 효과적으로 식별하는지 판단하는데, 특히 가시성에 영향을 미치는 경우 더욱 그렇습니다.
      (19)
      여기서 FN은 거짓 음성을 나타냅니다.
   2. IoU 임계값을 0.5로 설정하여 탐지의 정확도를 평가하세요. 리콜을 사용해 누락된 탐지를 최소화하는 모델을 평가하여, 부분적으로 차단되더라도 EBikes가 정확히 식별되도록 보장합니다.
   3. 명령어를 사용해 이 메트릭을 생성하세요: run evaluate_recall.py. 저장 결과는 recall_results.txt.
      참고: 엘리베이터 혼잡 상황에서는 누락이 매우 중요하며 안전을 위해 최소화해야 합니다. 누락은 혼잡한 엘리베이터 상황에서 안전 문제를 일으키며 최소화해야 합니다.
4. F1 점수
   1. F1 점수를 식(10)을 사용하여 모델의 정밀도와 기억 성능을 균형 있게 표현합니다.
      (20)
   2. 특히 다양한 폐쇄 수준에서 정밀도와 회상력이 상충되는 상황에서 F1 점수를 활용해 전체적인 평가를 제공하세요.
   3. 명령어를 사용하여 이 지표를 생성하세요: evaluate_f1.py 실행하여 F1 점수를 계산하세요. f1_score_results.txt 저장 결과.
5. 평균 정밀도(mAP)
   1. 식(11)을 사용하여 다양한 EBike 외관, 가림 조건, 조명 변화 등에서 모델의 전체 검출 능력을 측정합니다.
      (21)
      여기서 AP_c 는 범주 c 의 평균 정밀도를, C는 범주의 수를 나타냅니다.
   2. IoU 임계값을 0.5로 설정하여 다양한 범주에서 모델 성능을 평가하세요.
   3. mAP@0.5를 사용하여 모델이 엘리베이터 환경에서 다양한 시각 조건에 얼마나 잘 적응하는지 판단하여 탐지 성능의 포괄적 평가를 보장합니다.
   4. 다음 명령어를 사용하여 이 메트릭을 생성하세요: 지정된 매개변수로 evaluate_map.py 실행하세요. 저장 결과는 map_results.txt.

Results

공개 데이터셋에서의 전체론적 주석과 청크 주석 비교

평가는 다양한 조명 조건, EBike 색상, 다양한 가림 정도를 가진 개방 감시 및 교통 모니터링 장면에서 수집된 210장의 EBike 이미지로 구성된 공개 데이터셋에서 수행되었습니다. 각 이미지는 전체론적 방법(단일 경계 상자)과 제안된 청크드 방법(EBikes를 바퀴, 앞부분, 뒤쪽 영역으로 나누는 방법)을 사용해 주석을 달았습니다.

정량적 결과는 표 1에 요약되어 있습니다. YOLOv5에서는 전체론적 주석이 0.81의 정밀도와 0.74의 회상률을 달성하여 F1 점수 0.77, mAP@0.5 0.78을 기록했습니다. 청크 주석으로 훈련된 YOLOv5는 정확도 0.86, 호출 0.79로 향상되어 F1 점수 0.82, mAP@0.5 0.84를 기록했습니다. 이...

Discussion

중요한 단계

이 프로토콜에서 중요한 단계는 지역 특징에 기반한 청크 주석 방식으로, EBikes를 휠, 앞, 뒤 영역으로 분할합니다. 이 분할은 감지 모델이 세밀한 표현을 학습할 수 있도록 보장하며, 이는 폐쇄가 심한 엘리베이터 환경에서 필수적이었습니다. 예를 들어, EBike-DET 데이터셋에서 청크 주석으로 훈련된 YOLOv5는 mAP@0.5를 0.925에서 0.966으로 개선하여 견고한 성능을 위해 정확한 국소 특징 분할의 필요성을 강조했습니다. 또한, 해리스 코너 탐지 단계는 국소 특징 추출을 위한 중요한 전처리 단계입니다. 경험적 상수(k=0.05)의 선택은 코너 검출 결과 최적화에 특히 중요했는데, 편차(k=0.04 또는 k=0.06)는 거짓 양성을 증가시키거나 특징 민감도를 감소시켰기 때문입니다.

메서드의 수정 ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	HDF 그룹	2.10.0
matplotlib (SSD)	Matplotlib 커뮤니티	3.1.2
matplotlib (YOLOv10)	Matplotlib 커뮤니티	3.9.0
matplotlib (YOLOv5)	Matplotlib 커뮤니티	3.8.4
matplotlib (YOLOv5+SAHI)	Matplotlib 커뮤니티	3.8.4
matplotlib (YOLOv8-Seg)	Matplotlib 커뮤니티	3.9.0
numpy (SSD)	넘파이 커뮤니티	1.17.0
넘피 (YOLOv10)	넘파이 커뮤니티	1.26.3
넘피 (YOLOv5)	넘파이 커뮤니티	1.26.4
numpy (YOLOv5+SAHI)	넘파이 커뮤니티	1.26.4
numpy (YOLOv8-Seg)	넘파이 커뮤니티	1.26.3
onnx (YOLOv10)	온닉스	1.14.0
onnx (YOLOv5)	온닉스	1.14.0
onnx (YOLOv5+SAHI)	온닉스	1.14.0
onnxruntime (YOLOv10)	마이크로소프트	1.15.1
onnxruntime (YOLOv5)	마이크로소프트	1.15.1
onnxruntime (YOLOv5+SAHI)	마이크로소프트	1.15.1
opencv-python (SSD)	오픈CV	4.1.2.30
opencv-python (YOLOv10)	오픈CV	4.9.0.80
opencv-python (YOLOv5)	오픈CV	4.9.0.80
opencv-python (YOLOv5+SAHI)	오픈CV	4.9.0.80
opencv-python (YOLOv8-Seg)	오픈CV	4.9.0.80
판다스 (YOLOv10)	판다스 커뮤니티	2.2.2
판다스 (YOLOv5)	판다스 커뮤니티	2.2.2
판다스 (YOLOv5+SAHI)	판다스 커뮤니티	2.2.2
판다스 (YOLOv8-Seg)	판다스 커뮤니티	2.2.2
필로우 (SSD)	베개 개발자	8.2.0
베개 (YOLOv10)	베개 개발자	10.2.0
베개 (YOLOv5)	베개 개발자	8.5.0
베개 (YOLOv5+SAHI)	베개 개발자	8.5.0
베개 (YOLOv8-Seg)	베개 개발자	10.2.0
psutil (YOLOv10)	Psutil 개발자	5.9.8
psutil (YOLOv5)	Psutil 개발자	5.9.8
psutil (YOLOv5+SAHI)	Psutil 개발자	5.9.8
pycocotools (YOLOv10)	COCO 컨소시엄	2.0.7
pycocotools (YOLOv5)	COCO 컨소시엄	2.0.7
pycocotools (YOLOv5+SAHI)	COCO 컨소시엄	2.0.7
pycocotools (YOLOv8-Seg)	COCO 컨소시엄	2.0.7
py-cpuinfo (YOLOv10)	Py-CPUInfo 개발자	9.0.0
py-cpuinfo (YOLOv5)	Py-CPUInfo 개발자	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Py-CPUInfo 개발자	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
요청 (SSD)	파이썬 요청	2.27.1
요청 (YOLOv10)	파이썬 요청	2.32.3
요청 (YOLOv5)	파이썬 요청	2.31.0
요청 (YOLOv5+SAHI)	파이썬 요청	2.31.0
사히	SAHI 개발자	0.3.4+
사이피 (SSD)	SciPy 커뮤니티	1.2.1
스키피 (YOLOv10)	SciPy 커뮤니티	1.13.0
스키피 (YOLOv5)	SciPy 커뮤니티	1.13.0
스키피 (YOLOv5+SAHI)	SciPy 커뮤니티	1.13.0
스키피 (YOLOv8-Seg)	SciPy 커뮤니티	1.13.0
바다본 (YOLOv10)	시본 개발자	0.13.2
seaborn (YOLOv5)	시본 개발자	0.13.2
씨본 (YOLOv5+SAHI)	시본 개발자	0.13.2
seaborn (YOLOv8-Seg)	시본 개발자	0.13.2
몸매매 (YOLOv5+SAHI)	셰이플리 개발자	2.0.4
SSD	카페/오리지널 SSD 저자들	Python 3.6.13+; 파이토치 1.2.0+; CUDA 10.0; CUDNN 7.4.1
텐서보드 (SSD)	구글	2.10.1
텐서보드 (YOLOv5)	구글	2.16.2
텐소보드 (YOLOv5+SAHI)	구글	2.16.2
토치비전 (SSD)	파이토치	0.4.0
토치비전 (YOLOv10)	파이토치	0.15.2
토치비전 (YOLOv5)	파이토치	0.17.2
토치비전 (YOLOv5+SAHI)	파이토치	0.17.2
토치비전 (YOLOv8-Seg)	파이토치	0.16.1+
tqdm (SSD)	TQDM 개발자	4.60.0
tqdm (YOLOv10)	TQDM 개발자	4.66.4
tqdm (YOLOv5)	TQDM 개발자	4.66.2
tqdm (YOLOv5+SAHI)	TQDM 개발자	4.66.2
울트라리틱스 (YOLOv8-Seg)	울트라리틱스	8.2.99+
YOLOv10	YOLOv10 팀	파이썬 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.7
YOLOv5	울트라리틱스	파이썬 3.8.0+; 파이토치 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv5 + 사히	울트라라이틱스 + SAHI 개발자	파이썬 3.8.0+; 파이토치 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv8-Seg	울트라리틱스	파이썬 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.6.0+