Verbeterde methode voor gesegmenteerde afbeeldingsannotatie voor elektrische fietsen in complexe liftscenario's gebaseerd op lokale kenmerken

Summary

Een methode voor het aantekenen van gefragmenteerde beelden op basis van lokale kenmerken wordt gepresenteerd om de detectie van elektrische fietsen in complexe liftscenario's te verbeteren met behulp van de EBike-DET-dataset en gangbare objectdetectiemodellen.

Abstract

Het toenemende gebruik van elektrische fietsen (EBikes) in afgesloten omgevingen zoals liften in woningen heeft ernstige veiligheidszorgen opgeroepen en aanzienlijke uitdagingen met zich meegebracht voor geautomatiseerde objectdetectie, vooral vanwege frequente occlusies. Traditionele detectiemethoden, die voornamelijk vertrouwen op holistische annotaties, slagen er vaak niet in om gedeeltelijk verstopte EBikes nauwkeurig te herkennen in visueel complexe scènes. Om deze beperkingen te overwinnen, stelt deze studie een nieuwe methode voor met gebrokene annotatie gebaseerd op lokale kenmerken, die een beter interpreteerbare annotatiestrategie biedt. Door een EBike te ontleden in meerdere sleutelgebieden voor onafhankelijke labeling, stelt de voorgestelde methode detectiemodellen in staat fijnkorrelige structurele informatie te leren, waardoor de robuustheid in occlusie-intensieve omstandigheden verbetert. Daarnaast is er een speciale dataset, EBike-DET, ontwikkeld om detectietaken in realistische liftscenario's te ondersteunen. Geannoteerd met de chunked approach en aangevuld met gesimuleerde omgevingsomstandigheden, verbetert de dataset zowel de modelprestaties als de aanpassingsvermogen. De voorgestelde methode bevordert de ontwikkeling van verklaarbare kunstmatige intelligentie (XAI) door objectdetectie transparanter en structureel interpreteerbaarder te maken, wat vooral waardevol is in veiligheidskritische toepassingen. Uitgebreide experimenten worden uitgevoerd met drie gangbare modellen (YOLOv5, YOLOv10 en SSD). De resultaten tonen aan dat YOLOv5, wanneer getraind op EBike-DET met gesegmenteerde annotaties, verbeteringen behaalt van 3,7% in precisie, 5,3% in herinnering, 4,5% in F1-score en 4,4% in mAP. In vergelijking met publieke datasets vertoont EBike-DET een grotere stabiliteit en robuustheid onder occlusie. Deze studie verbetert niet alleen de detectienauwkeurigheid, maar biedt ook een stap richting meer interpreteerbare en verklaarbare AI-oplossingen voor implementatie in echte veiligheidsmonitoringsystemen.

Introduction

Met de snelle verspreiding van elektrische fietsen (EBikes) wereldwijd, vooral in China, waar het totaal in 2022 meer dan 350 miljoen eenheden bedroeg, zijn EBikes een dominante vorm van korteafstandsvervoer geworden. Hun frequente gebruik in afgesloten ruimtes zoals woonliften brengt echter ernstige veiligheidsrisico's met zich mee, waaronder abnormale trillingen, schade aan apparatuur, onaangename geuren en brandgevaar. Een recente studie schat dat EBike-gerelateerde brandincidenten plaatsvinden met een kans van ongeveer 1,44^%. Deze risico's benadrukken de dringende noodzaak van efficiënte en nauwkeurige EBike-detectiemethoden om de veiligheid in liftomgevingen te verbeteren.

Ondanks vooruitgang in computer vision en deep learning blijft EBike-detectie in liften uitdagend. Publiek beschikbare datasets zijn schaars en missen vaak diversiteit in EBike-modellen, kleuren en occlusiecondities, wat modelgeneralisatie² beperkt. Bovendien bevatten liftscenario's vaak complexe occlusies, waarbij EBikes gedeeltelijk worden verborgen door passagiers of structurele componenten, wat de detectieprecisie ^{verder vermindert 3,4,5}. Bestaande holistische annotatiemethoden, die EBikes behandelen als een enkele begrenzende doos, falen vaak onder dergelijke omstandigheden, wat de noodzaak aantoont voor verbeterde annotatie- en detectiestrategieën. Zoals weergegeven in Tabel 1 leidt holistische annotatie tot een aanzienlijk verminderde prestatie, met tot een vermindering van de gemiddelde gemiddelde precisie bij een kruispunt boven Union (IoU) drempel van 0,5 (mAP@0,5) vergeleken met gesegmenteerde annotatie.

Vooruitgang in deep learning-gebaseerde detectie

Deep learning-methoden, met name convolutionele neurale netwerken (CNN's), zijn veelvuldig toegepast bij objectdetectie. De You Only Look Once (YOLO) familie laat sterke realtime prestaties zien. Bij het detecteren van verstopte of overlappende objecten hebben YOLO-modellen echter de neiging om redundante begrenzende boxen te produceren. Zo verbetert YOLOv5 multi-scale feature extraction via deep convolution en feature pyramid netwerken ^6,7, terwijl YOLOv10 niet-maximale onderdrukking elimineert en padaggregatienetwerken gebruikt om snelheid en multi-scale fusion ^8,9 te verbeteren. Ondanks deze verbeteringen blijven redundante bounding boxes en afnemende robuustheid in occlusie-intensieve omgevingen onopgeloste kwesties. Toch lijden beide onder belangrijke EBike-structuren die gedeeltelijk worden geblokkeerd, omdat holistische annotatie beperkte lokale aanwijzingen biedt. Zoals getoond in Figuur 1A-C leidt deze beperking tot redundante begrenzingsboxen en een instabiel detectievertrouwen bij matige of zware occlusie. Daarentegen vermindert chunked annotatie dit probleem door het model in staat te stellen afzonderlijke regio's te detecteren—zoals wielen of het achterste gebied—waardoor overbodige bounding boxes onder occlusie worden verminderd. Figuur 1D-F toont verder aan dat chunked annotatie de lokalisatie van kenmerken verbetert en detectiestabiliteit behoudt wanneer slechts gedeeltelijke EBike-componenten zichtbaar blijven.

Evenzo biedt de Single Shot MultiBox Detector (SSD) model^10,11, gebaseerd op de VGG-16 backbone, efficiënte detectie over schalen heen en presteert goed op kleine objecten¹². SSD heeft echter ook moeite wanneer de continuïteit van features wordt verbroken door zware occlusion, wat leidt tot gemiste detecties of onstabiele box regressie—zelfs wanneer aandachtmechanismen worden geïntroduceerd¹³. Chunked annotatie biedt hier ook een voordeel: het model kan nog steeds vertrouwen op zichtbare lokale delen, wat de detectiestabiliteit verbetert in multi-scale en occluded condities.

Annotatiestrategieën en lokaal kenmerkleren

De meeste huidige detectiemethoden hanteren holistische annotatie, die annotatie vereenvoudigt maar vooral steunt op globale kenmerken^14,15. Deze aanpak heeft moeite wanneer kritieke EBike-regio's - zoals de wielen, het voor- of achtergedeelte - gedeeltelijk ontbreken. Een recente studie¹⁶ heeft aangetoond dat lokaal feature learning, waarbij objecten worden opgesplitst in meerdere geannoteerde delen, robuustheid en precisie kan verbeteren in uitdagende scenario's. In overeenstemming hiermee tonen de resultaten in Tabel 2 aan dat gehulde annotatie effectief blijft wanneer minstens 40%-60% van de belangrijkste EBike-componenten zichtbaar blijven, vooral bij het annoteren van de wielen, het voor- en achtergebied. Daarentegen blijven holistische begrenzingsboxen voldoende in scenario's met lage occlusie (bijvoorbeeld <20% occlusie) of wanneer de beeldresolutie ≥1280 x 720 is, waarbij de volledige silhouet behouden blijft. Het voordeel van chunking neemt af wanneer occlusie meer dan ≈70% bedraagt, of wanneer feature-level regio's te klein worden om discriminerende ruimtelijke informatie te leveren.

Methodologische rechtvaardiging voor het gebruik van Harris Corner Detection

Harris-hoekdetectie wordt geselecteerd voor lokale feature-extractie vanwege het deterministische gedrag, de computationele efficiëntie en de trainingsvrije eigenschappen, die essentieel zijn voor betrouwbare annotatie in liftomgevingen. In tegenstelling tot geleerde keypointdetectoren zoals SuperPoint en LoFTR, voorkomt het extra training en vermindert het domeinverschuiving bij beperkte geannoteerde data en zware occlusie. In vergelijking met randgebaseerde operatoren zoals Canny en Sobel leggen Harris-hoeken de nadruk op geometrisch betekenisvolle verbindingen in plaats van ruisachtige achtergrondranden, waardoor stabiele lokalisatie van EBike-structuren mogelijk is, inclusief wielen en frame-kruisingen. Bovendien biedt Harris-hoekdetectie interpreteerbare hyperparameters. De empirische constante k regelt de gevoeligheid en stabiliteit van de hoek. Zoals weergegeven in sectie 2.6.2.4 en Figuur 2, ondersteunt het aanpassen van k een gecontroleerde balans tussen robuustheid en overdetectie, wat goed aansluit bij de voorgestelde regelgebaseerde cunked annotatiestrategie.

Data-augmentatie voor robuustheid

Data-augmentatie is effectief gebleken in het vergroten van de diversiteit en aanpassingsvermogen van detectiemodellen. Veelvoorkomende technieken zijn geometrische transformaties (bijv. rotatie, schaalvergroting, cropping) en kleuraanpassingen (bijv. grijstinten, luminantiemodificaties), die realistische omstandigheden en lichtvariaties simuleren 17,18,19. Door deze strategieën te integreren, worden detectiemodellen veerkrachtiger tegen variabiliteit en beter geschikt voor inzet in de praktijk.

Om de eerder genoemde beperkingen aan te pakken, stelt deze studie een verbeterde methode voor voor gesegmenteerde annotatie gebaseerd op lokale kenmerken. De methode verbetert feature learning en robuustheid door EBikes op te delen in meerdere onafhankelijke geannoteerde delen, waardoor effectievere detectie mogelijk wordt onder complexe occlusie. Daarnaast wordt een speciale Electric Bike Detection (EBike-DET) dataset opgebouwd, afgestemd op liftomgevingen, verrijkt met diverse data-augmentaties om de aanpassingsvermogen van het model te verbeteren. Ten slotte wordt de methode gevalideerd op YOLOv5, YOLOv10 en SSD, waarbij consistente prestatieverbeteringen van +5,69% tot +39,81% mAP worden getoond, zoals samengevat in Tabel 3. De bijdragen kunnen als volgt worden samengevat: een verbeterde chunked annotatiemethode die feature-learning onder occlusieomstandigheden versterkt, de opbouw van een gespecialiseerde EBike-DET-dataset voor liftscenario's, het integreren van meerdere augmentatietechnieken en experimentele validatie op gangbare detectiemodellen, wat een verbeterde precisie en robuustheid toont ten opzichte van holistische annotatie.

Protocol

De EBike-DET-dataset die in deze studie wordt gebruikt, bestaat uit beelden die door de auteurs zijn verzameld via fotografie ter plaatse in lift-, parkeerterrein- en straatomgevingen, evenals publiek toegankelijke EBike-beelden verkregen van webgebaseerde platforms. Alle beeldverzameling ter plaatse vond plaats in niet-privé omgevingen, uitsluitend voor veiligheidsgerelateerd technisch onderzoek naar EBike-detectie. Afbeeldingen richten zich niet bewust op individuen, en eventuele per ongeluk vastgelegde personen zijn niet identificeerbaar vanwege afstand, occlusie, achteraanzichten of passende verwerking die gezichtskenmerken en andere persoonlijke identificaties verwijdert. Webgebaseerde afbeeldingen werden uitsluitend verkregen van platforms die hergebruik voor academisch onderzoek of van bronnen die onder open licenties zijn vrijgegeven, toestaan. Alle afbeeldingen worden uitsluitend gebruikt voor niet-commerciële onderzoeks- en educatieve doeleinden. Omdat er geen identificeerbare persoonsgegevens werden verzameld en er geen directe interactie met menselijke proefpersonen plaatsvond, vereiste deze studie geen goedkeuring van een institutionele ethische commissie in overeenstemming met de richtlijnen van de auteur.

1. Datasetconstructie

1. Beeldresolutie, kleurruimte en bestandsformaten
   1. Stel de native resolutie van de beelden in op 1280 x 720 pixels om hoogwaardige details van EBikes in verschillende scènes vast te leggen.
   2. Na standaardisatie kun je beelden aanpassen tot 640 x 480 pixels om rekenefficiëntie en featurebehoud in balans te brengen.
   3. Stel de kleurruimte in op RGB om volledige kleurinformatie te behouden, zodat je bij verschillende lichtomstandigheden nauwkeurige featureherkenning kunt garanderen.
   4. Sla de afbeeldingen op in JPEG-formaat om de opslag te optimaliseren zonder de beeldkwaliteit significant te verminderen.
2. Het definiëren en splitsen van de trainings-, validatie- en testdatasets
   1. Splits de dataset op in trainings-, validatie- en testsets met een verhouding van 7:2:1, zodat de dataset correct wordt verdeeld voor modeltraining, hyperparameterafstemming en prestatie-evaluatie.
   2. Stel de willekeurige seed in op 42 om reproduceerbaarheid van de data verdeeld over verschillende experimenten te waarborgen.
   3. Pas gestratificeerde steekproeven toe om een consistente verdeling van EBike-modellen en occlusieniveaus in elke dataset-splitsing te behouden, zodat er geen klasse-onevenwicht tussen sets is.
   4. Zorg ervoor dat er geen lekkage tussen training, validatie en testsets voorkomt door ervoor te zorgen dat er geen EBike-afbeelding in meer dan één set voorkomt.
3. Publieke datasetconstructie
   1. Selecteer de openbaar beschikbare EBike-detectiedataset van het open-source platform 20,21,22,23, dat 210 beelden van EBikes bevat in zowel panoramische als gedeeltelijk geblokkeerde scènes.
   2. Erken de beperkingen van de publieke dataset, waaronder enkele camerahoek, lage resolutie en eenvoudige achtergrondscènes, die de generalisatiemogelijkheid van het model kunnen beperken, vooral in complexe occlusiescenario's.
4. Constructie van de EBike-DET dataset
   1. Bouw de EBike-DET-dataset om de dekking van scènes en de diversiteit van monsters te verbeteren, bestaande uit 1.680 hoogwaardige beelden van webplatforms en fotografie ter plaatse.
   2. Zorg ervoor dat er diverse omgevingen worden opgenomen, zoals liften, parkeerplaatsen en straten, waarbij verschillende omstandigheden waarin EBikes zich kunnen bevinden worden vastleggen.
   3. Verwerk verschillende camerahoeken (voor-, zij- en bovenaanzichten) om het volledige scala aan EBike-verschijningen vast te leggen, zodat je robuuste training voor detectiemodellen garandeert.
   4. Verrijk de dataset door meerdere EBike-merken en -modellen op te nemen, met variaties in kleur, grootte en accessoires, om de diversiteit aan de steekproef te vergroten.
   5. Zorg ervoor dat occlusiescenario's worden opgenomen, waarbij EBikes gedeeltelijk worden geblokkeerd door voetgangers en voertuigen, waarbij echte omstandigheden in afgesloten ruimtes zoals liften worden gesimuleerd.
   6. Bevestig dat de EBike-DET-dataset diverse en complexe monsters bevat, waardoor het een betrouwbare dataset is voor doeldetectie onder complexe occlusiecondities.
5. Insluitings- en uitsluitingsregels voor web- en onsite-afbeeldingen
   1. Webafbeeldingen: Neem alleen die op die openbaar beschikbaar zijn, vastgelegd in diverse omgevingen, met hoge resolutie en gevarieerde lichtomstandigheden. Sluit afbeeldingen met lage resolutie of eenvoudige achtergronden uit.
   2. Beelden ter plaatse: Bevat beelden die zijn vastgelegd in echte omgevingen, specifiek op locaties zoals liften, parkeerplaatsen of straten. Zorg ervoor dat beelden realistische EBike-scenario's weergeven met variaties in occlusie, achtergrondcomplexiteit en weersomstandigheden. Sluit afbeeldingen met overmatige ruis, vervorming of onrealistische instellingen uit.
   3. Zorg ervoor dat zowel web- als on-site afbeeldingen dezelfde resolutie- en kleurruimtenormen volgen om consistentie over de dataset te waarborgen.
6. Data-augmentatieconstructie
   1. Pas basisaugmentatiebewerkingen toe, zoals grijsskalen en rotatie, om de samplediversiteit te vergroten en verschillende lichtomstandigheden en cameraoriëntaties te simuleren.
   2. Verdeel het EBike-doel in verschillende onafhankelijke lokale regio's, waaronder het wielgebied, het voorste en het achterste gebied, om het leren van lokale kenmerken te verbeteren.
   3. Annoteer elk gebied onafhankelijk om de detectienauwkeurigheid onder occlusie te verbeteren en robuuste modelprestaties te garanderen over verschillende EBike-onderdelen.
   4. Controleer dat alle augmented images en gehulde annotaties structurele consistentie behouden met EBike-functies om mismatched of ongeldige trainingsdata te voorkomen.

2. Lokale feature-chunked annotatie

OPMERKING: Om de detectieprecisie van EBikes in complexe occlusiescenario's te verbeteren, wordt een gesegmenteerde annotatiemethode voorgesteld gebaseerd op verbeterde lokale kenmerken. Deze methode segmenteert de EBike-regio door de lokale featurepunten te extraheren en bepaalt of een regio geannoteerd moet worden op basis van de mate van occlusie in het overeenkomstige featuregebied. Het gedetailleerde experimentele proces wordt geïllustreerd in Figuur 3.

1. Met behulp van de eerder opgebouwde trainings-, validatie- en testdatasets.
2. Handmatige annotatie: Gebruik de LabelImg-tool in de Python-omgeving voor handmatige annotatie. Label alle afbeeldingen exclusief als EBikes, zodat er minimale interferentie van negatieve monsters^24,25 is.
3. Gegevensverwerking en -uitbreiding
   1. Pas de methode toe die is voorgesteld door Yongjiang et ^al.22 voor het dempen en standaardiseren van de beelden, zodat de grootte van de dataset uniform is.
   2. Voer data-augmentatiebewerkingen uit (bijv. rotatie, helderheidsaanpassing, grijstinten) om de samplediversiteit te vergroten. Zorg ervoor dat alle augmented beelden de beeldkwaliteit behouden en de robuustheid van het model op verschillende achtergronden verbeteren.
4. EBike area-teelt
   1. Om reproduceerbaarheid van ROI-lokalisatie te waarborgen, pas je de inferentieparameters uit Tabel 4 toe voor YOLOv10 (met behulp van het yolov10x.pt vooraf getrainde gewichtbestand). De coördinaten van de uitvoerbegrenzende doos zijn als volgt:
      ROI = [x₁, y₁, x₂, y₂] (1)
      Vergelijking (1) definieert de ROI²⁶ begrenzende boxcoördinaten [x₁, y₁, x₂, y₂] , waarbij: x₁, y₁ = linkerbovenhoekcoördinaten van de EBike ROI; x₂, y₂ =Coördinaten rechtsonder van de EBike ROI. Deze coördinaten zijn afgeleid van de ruwe output van YOLOv10, die begrenzingsvakken voorspelt in het formaat [c_x, c_y, w, h] voor elk gedetecteerd object. De conversieformules zijn:
      (2)
      (3)
      (4)
      (5)
      Waarbij c_x, c_y de genormaliseerde horizontale/verticale centrumcoördinaten zijn van de voorspelde begrenzingsbox (geschaald naar de invoerbeeldgrootte van 640 x 480).  w, h is de genormaliseerde breedte/hoogte van de voorspelde begrenzende doos (geschaald naar de invoerafbeeldingsgrootte).
   2. Filter de output van de YOLOv10 op de betrouwbaarheidsdrempel (0,5) om alleen EBike-gerelateerde detecties (klasse-ID overeenkomend met elektrische fiets) te behouden, en verwerk vervolgens met NMS (IoU=0,45) om redundante boxen te verwijderen. Zet de resterende begrenzingsbox om naar [x₁, y₁, x₂, y₂] voor ROI-cropping.
   3. Afhandeling van meerdere detecties
      OPMERKING: In liftscenario's (het kerndoel van de EBike-DET-dataset) zijn EBikes doorgaans single-instance (vanwege ruimtebeperkingen). Voor gevallen met meerdere EBike-detecties (bijvoorbeeld overvolle liften met twee EBikes) gelden de volgende regels.
      1. Hoogste betrouwbaarheidsprioriteit: Selecteer het begrenzingsvak met de maximale betrouwbaarheidsscore (de outputbetrouwbaarheid van YOLOv10 weerspiegelt de zekerheid van het model dat het object een EBike is).
      2. Controle van ruimtelijke validiteit: Als meerdere detecties betrouwbaarheidsscores >0,7 hebben, verifieer dan de ruimtelijke overlap met de structurele grenzen van de lift (bijv. vermijd begrenzingsboxen die voorbij liftwanden reiken). Bebehoud de detectie waarvan het middelpunt c_x, c_y het dichtst bij het beeldcentrum ligt (liften worden meestal bewaakt door frontcamera's, met doelen gecentreerd).
      3. Randafhandeling: Als geen enkele geldige detectie de betrouwbaarheidsdrempel bereikt (bijv. ernstige occlusie), markeer dan het beeld voor handmatige ROI-correctie (goed voor <3% van de EBike-DET-dataset).
5. Grijswaardenconversie en normalisatie
   1. Voer grijswaardenconversie uit op de bijgesneden RGB-afbeelding vanuit de ROI. Gebruik de gewogen gemiddelde methode voor conversie, volgens de formule:
      I_gra = 0,299 × R + 0,587 × G + 0,114 × B (6)
      waarbij R, G en B respectievelijk de pixelwaarden in de rode, groene en blauwe kanalen vertegenwoordigen. Deze methode sluit aan bij de menselijke waarneming van helderheid over verschillende kleuren heen.
   2. Normaliseer de pixelwaarden van het grijswaardenbeeld tot het bereik van [0, 1] door lineaire schaal te verkleinen vanaf [0, 255]. Deze normalisatie verbetert de stabiliteit van numerieke berekeningen en zorgt ervoor dat latere gradiëntberekeningen en drempelberekeningen consistent werken onder wisselende lichtomstandigheden.
6. Harris-hoekdetectie
   1. Pas Harris-hoekdetectie toe op de grijswaarden en normaliseer de EBike-regio om lokale featurepunten te extraheren.
      OPMERKING: Het kernprincipe van Harris-hoekdetectie bestaat uit het berekenen van de autocorrelatiematrix om de hoeken in het beeld nauwkeurig te lokaliseren, zoals visueel te zien is in Figuur 4B. Deze gedetecteerde bochten zijn doorgaans gekoppeld aan belangrijke EBike-componenten zoals wielen, voor- en achterzijde, die vaak duidelijke bochtkenmerken vertonen.
   2. Bereken de gradiënt van het beeld om gebieden met significante intensiteitsveranderingen te identificeren zoals hieronder beschreven.
      1. Beeldgladstrijking: Pas Gaussiaanse filtering toe op het grijstintenbeeld om ruis te onderdrukken, en verkrijg zo het gladde beeld als volgt:
         I_s = G_σ*I (7)
         waarbij * de convolutieoperatie vertegenwoordigt, en G_σ een 2D Gaussische kern is met een standaarddeviatie van σ, die het gladmakingsniveau bepaalt. Een typische waarde voor is 1,0.
      2. Bereken beeldgradiënt: Gebruik een gradiëntoperator (zoals de Sobel-operator) om de horizontale (x) en verticale (y) gradiënten van het gladde beeld te berekenen:
         I_x = K_{x *} I_s ,I_y=K_{y *} I_y (8)
         waarbij I_x en I_y respectievelijk de gradiëntafbeeldingen in de x- en y-richting zijn, en Gx en Gy de convolutiekeren voor de Sobel-operator:
         , (9)
      3. Bouw autocorrelatiematrix M op basis van de eerder berekende gradiënten, met behulp van een lokaal venster W van 3 x 3 dat op elke pixel (x,y) is gecentreerd:
         (10)
         In de formule verwijst W naar een lokaal venster op positie (x,y), en de bewerking ∑W vertegenwoordigt de som van alle beeldelementen binnen dit venster; A = ∑W I_x² vertegenwoordigt de som van de kwadratische gradiënten in het W-venster in de x-richting, wat de intensiteit van veranderingen in de x-richting weerspiegelt; B=∑W I_y² vertegenwoordigt de som van de kwadraatgradiënten in het W-venster in de y-richting, wat de intensiteit van veranderingen in de y-richting weerspiegelt; C = ∑W I_{x I yvertegenwoordigt} de som van het product van de gradiënten in de x- en y-richtingen binnen het W-venster, en beschrijft de correlatie van veranderingen tussen deze twee richtingen.
      4. Bereken de som van kwadratische gradiënten in zowel de x- als y-richting om de intensiteit van veranderingen langs elke richting weer te geven. De kruisterm tussen de gradiënten I_x I_y geeft de correlatie tussen de x- en y-richtingen weer.
      5. Hoekresponsfunctie: Bereken de hoekresponsfunctie R op basis van de determinant en spoor van de autocorrelatiematrix om hoekpunten in het beeld te detecteren. Bereken de responswaarde voor elke pixel en selecteer punten met hogere responswaarden als de laatste hoeken, zoals weergegeven in Figuur 2. De hoekresponsfunctie wordt gegeven door:
         det(M) = A ⋅ B - C² (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M)) ² (13)
         waarbij det(M) de determinant is van de M, die de algehele verandering in het lokale kenmerkgebied weerspiegelt, en spoor(M) de spoor van de matrix is, die de totale gradiëntintensiteit in het gebied weerspiegelt. De empirische constante k wordt typisch ingesteld tussen 0,04 en 0,06.
         OPMERKING: Op basis van experimenten bleek dat de keuze van k de resultaten significant beïnvloedt:
         Wanneer k=0,04 is, zijn de responswaarden te hoog, wat leidt tot een overvloed aan ten onrechte gedetecteerde hoekpunten.
         Wanneer k = 0,05 is, zijn de responswaarden meer in balans, waarbij echte hoeken nauwkeurig worden gedetecteerd.
         Wanneer k=0,06 is, zijn de responswaarden te laag, waardoor het moeilijk is om hoekpunten betrouwbaar te detecteren.
   3. Voer grofkorrelige deling uit van de lokale gebieden van de EBike met behulp van de Harris-hoekpuntdetectieresultaten. Verdeel de EBike in regio's op basis van geometrische structuur en hoekpuntverdeling, zoals weergegeven in Figuur 4C, om de robuustheid en detectieprestaties van het model in complexe occlusiescenario's te verbeteren.
   4. Radgebied: beschouw het gebied als geldig als het ten minste 15 hoekpunten bevat die symmetrisch verdeeld zijn langs een cirkelvormige vorm, met een symmetriescore van minstens 0,85. De symmetriescore wordt weergegeven in Vergelijking 11. De breedte-hoogteverhouding van het wielgebied moet ongeveer 1:1 zijn, zodat deze de geometrische eigenschappen van het wiel nauwkeurig weergeeft.
   5. Voorste gebied: Neem het gebied op als het ten minste 10 hoekpunten bevat met een symmetriescore van minstens 0,80, en de breedte-hoogteverhouding ligt tussen 1,2:1 en 1,5:1, zodat het voorste gebied overeenkomt met de verwachte structurele kenmerken.
   6. Achtergebied: Neem het gebied mee als het ten minste 12 hoekpunten bevat, met een symmetriescore van minstens 0,75, en de breedte-hoogteverhouding ligt tussen 1,5:1 en 2:1, zodat het achterste gebied voldoet aan de verwachte geometrische eigenschappen.
7. Representatie van kritieke EBike-gebieden met begrenzende dozen
   1. Om hoekpunten om te zetten in rechthoekige begrenzingsboxen, gebruik je het DBSCAN-clusteringalgoritme. Deze methode groepeert nabijgelegen hoekpunten in clusters, zodat hoekpunten die een regio vormen samen worden gegroepeerd. Stel de maximale afstand tussen punten binnen een cluster in op 30 pixels.
   2. Bepaal voor elk cluster van hoekpunten de minimale en maximale x- en y-coördinaten. Deze coördinaten stellen de randen van de begrenzende doos voor.
   3. Voeg een marge van 10 pixels toe rond de begrenzingsbox om ervoor te zorgen dat alle relevante kenmerken worden opgenomen. Deze marge compenseert mogelijke misalignment of pixelonnauwkeurigheden bij de detectie van hoekpunten.
   4. Rond de coördinaten van de begrenzingsdoos af op het dichtstbijzijnde geheel getal om een juiste pixeluitlijning voor beeldverwerking te garanderen.
   5. Geef de uiteindelijke begrenzingsboxcoördinaten voor het i-de onderdeel weer (bijv. wiel, voorste gebied, achterste gebied) zoals hieronder beschreven.
      1. Combineer de gedefinieerde gebieden (wieloppervlak, voorste en achterste gebied) en vertegenwoordig alle kritieke gebieden van de EBike met rechthoekige begrenzingsboxen.
      2. Definieer begrenzingsboxcoördinaten voor de i-component (bijv. wiel, voorgebied, achtergebied) als:
         (14)
         waarbij B_i de begrenzingsbox van de i-de component vertegenwoordigt, en en de coördinaten zijn van respectievelijk de linkerboven- en rechteronderhoek.
8. Omgaan met gedeeltelijke occlusie
   1. Evalueer de hoeksymmetriescore voor elke regio. Accepteer een regio als de symmetriescore groter is dan of gelijk aan 0,7.
   2. Voor het afhandelen van occlusie meet je de zichtbaarheid van hoekpunten. Accepteer een regio als minstens 50% van de hoeken zichtbaar is. Als 30%-50% van de hoeken zichtbaar is, markeer dan de regio voor nader onderzoek. Als minder dan 30% van de hoeken zichtbaar is, weiger dan het gebied vanwege onvoldoende zichtbaarheid voor nauwkeurige detectie.
9. Nauwkeurigheidsbeoordeling van lokale feature-regio's
   1. Evalueer de nauwkeurigheid van elk lokaal kenmerkgebied met behulp van drie kwantitatieve operationele metrics: een symmetriemetriek S, een contourcontinuïteitsmetriek C en een verbindingsstructuurmetriek L. Pas deze metrieken uniform toe op het wieloppervlak, het voorste en het achteroppervlak.
   2. Accepteer een regio alleen wanneer alle metrics de vooraf gedefinieerde drempels halen. Als één metriek binnen een acceptabel bereik faalt, breid dan de ROI uit en evalueer het opnieuw. Als twee of meer metrics falen, markeer dan de regio als onbetrouwbaar.
10. Analyse van de nauwkeurigheid van wielregiokenmerken
    1. Frontaanzicht operationele controlepost
       1. Bereken de symmetriemetriek:
          (15)
          waarbij nL en nR de tellingen aan de linker- en rechterhoeken aanduiden.
       2. Accepteer de regio als S ≥ 0,85. Zoals te zien is in Figuur 5A, vertoont het wiel een cirkelvormige vorm met symmetrie, en vormen Harris-hoekpunten langs de omtrek een symmetrisch patroon. Dus annoteer het hele wielgebied.
       3. Als 0,70 ≤ S<0,85, breid dan de ROl uit met 10-20 pixels en herhaal de evaluatie zodat meer echte kenmerken het berekeningsgebied kunnen binnenkomen, en herevalueren dan opnieuw. Zoals weergegeven in Figuur 5D treedt gedeeltelijke occlusie van het wiel op, dus het croppingbereik moet worden uitgebreid om meer kenmerken van de Ebike te registreren voor evaluatie.
       4. Als S<0,70 is, merk dan de regio als onbetrouwbaar. Zoals te zien is in Figuur 5G is de cirkelvorm verstoord; sluit dit gebied uit van de annotatie.
    2. Zijaanzicht operationele controlepost
       1. Meet contourcontinuïteit met:
          (16)
       2. Accepteer wanneer C ≥ 0,75. Zoals weergegeven in Figuur 5B voldoet de verhouding van de werkelijke continue booglengte tot de verwachte booglengte aan de eisen, past de contour volledig bij de rand en is er geen duidelijke breuk.
       3. Als 0,55 ≤ C < 0,75 is, verfijn dan de contourextractie en controleer het opnieuw. Zoals weergegeven in Figuur 5E, ligt de stroomverhouding van de continue booglengte tot de verwachte booglengte in het kritische bereik; Het is noodzakelijk om de drempel van het extractie-algoritme aan te passen om de contour completer te maken.
       4. Als C 0,55 <, verwerp dan het gebied vanwege onvoldoende geometrische continuïteit. Zoals te zien is in Figuur 5H, kunnen de analyse-eisen niet worden vervuld.
    3. Bovenaan zicht operationele controlepost
       1. Evalueer structurele connectiviteit met behulp van:
          (17)
       2. Accepteer wanneer L ≥ 0,70. Zoals weergegeven in Figuur 5C is de afwijking tussen de waargenomen afstand en de verwachte afstand effectief gecompenseerd, voldoet de structurele connectiviteit aan de eisen en is de relatieve positieverbinding tussen het voertuig en de liftomgeving voltooid.
       3. Als L 0,70 <, breid dan de ROI uit en evalueer het opnieuw. Zoals weergegeven in Figuur 5F, is de stroomafwijking tussen de waargenomen afstand en de verwachte afstand relatief groot; Het is noodzakelijk om de analysescope uit te breiden en meer omliggende structuren op te nemen om de nauwkeurigheid van de connectiviteitsevaluatie te verbeteren.
       4. Als de connectiviteit inconsistent blijft, classificeer de regio dan als onbetrouwbaar. Zoals getoond in Figuur 5I, kan het niet worden gebruikt als een effectief analysegebied.
11. Analyse van de nauwkeurigheid van voorste gebieden
    1. Voor de nauwkeurigheidsevaluatie van de EBike voorzijde volgt u het uniforme regelgebaseerde kader gedefinieerd in Sectie 2.10, inclusief symmetrie-evaluatie onder het frontaanzicht met metriek S zoals gedefinieerd in Vergelijking 15, contourcontinuïteitsbeoordeling onder zijaanzicht met metriek C zoals gedefinieerd in Vergelijking 16, en validatie van structurele connectiviteit onder het bovenaanzicht met metriek L zoals gedefinieerd in Vergelijking 17.
    2. Door geometrische variabiliteit en frequente gedeeltelijke occlusie in het voorste gebied, neem een matig ontspannen drempel aan ten opzichte van het wielgebied. Een frontgebiedsgebied wordt geaccepteerd wanneer S ≥ 0,80, C ≥ 0,70 en L ≥ 0,65. Zoals geïllustreerd in Figuur 6A-C, vertonen regio's die aan deze criteria voldoen evenwichtige links-rechts kenmerkverdelingen, coherente contouren en stabiele structurele connectiviteit.
    3. Als een metriek binnen het tussenliggende bereik valt dat in Sectie 2.10 is gespecificeerd, breid dan het interessegebied uit en evalueer opnieuw om extra contextuele kenmerken op te nemen, zoals weergegeven in Figuur 6D-F. Regio's die na herevaluatie niet aan de minimumcriteria voldoen, worden als onbetrouwbaar beschouwd, zoals geïllustreerd in Figuur 6G-I.
12. Analyse van de nauwkeurigheid van achteren
    1. Voor de nauwkeurigheidsanalyse van achteroppervlakken, houd u aan het evaluatieprotocol gedefinieerd in Sectie 2.10, waarbij gebruik wordt gemaakt van metrieken S zoals gedefinieerd in Vergelijking 15, C zoals gedefinieerd in Vergelijking 16, en L zoals gedefinieerd in Vergelijking 17 onder respectievelijk front-, zij- en bovenaanzichten.
    2. Het achterste gebied is gevoeliger voor occlusie veroorzaakt door passagiers, gedragen voorwerpen of liftstructuren. Pas daarom strengere afwijzingsvoorwaarden toe om onbetrouwbare annotaties te voorkomen. Een achtergebiedsgebied wordt geaccepteerd wanneer S ≥ 0,75, C ≥ 0,70 en L ≥ 0,65. Representatieve geaccepteerde gevallen met voldoende symmetrie, contourcontinuïteit en connectiviteit worden weergegeven in Figuur 7A-C.
    3. Voor regio's met grenswaarden van metrieken voert u ROI-uitbreiding en herwaardering uit, zoals geïllustreerd in Figuur 7D-F. Als de geometrische relaties ambigu blijven of de metrieken niet voldoen aan de acceptatiecriteria, markeer dan het gebied als onbetrouwbaar, zoals weergegeven in Figuur 7G-I.
13. Analyse van de nauwkeurigheid van de achterste ruimte
    1. Voor de nauwkeurigheidsanalyse van de achterste gebiedskenmerken volgt u het evaluatieprotocol gedefinieerd in Sectie 2.10, met dezelfde metrieken S als gedefinieerd in Vergelijking 15, C zoals gedefinieerd in Vergelijking 16, en L zoals gedefinieerd in Vergelijking 17 onder overeenkomstige invalshoeken.
    2. In vergelijking met het voorste gedeelte is het achterste gedeelte gevoeliger voor occlusie veroorzaakt door passagiers, gedragen voorwerpen en interieurstructuren van de lift. Pas daarom iets strengere afwijzingscriteria toe om onbetrouwbare annotaties te voorkomen. Een achtergebiedsgebied wordt geaccepteerd wanneer S ≥ 0,75, C ≥ 0,70 en L ≥ 0,65. Zoals weergegeven in Figuur 7A-C, behouden geaccepteerde regio's voldoende symmetrie, contourcoherentie en structurele connectiviteit.
    3. Voor regio's met grenswaarden van metrieken kunt u het ROI uitbreiden en opnieuw evalueren volgens Sectie 2.10, zoals geïllustreerd in Figuur 7D-F. Als de geometrische consistentie na herwaardering onvoldoende blijft, markeer dan het gebied als onbetrouwbaar, zoals weergegeven in Figuur 7G-I.
14. Implementatie van de pijplijn
    1. Bestands- en mappenstructuur: De implementatie volgt een modulaire directorystructuur die detectie, lokale feature-extractie en annotatiebeoordeling scheidt. Zie de vertegenwoordigende mappenorganisatie hieronder getoond. Sla alle tussenresultaten op in speciale submappen om onafhankelijke inspectie van elke verwerkingsstap mogelijk te maken.
       project_root/
       │
       ├── data/
       │ ├── afbeeldingen/
       │ │ ├── trein/
       │ │ ├── Val/
       │ │ └── test/
       │ └── aantekeningen/
       │
       ├── detectie/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── roi/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── Harris/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── configs/
       └── thresholds.yaml
    2. Uitvoeringspijplijn en voorbeeldcommandoregels
       1. EBike-detectie en ROI-lokalisatie: Lokaliseer EBike-regio's met behulp van een vooraf getraind objectdetectiemodel. Bewaar detectieresultaten als coördinaten van begrenzingsboxen.
          Pythondetectie/detect_ebike.py \
          --invoergegevens/afbeeldingen/test/ \
          --output ROI/detections.json
       2. ROI-bijsnijden: Gebruik de gedetecteerde begrenzende vakken om EBike-regio's uit de originele afbeeldingen te knippen.
          Python roi/crop_roi.py \
          --detecties roi/detections.json \
          --afbeeldingen data/afbeeldingen/test/ \
          --output ROI/cropped_images/
          Sla elke bijgesneden afbeelding op met het naamgevingsformaat: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. Harris-hoekextractie: Pas Harris-hoekdetectie toe op elke bijgesneden ROI na grijswaardenconversie. Bewaar de responskaarten en visuele overlays van hoeken voor inspectie.
          Python Harris/harris_corner.py \
          --invoer ROI/cropped_images/ \
          --output harris/corner_visualization/ \
          --config configs/thresholds.yaml
       4. Grofkorrelige verdeling en chunk-annotatie: Verdeel lokale kenmerkgebieden in wiel, voorste en achterste gebied op basis van de ruimtelijke verdeling van hoekpunten. Pas validiteitsoordeel toe met behulp van geometrische en kenmerkgebaseerde criteria.
          python chunk_annotation/region_partition.py \
          --Corner Harris/corner_visualization/ \
          --output chunk_annotation/final_annotations/
    3. Verwachte tussentijdse uitgangen en visuele controlepunten: Bewaar de tussentijdse uitgangen die door elke verwerkingsfase worden geproduceerd en dienen als visuele controlepunten. Deze tussentijdse output maken stapsgewijze verificatie mogelijk van ROI-lokalisatie, kwaliteit van hoekextractie, regioverdeling en definitieve annotatiebeslissingen.
       1. ROI cropping output: Sla bijgesneden EBike-afbeeldingen op in roi/cropped_images/. Elke afbeelding bevat een enkele EBike-regio die uit het originele frame is geëxtraheerd.
       2. Harris-hoekvisualisatie: Sla hoekoverlays op in harris/corner_visualization/. Voor geldige wielgebieden is een dichte verzameling hoekpunten waarneembaar langs de cirkelvormige randstructuur. Gebieden met onvoldoende hoekresponsen zijn in dit stadium herkenbaar.
       3. Resultaten van regioverdeling: visualiseer onafhankelijk gescheiden gebieden (wiel, voor, achterkant). Behoud alleen gebieden die voldoen aan vooraf gedefinieerde validiteitscriteria (bijvoorbeeld voldoende hoekdichtheid en geometrische consistentie).
       4. Definitieve annotatie-uitvoer: Sla geaccepteerde regio's op in chunk_annotation/final_annotations/ als gestructureerde annotatiebestanden. Sluit regio's uit die geen validiteitsoordeel hebben en verspreid ze niet naar volgende stadia.
          OPMERKING: Alle drempels die worden gebruikt voor hoekdetectie en het oordeel over de geldigheid van regio's zijn gecentraliseerd in configuratiebestanden. De pijplijn werkt op single-frame inputs zonder temporele afhankelijkheid, waardoor resultaten onafhankelijk voor elk beeld kunnen worden gereproduceerd. Gegeven identieke invoerafbeeldingen, configuratiebestanden en uitvoervolgorde, blijven de gegenereerde tussentijdse uitvoer en uiteindelijke annotaties deterministisch.
15. Finalisatiestappen en vrijgave van datasets
    OPMERKING: Om ervoor te zorgen dat het protocol eindigt met een duidelijk en reproduceerbaar eindpunt, wordt een finalisatiefase gedefinieerd om annotatie-opslaan, kwaliteitsvalidatie, datasetverpakking en versiedocumentatie te consolideren.
    1. Laatste annotaties opslaan: Na het oordeel over regiogeldigheid bewaar je alle geaccepteerde annotaties in chunk_annotation/final_annotations/ met het YOLO-tekstformaat, met één annotatiebestand dat bij elke afbeelding hoort. Behou alleen gebieden die voldoen aan de vooraf gedefinieerde geometrische en feature-gebaseerde criteria in de definitieve annotatieset en sluit afgewezen of onbetrouwbare gebieden uit van verder gebruik.
    2. Annotatiekwaliteitsvalidatie: Valideer de kwaliteit van de uiteindelijke annotatie door dezelfde validiteitscriteria opnieuw toe te passen die tijdens regio-evaluatie worden gebruikt, waaronder symmetrie, contourcontinuïteit en structurele connectiviteitsmetrics. Verwijder annotaties die niet aan deze criteria voldoen tijdens deze verificatiefase, zodat consistentie tussen het genereren van annotatie en kwaliteitscontrole wordt gewaarborgd.
    3. Datasetverpakking: Na validatie organiseer je afbeeldingen en annotaties in vaste trainings-, validatie- en testsplitsingen volgens de gedefinieerde dataset-partition. De mapstructuur en bestandslijsten worden in dit stadium bevroren en de verpakte dataset wordt voorbereid voor training en evaluatie zonder verdere wijzigingen.
    4. Versie- en seeddocumentatie: Configuratiebestanden, inclusief hoekdetectieparameters en regio-validiteitsdrempels, worden samen met de verpakte dataset bewaard. Gebruik willekeurige seeds voor datasplitsing, fix algoritme-uitvoering en registreer. Documenteer daarnaast de versies van modelgewichten, configuratiebestanden en annotatietools. Gegeven identieke invoergegevens, configuratiebestanden en opgenomen seeds, blijven de uiteindelijke annotaties en datasetsplitsingen deterministisch.

3. Data-augmentatie

OPMERKING: Een eerdere studie heeft aangetoond dat trainingsdatasets zonder voldoende preprocessing en data-augmentatie vaak leiden tot verslechterde modelprestaties²². Om deze uitdagingen aan te pakken, werd de volgende procedure gevolgd.

1. Verlichting
   1. Simuleer verlichtingsvariaties binnen liften om frequente belichtingsveranderingen op te vangen door de helderheidsfactor aan te passen binnen het bereik van 0,6–1,4, met een kans van 0,8.
   2. Pas aanpassingen van lichtintensiteit toe om over te gaan van heldere naar schemerige omgevingen, waarbij EBike-bewegingsvervaging wordt gesimuleerd. Gebruik een kans van 0,7 voor deze bewerking.
   3. Genereer augmented samples door de lichtomstandigheden aan te passen, zodat stabiel zicht wordt gegarandeerd onder verschillende verlichtingsniveaus.
   4. Pas deze verlichtingsbewerkingen offline toe en sla ze op voor latere verwerking. Stel het willekeurige zaad in op 42 om reproduceerbaarheid van het augmentatieproces te garanderen.
2. Occlusie
   1. Creëer synthetische occlusiescenario's om de omstandigheden in de overvolle lift weer te geven. Pas occlusiemaskers toe (bijv. menselijke silhouetten, objectblokken) met een kans van 0,6.
   2. Pas mozaïekocclusies toe om gedeeltelijke obstructie van EBikes bij het in- en uitgaan van de lift na te bootsen. Gebruik occlusiepercentages van 30%, 50% of 70% en zorg ervoor dat de occlusie willekeurig wordt toegepast in elk kwadrant (boven, onder, links, rechts) van de afbeelding.
   3. Verwerk occluded samples om de detectiebestendigheid en stabiliteit bij gedeeltelijk zicht te verbeteren, zodat ten minste één belangrijk onderdeel (bijv. wiel, voorkant, achterkant) zichtbaar blijft.
   4. Voer een occlusie-augmentatie offline uit en valideer de monsters om te garanderen dat essentiële EBike-functies behouden blijven. Stel de willekeurige seed in op 42 voor reproduceerbaarheid.
3. Standpunten
   1. Pas kijkhoeken aan binnen een vooraf gedefinieerd bereik van ±15° om diverse camerahoeken in verschillende liftomgevingen te simuleren. Deze bewerking moet worden toegepast met een kans van 0,7.
   2. Pas perspectieftransformaties toe met vervormingscoëfficiënten tussen 0,0 en 0,2 om verschillende cameraposities te repliceren (bijvoorbeeld verhoogde, zijwaartse en schuine standpunten).
   3. Schaal en verschuif het EBike-gebied 0,8–1,2 keer om veranderingen in de afstand van de camera tot het doel te simuleren. Pas deze transformatie toe met een kans van 0,8.
   4. Bevestig dat alle gezichtspunttransformaties de geometrische integriteit van de EBike behouden en dat geen kritieke kenmerken vervormd zijn.
   5. Voer offline gezichtspunttransformaties uit en sla de aangevulde afbeeldingen op. Stel de willekeurige seed in op 42 voor reproduceerbaarheid.
4. Verbetering
   1. Pas grijsschalen toe op 30% van de beelden met een kans van 0,3 om luminantie-gedreven variaties te introduceren en de modelrobuustheid onder weinig licht te verbeteren.
   2. Gebruik histogramequalizing op 20% van de monsters om het contrast en de zichtbaarheid van de belangrijkste kenmerken van de EBike te verbeteren onder uitdagende lichtomstandigheden.
   3. Combineer licht-, occlusie- en perspectiefaugmentatiestrategieën achtereenvolgens om steekproeven met hoge diversiteit te genereren. Gebruik kansen van 0,9 voor dit meerstapsproces.
   4. Bekijk de uitgebreide monsters om te waarborgen dat ze de structurele integriteit van EBike behouden voordat ze worden geïntegreerd in de uiteindelijke dataset.
   5. Voer verbeteringsoperaties offline uit en sla de afbeeldingen op voor volgend trainingsgebruik. Stel de willekeurige seed in op 42 om de reproduceerbaarheid van het hele augmentatieproces te garanderen.

4. Experimentele omgeving

1. Configureer de experimentele omgeving om rekenefficiëntie en stabiliteit tijdens modeltraining en testen te waarborgen.
2. Gebruik een moderne multi-core processor, een speciale GPU voor deep-learning versnelling, voldoende geheugen en een stabiel opslagsysteem om grootschalige EBike beeldgegevensverwerking te ondersteunen.
3. Stem de softwareomgeving af op de hardwareconfiguratie door compatibele versies van het deep-learning framework, GPU-drivers en versnellingsbibliotheken te installeren om de trainingssnelheid en inferentieprestaties te optimaliseren.
4. Raadpleeg Tabel 5, Tabel 6, Tabel 7 en Tabel 8 voor gedetailleerde hardwarespecificaties, softwareomgeving, modelafhankelijkheden en instellingen voor beeldapparatuur om reproduceerbaarheid te waarborgen.
5. Computationele overhead en runtime-analyse
   1. Analyseer de rekenkundige overhead die gepaard gaat met de chunked annotatiestrategie in termen van annotatiecomplexiteit en runtime-efficiëntie. In vergelijking met holistische annotatie vertegenwoordigt gesegmenteerde annotatie een EBike met deelniveaugebieden, waaronder het wieloppervlak, het voor- en achtergebied. Annoteer deze gebieden alleen wanneer ze zichtbaar zijn en voldoen aan de vooraf gedefinieerde geometrische en feature-gebaseerde validiteitscriteria, in plaats van dat ze voor elke instantie worden gehandhaafd.
      OPMERKING: Vanuit het perspectief van de annotatie blijft de toename van het aantal labels beperkt en structureel beperkt. Een EBike-instantie levert hooguit drie annotaties op deelniveau, terwijl minder regio's worden geannoteerd in gevallen van gedeeltelijke occlusie (bijvoorbeeld wanneer alleen het voorste gebied zichtbaar is). Als gevolg hiervan varieert het aantal labels per afbeelding afhankelijk van de zichtbaarheid van de scène en de occlusieomstandigheden, en neemt het gemiddelde aantal labels matig toe, zoals samengevat in Tabel 9. Dit ontwerp balanceert lokale feature-representatie met annotatiecomplexiteit. Vanuit het perspectief van inferentie introduceert chunked annotatie geen evenredige toename van de naverwerkingskosten. Hoewel detectie op deelniveau extra kandidaat-bounding boxes kan genereren, worden de detecties op EBike-objectniveau geaggregeerd voor de definitieve evaluatie, en wordt betrouwbaarheidsgebaseerde filtering toegepast vóór de nabewerking. Deze voorwaardelijke, zichtbaarheidsgedreven annotatiestrategie beperkt onnodige detectiekandidaten. Voor modellen zoals YOLOv10, die de afhankelijkheid van traditionele niet-maximale onderdrukking verminderen, blijft de extra overhead die door chunking ontstaat in de praktijk beperkt.
   2. Evalueer runtimeprestaties bij een typische liftbewakingsresolutie van 640 x 480 pixels met een NVIDIA RTX 3090 GPU. Zoals getoond in Tabel 9, behoudt chunked annotatie realtime inferentiemogelijkheden, met slechts een kleine vermindering van frames per seconde vergeleken met holistische annotatie. Deze resultaten geven aan dat de strategie van gesegmenteerde annotatie geschikt blijft voor realtime EBike-monitoring in liftomgevingen.

5. Evaluatiemetrics

OPMERKING: Hoewel chunked annotaties worden gebruikt tijdens training en inferentie, wordt evaluatie uitgevoerd op het niveau van het e-bike object. Detecties op onderdeelniveau worden samengevoegd tot één e-bike beslissing volgens de regels gedefinieerd in Sectie 2.4,3.

1. Pas standaard evaluatiemetrics toe die vaak worden gebruikt in doeldetectieonderzoek²⁷ om algoritmeprestaties in EBike occlusiedetectiescenario's volledig te beoordelen.
2. Detectieprecisie (P)
   1. Gebruik Vergelijking (8) om detectieprecisie te berekenen, die het aandeel correct geïdentificeerde EBikes meet onder alle voorspelde positieve monsters.
      (18)
      waarbij TP ware positieven aanduidt en FP valse positieven.
   2. Stel de IoU-drempel in op 0,5 om te bepalen of de voorspelde bounding boxes overeenkomen met de ground-truth boxen.
   3. Gebruik precisie om het vermogen van het model te beoordelen om onnodige alarmen veroorzaakt door verkeerde identificatie van niet-EBike-objecten te verminderen.
   4. Commando(s) om deze metriek te genereren: Gebruik het relevante evaluatiescript (bijv. evaluate_precision.py). Bewaar de resultaten in precision_results.txt voor verdere analyse.
3. Terugroeppercentage (R)
   1. Gebruik Vergelijking (9) om te bepalen hoe effectief het model EBikes identificeert in liftomgevingen, vooral wanneer occlusie het zicht beïnvloedt.
      (19)
      waarbij FN vals-negatieven vertegenwoordigt.
   2. Stel de IoU-drempel in op 0,5 om de nauwkeurigheid van detecties te beoordelen. Gebruik recall om het vermogen van het model te evalueren om gemiste detecties te minimaliseren, zodat EBikes nauwkeurig blijven geïdentificeerd, zelfs wanneer ze gedeeltelijk geblokkeerd zijn.
   3. Gebruik commando(s) om deze metriek te genereren: voer evaluate_recall.py uit. Resultaten opslaan in recall_results.txt.
      OPMERKING: Gemiste detecties zijn cruciaal in drukke liftsituaties en moeten worden geminimaliseerd voor de veiligheid. Gemiste detecties vormen veiligheidsrisico's in drukke liftsituaties en moeten worden geminimaliseerd.
4. F1-score
   1. Bereken de F1-score met behulp van Vergelijking (10) om een gebalanceerde weergave te verkrijgen van de precisie en recall-prestaties van het model.
      (20)
   2. Gebruik de F1-score om een holistische beoordeling te geven, vooral in situaties waarin precisie en terugroep onder verschillende occlusieniveaus afwegingen vertonen.
   3. Gebruik Commando(s) om deze metriek te genereren: Voer evaluate_f1.py uit om de F1-score te berekenen. Save-resultaten in f1_score_results.txt.
5. Gemiddelde gemiddelde precisie (mAP)
   1. Gebruik Vergelijking (11) om het algehele detectievermogen van het model te meten over verschillende EBike-uiterlijken, occlusiecondities en lichtvariaties.
      (21)
      Waar AP_c de gemiddelde precisie van categorie c aanduidt en C het aantal categorieën is.
   2. Stel de IoU-drempel in op 0,5 om de prestaties van het model over verschillende categorieën te evalueren.
   3. Gebruik mAP@0.5 om te bepalen hoe goed het model zich aanpast aan diverse visuele omstandigheden in liftomgevingen, zodat de detectieprestaties volledig kunnen worden geëvalueerd.
   4. Gebruik de volgende commando(s) om deze metriek te genereren: voer evaluate_map.py uit met de opgegeven parameters. Resultaten opslaan in map_results.txt.

Results

Vergelijking van holistische annotatie en gehulde annotatie op openbare dataset

De evaluatie werd uitgevoerd op een openbare dataset bestaande uit 210 EBike-beelden verzameld van open bewakings- en verkeersmonitoringslocaties, met uiteenlopende lichtomstandigheden, EBike-kleuren en wisselende graden van occlusie. Elke afbeelding werd geannoteerd met zowel de holistische methode (single bounding box) als de voorgestelde gesegmenteerde methode (...

Discussion

Kritieke stappen

Een cruciale stap in dit protocol is de chunked annotatiemethode gebaseerd op lokale kenmerken, waarbij EBikes zijn opgedeeld in wiel-, voor- en achtergebieden. Deze verdeling zorgt ervoor dat detectiemodellen fijnmazige representaties kunnen leren, wat essentieel bleek in occlusie-intensieve liftomgevingen. Zo verbeterde YOLOv5, getraind met gesegmenteerde annotaties op de EBike-DET-dataset, zijn mAP@0.5 van 0,925 naar 0,966...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	HDF Group	2.10.0
matplotlib (SSD)	Matplotlib Community	3.1.2
matplotlib (YOLOv10)	Matplotlib Community	3.9.0
matplotlib (YOLOv5)	Matplotlib Community	3.8.4
matplotlib (YOLOv5+SAHI)	Matplotlib Community	3.8.4
matplotlib (YOLOv8-Seg)	Matplotlib Community	3.9.0
numpy (SSD)	NumPy Community	1.17.0
numpy (YOLOv10)	NumPy Community	1.26.3
numpy (YOLOv5)	NumPy Community	1.26.4
numpy (YOLOv5+SAHI)	NumPy Community	1.26.4
numpy (YOLOv8-Seg)	NumPy Community	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	Microsoft	1.15.1
onnxruntime (YOLOv5)	Microsoft	1.15.1
onnxruntime (YOLOv5+SAHI)	Microsoft	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
pandas (YOLOv10)	Pandas Community	2.2.2
pandas (YOLOv5)	Pandas Community	2.2.2
pandas (YOLOv5+SAHI)	Pandas Community	2.2.2
pandas (YOLOv8-Seg)	Pandas Community	2.2.2
Pillow (SSD)	Pillow Developers	8.2.0
Pillow (YOLOv10)	Pillow Developers	10.2.0
Pillow (YOLOv5)	Pillow Developers	8.5.0
Pillow (YOLOv5+SAHI)	Pillow Developers	8.5.0
Pillow (YOLOv8-Seg)	Pillow Developers	10.2.0
psutil (YOLOv10)	Psutil Developers	5.9.8
psutil (YOLOv5)	Psutil Developers	5.9.8
psutil (YOLOv5+SAHI)	Psutil Developers	5.9.8
pycocotools (YOLOv10)	COCO Consortium	2.0.7
pycocotools (YOLOv5)	COCO Consortium	2.0.7
pycocotools (YOLOv5+SAHI)	COCO Consortium	2.0.7
pycocotools (YOLOv8-Seg)	COCO Consortium	2.0.7
py-cpuinfo (YOLOv10)	Py-CPUInfo Developers	9.0.0
py-cpuinfo (YOLOv5)	Py-CPUInfo Developers	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Py-CPUInfo Developers	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
requests (SSD)	Python Requests	2.27.1
requests (YOLOv10)	Python Requests	2.32.3
requests (YOLOv5)	Python Requests	2.31.0
requests (YOLOv5+SAHI)	Python Requests	2.31.0
SAHI	SAHI Developers	0.3.4+
scipy (SSD)	SciPy Community	1.2.1
scipy (YOLOv10)	SciPy Community	1.13.0
scipy (YOLOv5)	SciPy Community	1.13.0
scipy (YOLOv5+SAHI)	SciPy Community	1.13.0
scipy (YOLOv8-Seg)	SciPy Community	1.13.0
seaborn (YOLOv10)	Seaborn Developers	0.13.2
seaborn (YOLOv5)	Seaborn Developers	0.13.2
seaborn (YOLOv5+SAHI)	Seaborn Developers	0.13.2
seaborn (YOLOv8-Seg)	Seaborn Developers	0.13.2
shapely (YOLOv5+SAHI)	Shapely Developers	2.0.4
SSD	Caffe/Original SSD Authors	Python 3.6.13+; PyTorch 1.2.0+; CUDA 10.0; CUDNN 7.4.1
tensorboard (SSD)	Google	2.10.1
tensorboard (YOLOv5)	Google	2.16.2
tensorboard (YOLOv5+SAHI)	Google	2.16.2
torchvision (SSD)	PyTorch	0.4.0
torchvision (YOLOv10)	PyTorch	0.15.2
torchvision (YOLOv5)	PyTorch	0.17.2
torchvision (YOLOv5+SAHI)	PyTorch	0.17.2
torchvision (YOLOv8-Seg)	PyTorch	0.16.1+
tqdm (SSD)	TQDM Developers	4.60.0
tqdm (YOLOv10)	TQDM Developers	4.66.4
tqdm (YOLOv5)	TQDM Developers	4