Verbesserte Methode zur Annotation von Chunked-Bildern für Elektrofahrräder in komplexen Aufzugsszenarien basierend auf lokalen Merkmalen

Summary

Eine auf lokalen Merkmalen basierende Methode zur Blockbildannotation wird vorgestellt, um die Erkennung von Elektrofahrrädern in komplexen Aufzugsszenarien mithilfe des EBike-DET-Datensatzes und gängiger Objekterkennungsmodelle zu verbessern.

Abstract

Der zunehmende Einsatz von Elektrofahrrädern (EBikes) in beengten Umgebungen wie Wohnaufzügen hat ernsthafte Sicherheitsbedenken aufgeworfen und erhebliche Herausforderungen für die automatisierte Objekterkennung mit sich gebracht, insbesondere aufgrund häufiger Verstopfungen. Traditionelle Detektionsmethoden, die hauptsächlich auf ganzheitlichen Annotationen basieren, erkennen teilweise verdeckte EBikes in visuell komplexen Szenen oft nicht genau. Um diese Einschränkungen zu überwinden, schlägt diese Studie eine neuartige Methode der gebrochenen Annotation auf Basis lokaler Merkmale vor und bietet eine interpretierbarere Annotationsstrategie. Durch die Zerlegung eines EBike in mehrere Schlüsselbereiche zur unabhängigen Markierung ermöglicht die vorgeschlagene Methode den Detektionsmodellen, feinkörnige strukturelle Informationen zu erlernen und so die Robustheit unter okklusionslastigen Bedingungen zu verbessern. Zusätzlich wurde ein spezieller Datensatz, EBike-DET, entwickelt, um Erkennungsaufgaben in realistischen Aufzugsszenarien zu unterstützen. Annotiert mit dem Chunked-Ansatz und ergänzt durch simulierte Umweltbedingungen, verbessert der Datensatz sowohl die Modellleistung als auch die Anpassungsfähigkeit. Die vorgeschlagene Methode fördert die Entwicklung erklärbarer künstlicher Intelligenz (XAI), indem sie die Objekterkennung transparenter und strukturell interpretierbarer macht, was besonders in sicherheitskritischen Anwendungen wertvoll ist. Umfangreiche Experimente werden mit drei Hauptmodellen durchgeführt (YOLOv5, YOLOv10 und SSD). Die Ergebnisse zeigen, dass YOLOv5, wenn es auf EBike-DET mit gebrochenen Annotationen trainiert wird, Verbesserungen von 3,7 % in der Präzision, 5,3 % im Recall, 4,5 % im F1-Score und 4,4 % im mAP erzielt. Im Vergleich zu öffentlichen Datensätzen zeigt EBike-DET eine größere Stabilität und Robustheit unter Okklusion. Diese Studie verbessert nicht nur die Erkennungsgenauigkeit, sondern bietet auch einen Schritt hin zu interpretierbareren und erklärbareren KI-Lösungen für den Einsatz in realen Sicherheitsüberwachungssystemen.

Introduction

Mit der rasanten Verbreitung von Elektrofahrrädern (EBikes) weltweit, insbesondere in China, wo die Gesamtzahl bis 2022 über 350 Millionen Einheiten lag, sind EBikes zu einem dominierenden Mittel für Kurzstreckenverkehr geworden. Ihr häufiger Einsatz in beengten Räumen wie Wohnaufzügen birgt jedoch ernsthafte Sicherheitsrisiken, darunter abnormale Vibrationen, Geräteschäden, unangenehme Gerüche und Brandgefahren. Eine aktuelle Studie schätzt, dass EBike-bedingte Brandvorfälle mit einer Wahrscheinlichkeit von etwa 1,44 ^{% auftreten}. Diese Risiken verdeutlichen den dringenden Bedarf an effizienten und präzisen EBike-Erkennungsmethoden, um die Sicherheit in Aufzugsumgebungen zu erhöhen.

Trotz Fortschritten im Bereich Computer Vision und Deep Learning bleibt die EBike-Erkennung in Aufzügen eine Herausforderung. Öffentlich zugängliche Datensätze sind selten und oft mangelt es an Vielfalt bei EBike-Modellen, Farben und Okklusionsbedingungen, was die Modellverallgemeinerung² einschränkt. Darüber hinaus beinhalten Aufzugsszenarien häufig komplexe Verschlüsse, bei denen EBikes teilweise von Passagieren oder strukturellen Komponenten verdeckt werden, was die Erkennungsgenauigkeit ^3,4,5 weiter reduziert. Bestehende ganzheitliche Annotationsmethoden, die EBikes als eine einzige Begrenzungsbox behandeln, scheitern unter solchen Bedingungen oft und zeigen den Bedarf an verbesserten Annotations- und Detektionsstrategien. Wie in Tabelle 1 gezeigt, führt die ganzheitliche Annotation zu einer deutlich reduzierten Leistung, mit einer bis zu 21,5 % Reduktion der mittleren durchschnittlichen Präzision an einem Intersection über Union (IoU)-Schwelle von 0,5 (mAP@0,5) im Vergleich zur Chunked-Annotation.

Fortschritte in der Deep-Learning-basierten Erkennung

Deep-Learning-Methoden, insbesondere konvolutionelle neuronale Netze (CNNs), wurden bei der Objekterkennung weit verbreitet eingesetzt. Die You Only Look Once (YOLO)-Familie zeigt eine starke Echtzeitleistung. Beim Erkennen von verstopften oder überlappenden Objekten neigen YOLO-Modelle jedoch dazu, redundante Begrenzungsboxen zu erzeugen. So verbessert YOLOv5 beispielsweise die multiskalierte Feature-Extraktion durch Deep Convolution und Feature Pyramid^{Netzwerke 6,7}, während YOLOv10 nicht-maximale Unterdrückung eliminiert und Pfadaggregationsnetzwerke einsetzt, um die Geschwindigkeit und Multi-Scale Fusion ^8,9 zu verbessern. Trotz dieser Verbesserungen bleiben redundante Begrenzungsboxen und abnehmende Robustheit in okklusionslastigen Umgebungen weiterhin ungelöste Probleme. Dennoch leiden beide darunter, wenn wichtige EBike-Strukturen teilweise blockiert werden, weil ganzheitliche Annotation begrenzte lokale Hinweise liefert. Wie in Abbildung 1A-C gezeigt, führt diese Einschränkung zu redundanten Begrenzungsboxen und instabiler Erkennungssicherheit bei moderater oder starker Okklusion. Im Gegensatz dazu mindert die Chunked-Annotation dieses Problem, indem sie es dem Modell ermöglicht, separate Bereiche – wie Räder oder den hinteren Bereich – zu erkennen und so redundante Begrenzungsboxen unter Okklusion zu reduzieren. Abbildung 1D-F zeigt weiter, dass gehackte Annotation die Merkmallokalisierung verbessert und die Erkennungsstabilität aufrechterhält, wenn nur teilweise EBike-Komponenten sichtbar bleiben.

Ähnlich bietet der Single Shot MultiBox Detector (SSD) Modell^10,11, basierend auf dem VGG-16-Backbone, eine effiziente Erkennung über Skalen hinweg und funktioniert gut bei kleinen Objekten¹². Allerdings hat SSDs auch Probleme, wenn die Feature-Kontinuität durch starke Okklusion unterbrochen wird, was zu verpassten Erkennungen oder instabiler Box-Regression führt – selbst wenn Aufmerksamkeitsmechanismen^eingeführt werden. Auch die Chunked-Annotation bietet hier einen Vorteil: Das Modell kann weiterhin auf sichtbare lokale Teile setzen, was die Erkennungsstabilität in mehrskaligen und okkludierten Bedingungen verbessert.

Annotationsstrategien und lokales Merkmalslernen

Die meisten aktuellen Detektionsmethoden verwenden eine ganzheitliche Annotation, die die Annotation vereinfacht, aber hauptsächlich auf globale Merkmale^14,15 setzt. Dieser Ansatz hat Schwierigkeiten, wenn kritische EBike-Bereiche – wie die Räder, der vordere oder der hintere Bereich – teilweise fehlen. Eine aktuelle Studie¹⁶ hat gezeigt, dass lokales Merkmalslernen, das Objekte in mehrere annotierte Teile segmentiert, Robustheit und Präzision in herausfordernden Szenarien verbessern kann. Im Einklang damit zeigen die Ergebnisse in Tabelle 2, dass die Chunked Annotation wirksam bleibt, wenn mindestens 40 % bis 60 % der wichtigsten EBike-Komponenten sichtbar sind, insbesondere bei der Annotation der Räder, des vorderen und den hinteren Bereichs. Im Gegensatz dazu bleiben ganzheitliche Begrenzungsboxen in Szenarien mit geringer Okklusion (z. B. <20 % Okklusion) oder wenn die Bildauflösung ≥1280 x 720 beträgt, wobei die vollständige Silhouette erhalten bleibt, ausreichend. Der Nutzen von Chunking nimmt ab, wenn die Okklusion ≈70 % übersteigt oder wenn Feature-Level-Regionen zu klein werden, um diskriminierende räumliche Informationen bereitzustellen.

Methodische Begründung für die Verwendung der Harris-Eckenerkennung

Die Harris-Eckerkennung wird aufgrund ihres deterministischen Verhaltens, der Recheneffizienz und der trainingsfreien Eigenschaft für lokale Merkmalsextraktion ausgewählt, die für eine zuverlässige Annotation in Aufzugsumgebungen unerlässlich sind. Im Gegensatz zu erlernten Keypoint-Detektoren wie SuperPoint und LoFTR vermeidet es zusätzliches Training und reduziert Domänenverschiebungen bei begrenzten annotierten Daten und starker Okklusion. Im Vergleich zu kantenbasierten Operatoren wie Canny und Sobel betonen Harris-Ecken geometrisch bedeutungsvolle Übergänge statt rauschender Hintergrundkanten, was eine stabile Lokalisierung von EBike-Strukturen ermöglicht, einschließlich Rädern und Rahmenschnitten. Darüber hinaus liefert die Harris-Eckenerkennung interpretierbare Hyperparameter. Die empirische Konstante k steuert die Empfindlichkeit und Stabilität der Ecken. Wie in Abschnitt 2.6.2.4 und Abbildung 2 gezeigt, unterstützt die Anpassung von k ein kontrolliertes Gleichgewicht zwischen Robustheit und Übererkennung, was gut mit der vorgeschlagenen regelbasierten Chunked-Annotationsstrategie übereinstimmt.

Datenaugmentation für Robustheit

Datenaugmentation hat sich als wirksam erwiesen, um die Vielfalt und Anpassungsfähigkeit von Detektionsmodellen zu erhöhen. Gängige Techniken sind geometrische Transformationen (z. B. Rotation, Skalierung, Beschneidung) und Farbanpassungen (z. B. Graustufen, Luminanzänderungen), die reale Bedingungen und Lichtvariationen simulieren 17,18,19. Durch die Integration dieser Strategien werden Erkennungsmodelle widerstandsfähiger gegenüber Variabilität und besser für den Einsatz in der realen Welt geeignet.

Um die oben genannten Einschränkungen zu beheben, schlägt diese Studie eine verbesserte Methode der gebrochenen Annotation auf Basis lokaler Merkmale vor. Die Methode verbessert das Merkmal-Lernen und die Robustheit, indem EBikes in mehrere unabhängige annotierte Teile unterteilt werden, was eine effektivere Detektion unter komplexer Okklusion ermöglicht. Zusätzlich wird ein spezieller Electric Bike Detection (EBike-DET)-Datensatz erstellt, der auf Aufzugsumgebungen zugeschnitten ist, der durch verschiedene Datenerweiterungen bereichert wird, um die Modellanpassungsfähigkeit zu verbessern. Schließlich wird die Methode auf YOLOv5, YOLOv10 und SSD validiert und zeigt konstante Leistungsgewinne von +5,69 % bis +39,81 % mAP, wie in Tabelle 3 zusammengefasst. Die Beiträge lassen sich wie folgt zusammenfassen: eine verbesserte Methode der Chunked-Annotation, die das Merkmalslernen unter Okklusionsbedingungen stärkt, Erstellung eines spezialisierten EBike-DET-Datensatzes für Aufzugsszenarien, Einbindung mehrerer Augmentationstechniken und experimentelle Validierung an gängigen Detektionsmodellen, die eine höhere Präzision und Robustheit im Vergleich zur ganzheitlichen Annotation zeigen.

Protocol

Der in dieser Studie verwendete EBike-DET-Datensatz besteht aus Bildern, die von den Autoren durch Aufnahmen vor Ort in Aufzügen, Parkplätzen und Straßenumgebungen gesammelt wurden, sowie öffentlich zugänglichen EBike-Bildern, die von webbasierten Plattformen bezogen wurden. Die gesamte Bildsammlung vor Ort erfolgte ausschließlich in nicht-privaten Umgebungen zur sicherheitsrelevanten technischen Forschung zur EBike-Erkennung. Bilder zielen nicht absichtlich auf Einzelpersonen ab, und alle zufällig aufgenommenen Personen sind aufgrund von Entfernung, Verdeckung, Rückansichten oder geeigneter Verarbeitung, die Gesichtszüge und andere persönliche Kennzeichen entfernt, nicht identifizierbar. Webbezogene Bilder wurden ausschließlich von Plattformen bezogen, die eine Wiederverwendung für akademische Forschung oder von unter offenen Lizenzen veröffentlichten Ressourcen erlauben. Alle Bilder werden ausschließlich für nicht-kommerzielle Forschungs- und Bildungszwecke verwendet. Da keine identifizierbaren personenbezogenen Daten erhoben wurden und keine direkte Interaktion mit menschlichen Probanden stattfand, benötigte diese Studie keine Genehmigung eines institutionellen Ethikkomitees gemäß den institutionellen Richtlinien des Autors.

1. Datensatzkonstruktion

1. Bildauflösung, Farbraum und Dateiformate
   1. Stellen Sie die native Auflösung der Bilder auf 1280 x 720 Pixel ein, um hochwertige Details von EBikes in verschiedenen Szenen festzuhalten.
   2. Nach der Standardisierung werden die Bilder auf 640 x 480 Pixel verkleinert, um Recheneffizienz und Funktionsbindung auszubalancieren.
   3. Stellen Sie den Farbraum auf RGB ein, um vollständige Farbinformationen zu erhalten und so eine genaue Merkmalserkennung unter verschiedenen Lichtverhältnissen sicherzustellen.
   4. Speichere die Bilder im JPEG-Format, um den Speicher zu optimieren, ohne die Bildqualität wesentlich zu beeinträchtigen.
2. Definition und Aufteilung der Trainings-, Validierungs- und Testdatensätze
   1. Teilen Sie den Datensatz in Trainings-, Validierungs- und Testsets mit einem Verhältnis von 7:2:1 auf, um sicherzustellen, dass der Datensatz für Modelltraining, Hyperparameter-Tuning und Leistungsbewertung angemessen aufgeteilt wird.
   2. Setze den Zufallsseed auf 42, um die Reproduzierbarkeit der Daten auf verschiedene Experimente zu gewährleisten.
   3. Wenden Sie stratifizierte Stichproben an, um eine konsistente Verteilung der EBike-Modelle und Okklusionsniveaus in jedem Datensatz aufrechtzuerhalten, sodass kein Klassenungleichgewicht zwischen den Sets besteht.
   4. Stellen Sie sicher, dass zwischen Training, Validierung und Testsätzen kein Leck erscheint, indem Sie darauf achten, dass kein EBike-Bild in mehr als einem Set erscheint.
3. Erstellung öffentlicher Datensätze
   1. Wählen Sie den öffentlich verfügbaren EBike-Detektionsdatensatz von der Open-Source-Plattform 20,21,22,23 aus, der 210 Bilder von EBikes sowohl in Panorama- als auch teilweise verdeckten Szenen enthält.
   2. Erkennen Sie die Einschränkungen des öffentlichen Datensatzes, einschließlich eines einzelnen Kamerawinkels, niedriger Auflösung und einfacher Hintergrundszenen, die insbesondere in komplexen Okklusionsszenarien die Verallgemeinerungsfähigkeit des Modells einschränken können.
4. EBike-DET-Datensatzkonstruktion
   1. Erstellen Sie den EBike-DET-Datensatz, um die Szenenabdeckung und die Vielfalt der Stichproben zu verbessern, bestehend aus 1.680 hochwertigen Bildern von webbasierten Plattformen und Fotografie vor Ort.
   2. Stellen Sie sicher, dass vielfältige Umgebungen wie Aufzüge, Parkplätze und Straßen enthalten sind, die verschiedene Bedingungen einfangen, in denen sich EBikes befinden könnten.
   3. Integrieren Sie verschiedene Kamerawinkel (Front-, Seiten- und Top-Ansichten), um das gesamte Spektrum der EBike-Erscheinungen einzufangen und so ein robustes Training für Erkennungsmodelle sicherzustellen.
   4. Bereichern Sie den Datensatz, indem Sie mehrere EBike-Marken und -Modelle mit Farb-, Größen- und Zubehörvariationen einbeziehen, um die Stichprobenvielfalt zu erhöhen.
   5. Stellen Sie sicher, dass Occlusionsszenarien enthalten sind, bei denen EBikes teilweise von Fußgängern und Fahrzeugen verdeckt werden und reale Bedingungen in engen Räumen wie Aufzügen simulieren.
   6. Bestätigen Sie, dass der EBike-DET-Datensatz vielfältige und komplexe Proben enthält, was ihn zu einem zuverlässigen Datensatz für die Zielerkennung unter komplexen Okklusionsbedingungen macht.
5. Ein- und Ausschlussregeln für Web- und Onsite-Bilder
   1. Webbilder: Beziehen Sie nur diejenigen auf, die öffentlich zugänglich sind, in unterschiedlichen Umgebungen mit hoher Auflösung und unterschiedlichen Lichtbedingungen aufgenommen wurden. Schließen Sie Bilder mit niedriger Auflösung oder einfachen Hintergründen aus.
   2. Bilder vor Ort: Enthalten Aufnahmen aus realen Umgebungen, insbesondere an Orten wie Aufzügen, Parkplätzen oder Straßen. Stellen Sie sicher, dass die Bilder realistische EBike-Szenarien mit Unterschieden in Okklusion, Hintergrundkomplexität und Wetterbedingungen darstellen. Schließen Sie Bilder mit übermäßigem Rauschen, Verzerrung oder unrealistischen Einstellungen aus.
   3. Stellen Sie sicher, dass sowohl Web- als auch Onsite-Bilder denselben Auflösungs- und Farbraumstandards folgen, um die Konsistenz im gesamten Datensatz zu gewährleisten.
6. Datenaugmentationskonstruktion
   1. Wenden Sie grundlegende Augmentationsoperationen wie Grauskalierung und Rotation an, um die Sample-Diversität zu erhöhen und verschiedene Lichtverhältnisse und Kameraausrichtungen zu simulieren.
   2. Unterteilen Sie das EBike-Ziel in mehrere unabhängige lokale Regionen, einschließlich Radbereich, Vorder- und Heckbereich, um das lokale Merkmalslernen zu verbessern.
   3. Annotieren Sie jede Region unabhängig, um die Erkennungsgenauigkeit unter Okklusion zu verbessern und eine robuste Modellleistung über verschiedene EBike-Teile hinweg zu gewährleisten.
   4. Überprüfen Sie, dass alle augmentierten Bilder und gebrochenen Annotationen strukturelle Konsistenz mit EBike-Funktionen aufrechterhalten, um ungleiche oder ungültige Trainingsdaten zu vermeiden.

2. Lokal-Feature-Chunked-Annotation

HINWEIS: Um die Erkennungsgenauigkeit von EBikes in komplexen Okklusionsszenarien zu verbessern, wird eine Chunked-Annotationsmethode auf Basis verbesserter lokaler Merkmale vorgeschlagen. Diese Methode segmentiert die EBike-Region, indem sie ihre lokalen Merkmalspunkte extrahiert und bestimmt, ob eine Region annotiert werden soll, basierend auf dem Grad der Okklusion in der entsprechenden Merkmalsregion. Der detaillierte experimentelle Prozess ist in Abbildung 3 dargestellt.

1. Verwendung der zuvor erstellten Trainings-, Validierungs- und Testdatensätze.
2. Manuelle Annotation: Verwenden Sie das LabelImg-Tool in der Python-Umgebung für manuelle Annotation. Beschriften Sie alle Bilder ausschließlich als EBikes, um minimale Interferenz durch negative Proben^24,25 zu gewährleisten.
3. Datenverarbeitung und -augmentation
   1. Wenden Sie die von Yongjiang et ^al.22 vorgeschlagene Methode an, um die Bilder zu entlarven und zu standardisieren, um eine einheitliche Größe im gesamten Datensatz sicherzustellen.
   2. Führen Sie Datenerweiterungsoperationen durch (z. B. Rotation, Helligkeitsanpassung, Grauskalierung), um die Stichprobenvielfalt zu erhöhen. Stellen Sie sicher, dass alle augmentierten Bilder die Bildqualität erhalten und die Robustheit des Modells gegenüber verschiedenen Hintergründen erhöhen.
4. EBike-Flächenanbau
   1. Um die Reproduzierbarkeit der ROI-Lokalisierung sicherzustellen, wenden Sie die Inferenzparameter aus Tabelle 4 für YOLOv10 an (mit der yolov10x.pt vortrainierten Gewichtsdatei). Die Ausgangsbegrenzungsbox-Koordinaten sind wie folgt:
      ROI = [x₁, y₁, x₂, y₂] (1)
      Gleichung (1) definiert die ROI-26-Begrenzungsbox-Koordinaten [x₁, y₁, x₂, y₂] , wobei: x₁, y₁ = Koordinaten in der linken oberen Ecke der EBike-ROI; x₂, y₂ =Koordinaten der unteren rechten Ecke des EBike ROI. Diese Koordinaten werden aus der Rohausgabe von YOLOv10 abgeleitet, die Begrenzungsboxen im Format [c_x, c_y, w, h] für jedes erkannte Objekt vorhersagt. Die Umrechnungsformeln sind:
      (2)
      (3)
      (4)
      (5)
      Wobei c_x , c_y normalisierte horizontale/vertikale Mittelkoordinaten der vorhergesagten Begrenzungsbox sind (skaliert auf die Eingabebildgröße von 640 x 480).  w, h ist die normalisierte Breite/Höhe der vorhergesagten Begrenzungsbox (skaliert auf die Eingabebildgröße).
   2. Filtere die Ausgabe des YOLOv10 nach der Konfidenzschwelle (0,5), um nur EBike-bezogene Erkennungen (Klassen-ID entspricht Elektrofahrrad) zu behalten, und verarbeite dann mit NMS (IoU=0,45), um redundante Boxen zu entfernen. Konvertiere das verbleibende Begrenzungsfeld in [x₁, y₁, x₂, y₂] für den ROI-Zuschnitt.
   3. Umgang mit mehreren Detektionen
      HINWEIS: In Aufzugsszenarien (dem Kernziel des EBike-DET-Datensatzes) sind EBikes typischerweise Einzelinstanzen (aufgrund von Platzbeschränkungen). Für Fälle mit mehreren EBike-Erkennungen (z. B. überfüllte Aufzüge mit zwei EBikes) gelten folgende Regeln.
      1. Höchste Konfidenzpriorität: Wählen Sie die Begrenzungsbox mit dem maximalen Konfidenzwert (die Ausgabekonfidenz von YOLOv10 spiegelt die Gewissheit des Modells wider, dass das Objekt ein EBike ist).
      2. Räumliche Validitätsprüfung: Wenn mehrere Erkennungen Konfidenzwerte >0,7 haben, überprüfen Sie die räumliche Überlappung mit den strukturellen Grenzen des Aufzugs (z. B. vermeiden Sie Begrenzungsboxen, die über die Aufzugswände hinausgehen). Behalten Sie die Detektion, deren Mittelpunkt c_x, c_y dem Bildzentrum am nächsten liegt (Aufzüge werden typischerweise von frontgerichteten Kameras überwacht, wobei die Ziele zentriert sind).
      3. Randfallbehandlung: Wenn keine gültigen Erkennungen die Konfidenzgrenze erfüllen (z. B. schwere Okklusion), markieren Sie das Bild zur manuellen ROI-Korrektur (was <3 % des EBike-DET-Datensatzes ausmacht).
5. Graustufenumwandlung und -normalisierung
   1. Führen Sie eine Graustufen-Umwandlung auf dem zugeschnittenen RGB-Bild aus dem ROI durch. Verwenden Sie zur Umrechnung die gewichtete Durchschnittsmethode nach folgender Formel:
      I_gra = 0,299 × R + 0,587 × G + 0,114 × B (6)
      wobei R, G und B die Pixelwerte in den roten, grünen und blauen Kanälen darstellen. Diese Methode entspricht der menschlichen Wahrnehmung von Helligkeit über verschiedene Farben hinweg.
   2. Normalisieren Sie die Pixelwerte des Graustufenbildes auf den Bereich [0, 1] durch lineare Skalierung von [0, 255]. Diese Normalisierung verbessert die Stabilität numerischer Berechnungen und stellt sicher, dass nachfolgende Gradientenberechnungen und Schwellenwerte unter wechselnden Lichtverhältnissen konsistent funktionieren.
6. Harris-Kurvenerkennung
   1. Wenden Sie Harris-Eckerkennung auf die Graustufen an und normalisieren Sie die EBike-Region, um lokale Merkmalspunkte zu extrahieren.
      HINWEIS: Das Kernprinzip der Harris-Eckerkennung besteht darin, die Autokorrelationsmatrix zu berechnen, um die Ecken im Bild genau zu lokalisieren, wie in Abbildung 4B sichtbar. Diese erkannten Kurven sind typischerweise mit wichtigen EBike-Komponenten wie Rädern, Vorder- und Heckbereich verbunden, die oft klare Kurvenmerkmale aufweisen.
   2. Berechnen Sie den Bildgradienten, um Bereiche mit signifikanten Intensitätsänderungen wie unten beschrieben zu identifizieren.
      1. Bildglättung: Wenden Sie Gaußsche Filterung auf das Graustufenbild an, um Rauschen zu unterdrücken, wodurch das geglättete Bild wie folgt erhalten wird:
         I_s = G_σ*I (7)
         wobei * die Faltungsoperation darstellt und G_σ ein 2D-Gaußscher Kern mit einer Standardabweichung von σ ist, der das Glättungsniveau steuert. Ein typischer Wert für ist 1,0.
      2. Bildgradienten berechnen: Verwenden Sie einen Gradientenoperator (wie den Sobel-Operator), um die horizontalen (x) und vertikalen (y) Gradienten des geglätteten Bildes zu berechnen:
         I_x = K_{x *} I_s ,I_y=K_{y *} I_y (8)
         wobei I_x und I_y die Gradientenabbildungen in der x- bzw. y-Richtung sind, und Gx und Gy die Faltungskerne für den Sobel-Operator sind:
         , (9)
      3. Konstruiere die Autokorrelationsmatrix M basierend auf den zuvor berechneten Gradienten und benutze ein 3 x 3 lokales Fenster W, das an jedem Pixel zentriert ist (x,y):
         (10)
         In der Formel bezeichnet W ein lokales Fenster an Position (x,y), und die Operation ∑W stellt die Summe aller Bildelemente innerhalb dieses Fensters dar; A = ∑W I_x² stellt die Summe der quadratischen Gradienten im W-Fenster in x-Richtung dar und spiegelt die Intensität der Änderungen in x-Richtung wider; B=∑W I_y² stellt die Summe der quadratischen Gradienten im W-Fenster in y-Richtung dar und spiegelt die Intensität der Änderungen in y-Richtung wider; C = ∑W I_{x I ystellt die} Summe des Produkts der Gradienten in der x- und y-Richtung innerhalb des W-Fensters dar und beschreibt die Korrelation der Änderungen zwischen diesen beiden Richtungen.
      4. Berechnen Sie die Summe der quadratischen Gradienten in der x- und y-Richtung, um die Intensität der Veränderungen in jede Richtung widerzuspiegeln. Der Kreuzterm zwischen den Gradienten I_{x I y erfasst} die Korrelation zwischen den x- und y-Richtungen.
      5. Eckantwortfunktion: Berechnen Sie die Eckantwortfunktion R basierend auf der Determinante und Spur der Autokorrelationsmatrix, um Eckpunkte im Bild zu erkennen. Berechnen Sie den Antwortwert für jeden Pixel und wählen Sie Punkte mit höheren Antwortwerten als letzte Ecken aus, wie in Abbildung 2 gezeigt. Die Eckantwortfunktion ist gegeben durch:
         det(M) = A ⋅ B - C² (11)
         Spur(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M)) ² (13)
         wobei det(M) die Determinante des M ist, die die Gesamtänderung im lokalen Merkmalsbereich widerspiegelt, und Spur(M) die Spur der Matrix ist, die die Gesamtgradientenintensität in diesem Bereich widerspiegelt. Die empirische Konstante k ist typischerweise zwischen 0,04 und 0,06 gesetzt.
         HINWEIS: Basierend auf Experimenten wurde festgestellt, dass die Wahl von k die Ergebnisse signifikant beeinflusst:
         Wenn k=0,04 ist, sind die Antwortwerte zu hoch, was zu einer Überfülle fälschlicherweise erkannter Eckpunkte führt.
         Wenn k = 0,05 ist, sind die Antwortwerte ausgeglichener und erkennen die wahren Ecken genau.
         Wenn k=0,06 ist, sind die Antwortwerte zu niedrig, was es schwierig macht, Eckpunkte zuverlässig zu erkennen.
   3. Führen Sie grobkörnige Teilung der lokalen Bereiche des EBike mit den Harris-Eckpunkt-Erkennungsergebnissen durch. Unterteilen Sie das EBike in Regionen basierend auf geometrischer Struktur und Eckpunktverteilung, wie in Abbildung 4C dargestellt, um die Robustheit und Detektionsleistung des Modells in komplexen Okklusionsszenarien zu verbessern.
   4. Radfläche: Betrachte den Bereich als gültig, wenn er mindestens 15 Eckpunkte enthält, die symmetrisch entlang einer kreisförmigen Form verteilt sind, mit einem Symmetriewert von mindestens 0,85. Der Symmetriewert ist in Gleichung 11 dargestellt. Das Breite-Höhe-Verhältnis des Radbereichs sollte etwa 1:1 betragen, um sicherzustellen, dass die geometrischen Eigenschaften des Rades genau widergespiegelt werden.
   5. Vorderfläche: Beziehen Sie den Bereich ein, wenn er mindestens 10 Eckpunkte mit einem Symmetriewert von mindestens 0,80 enthält und das Breite-Höhen-Verhältnis zwischen 1,2:1 und 1,5:1 liegt, sodass der Vorderbereich den erwarteten strukturellen Merkmalen entspricht.
   6. Rückenbereich: Beziehen Sie den Bereich ein, wenn er mindestens 12 Eckpunkte mit einem Symmetriewert von mindestens 0,75 enthält und das Breite-Höhen-Verhältnis zwischen 1,5:1 und 2:1 liegt, sodass der hintere Bereich den erwarteten geometrischen Eigenschaften entspricht.
7. Darstellung kritischer EBike-Bereiche mit Begrenzungsboxen
   1. Um Eckpunkte in rechteckige Begrenzungsboxen umzuwandeln, verwenden Sie den DBSCAN-Clustering-Algorithmus. Diese Methode gruppiert benachbarte Eckpunkte zu Clustern, wodurch sichergestellt wird, dass Eckpunkte, die eine Region bilden, zusammengefasst werden. Setzen Sie den maximalen Abstand zwischen den Punkten innerhalb eines Clusters auf 30 Pixel.
   2. Für jeden Cluster von Eckpunkten bestimmen Sie die Minimal- und Maximalkoordinaten x- und y. Diese Koordinaten stellen die Kanten der Begrenzungsbox dar.
   3. Füge einen Rand von 10 Pixeln um das Begrenzungsfeld hinzu, um sicherzustellen, dass alle relevanten Merkmale enthalten sind. Diese Marge kompensiert potenzielle Fehlausrichtungen oder Pixelungenauigkeiten bei der Erkennung von Eckpunkten.
   4. Runden Sie die Begrenzungsbox-Koordinaten auf die nächstgelegene ganze Zahl, um eine korrekte Pixelausrichtung für die Bildverarbeitung sicherzustellen.
   5. Darstellen Sie die endgültigen Begrenzungsbox-Koordinaten für die i-te Komponente (z. B. Rad, vorderer Bereich, hinterer Bereich) wie unten beschrieben.
      1. Kombinieren Sie die definierten Bereiche (Radfläche, Vorder- und Heckbereich) und stellen Sie alle kritischen Bereiche des EBike mit rechteckigen Begrenzungsboxen dar.
      2. Definieren Sie Begrenzungsbox-Koordinaten für die i-Komponente (z. B. Rad, vorderer Bereich, hinterer Bereich) als:
         (14)
         wobei B_i die Begrenzungsbox der i-ten Komponente darstellt und und die Koordinaten der oberen linken bzw. unten rechten Ecke sind.
8. Umgang mit partieller Okklusion
   1. Bewerten Sie den Ecksymmetriewert für jede Region. Akzeptieren Sie einen Bereich, wenn der Symmetriewert größer als oder gleich 0,7 ist.
   2. Für die Okklusionshandhabung misst man die Sichtbarkeit von Eckpunkten. Akzeptiere eine Region, wenn mindestens 50 % der Ecken sichtbar sind. Wenn 30–50 % der Ecken sichtbar sind, markiere die Region zur weiteren Kontrolle. Wenn weniger als 30 % der Ecken sichtbar sind, wird der Bereich wegen unzureichender Sichtbarkeit für eine genaue Erkennung abgelehnt.
9. Genauigkeitsbeurteilung lokaler Merkmalsregionen
   1. Bewerten Sie die Genauigkeit jedes lokalen Merkmalsbereichs anhand von drei quantitativen operationellen Kennzahlen: einer Symmetriemetrik S, einer Konturkontinuitätsmetrik C und einer Verbindungsstrukturmetrik L. Wenden Sie diese Metriken gleichmäßig auf Radfläche, Frontfläche und Heckfläche an.
   2. Akzeptieren Sie einen Bereich nur, wenn alle Metriken die vordefinierten Schwellenwerte erfüllen. Wenn eine Kennzahl innerhalb eines akzeptablen Bereichs scheitert, erhöhen Sie den ROI und bewerten Sie es erneut. Wenn zwei oder mehr Metriken nicht funktionieren, markieren Sie die Region als unzuverlässig.
10. Analyse der Radregionen-Merkmalsgenauigkeit
    1. Frontblick operativer Kontrollpunkt
       1. Berechnen Sie die Symmetriemetrik:
          (15)
          wobei nL und nR die linke und rechte Eckenzählung bezeichnen.
       2. Akzeptiere die Region, wenn S ≥ 0,85. Wie in Abbildung 5A gezeigt, zeigt das Rad eine kreisförmige Form mit Symmetrie, und Harris-Eckpunkte entlang des Umfangs bilden ein symmetrisches Muster. Annotiere also den gesamten Radbereich.
       3. Wenn 0,70 ≤ S<0,85 liegt, erweitern Sie den ROl um 10–20 Pixel und wiederholen Sie die Auswertung, damit mehr reale Merkmale wieder in den Berechnungsbereich gelangen, und bewerten Sie dann erneut. Wie in Abbildung 5D gezeigt, tritt eine partielle Verschlussphase des Rades auf, daher sollte der Beschnittbereich erweitert werden, um mehr Funktionen des E-Bikes für die Bewertung zu erfassen.
       4. Wenn S<0,70 ist, kennzeichnen Sie die Region als unzuverlässig. Wie in Abbildung 5G gezeigt, ist die kreisförmige Form gestört; schließen diesen Bereich aus der Annotation aus.
    2. Operativer Kontrollpunkt mit Seitenansicht
       1. Messen Sie die Kontur-Kontinuität mit:
          (16)
       2. Akzeptiere, wenn C 0,75 ≥. Wie in Abbildung 5B gezeigt, erfüllt das Verhältnis der tatsächlichen kontinuierlichen Bogenlänge zur erwarteten Bogenlänge die Anforderungen, die Kontur passt vollständig zur Kante und es gibt keinen offensichtlichen Bruch.
       3. Bei 0,55 ≤ C < 0,75 verfinere die Konturextraktion und überprüfe erneut. Wie in Abbildung 5E dargestellt, liegt das Stromverhältnis der kontinuierlichen Bogenlänge zur erwarteten Bogenlänge im kritischen Bereich; Es ist notwendig, die Schwelle des Extraktionsalgorithmus anzupassen, um die Kontur vollständiger zu machen.
       4. Wenn C 0,55 <, lehne den Bereich aufgrund unzureichender geometrischer Kontinuität ab. Wie in Abbildung 5H dargestellt, können die Analyseanforderungen nicht erfüllt werden.
    3. Top-Ansicht des Betriebskontrollpunkts
       1. Bewerten Sie die strukturelle Konnektivität mit:
          (17)
       2. Akzeptiere, wenn L ≥ 0,70. Wie in Abbildung 5C gezeigt, wird die Abweichung zwischen der beobachteten Entfernung und der erwarteten Distanz effektiv ausgeglichen, die strukturelle Konnektivität erfüllt die Anforderungen und die relative Positionsverbindung zwischen Fahrzeug und Aufzugsumgebung ist abgeschlossen.
       3. Wenn L 0,70 <, erhöhe den ROI und bewerte es neu. Wie in Abbildung 5F dargestellt, ist die Stromabweichung zwischen der beobachteten und der erwarteten Entfernung relativ groß; Es ist notwendig, den Analyseumfang zu erweitern und weitere umliegende Bauwerke einzubeziehen, um die Genauigkeit der Konnektivitätsbewertung zu verbessern.
       4. Wenn die Konnektivität weiterhin inkonsistent bleibt, klassifizieren Sie die Region als unzuverlässig. Wie in Abbildung 5I dargestellt, kann er nicht als effektiver Analysebereich verwendet werden.
11. Analyse der Frontflächen-Merkmalsgenauigkeit
    1. Für die Bewertung der Merkmalsgenauigkeit des EBike-Frontbereichs folgen Sie dem einheitlichen regelbasierten Rahmenwerk, das in Abschnitt 2.10 definiert ist, einschließlich Symmetriebewertung in der Frontansicht mit Metrik S wie in Gleichung 15 definiert, der Konturkontinuitätsbewertung unter der Seitenansicht mit Metrik C gemäß Gleichung 16 und der strukturellen Konnektivitätsvalidierung unter der Obenansicht mit Metrik L wie in Gleichung 17 definiert.
    2. Aufgrund geometrischer Variabilität und häufiger partieller Okklusion im vorderen Bereich sollten Sie im Verhältnis zum Radbereich mäßig entspannte Schwellenwerte annehmen. Ein Frontbereich wird akzeptiert, wenn S ≥ 0,80, C ≥ 0,70 und L ≥ 0,65 gilt. Wie in Abbildung 6A-C dargestellt, zeigen Regionen, die diese Kriterien erfüllen, ausgewogene Links-Rechts-Merkmalsverteilungen, kohärente Konturen und stabile strukturelle Konnektivität.
    3. Fällt eine Kennzahl in den in Abschnitt 2.10 angegebenen Zwischenbereich, erweitern Sie den Interessenbereich und bewerten Sie den Bereich, um zusätzliche kontextuelle Merkmale einzubeziehen, wie in Abbildung 6D-F dargestellt. Regionen, die nach der Neubewertung die Mindestkriterien nicht erfüllen, werden als unzuverlässig klassifiziert, wie in Abbildung 6G-I dargestellt.
12. Analyse der Genauigkeit der Rückbereichsmerkmale
    1. Für die Analyse der Genauigkeit der Rückfläche beachten Sie das in Abschnitt 2.10 definierte Bewertungsprotokoll mit den Metriken S wie in Gleichung 15, C wie in Gleichung 16 und L wie in Gleichung 17 unter Front-, Seiten- und Top-Ansichten.
    2. Der hintere Bereich ist anfälliger für Verstopfungen, die durch Fahrgäste, transportierte Gegenstände oder Aufzugsstrukturen verursacht werden. Daher sollten strengere Ablehnungsbedingungen angewendet werden, um unzuverlässige Annotationen zu vermeiden. Ein Rücklandbereich wird akzeptiert, wenn S ≥ 0,75, C ≥ 0,70 und L ≥ 0,65 gilt. Repräsentative akzeptierte Fälle mit ausreichender Symmetrie, Konturkontinuität und Konnektivität sind in Abbildung 7A-C dargestellt.
    3. Für Regionen mit grenzwertigen Metriken führen Sie eine ROI-Erweiterung und Neubewertung durch, wie in Abbildung 7D-F dargestellt. Wenn die geometrischen Beziehungen mehrdeutig bleiben oder die Metriken die Akzeptanzkriterien nicht erfüllen, markieren Sie den Bereich als unzuverlässig, wie in Abbildung 7G-I gezeigt.
13. Analyse der Genauigkeit der Merkmale des hinteren Bereichs
    1. Für die Analyse der Merkmale des hinteren Bereichs folgen Sie dem in Abschnitt 2.10 definierten Bewertungsprotokoll, wobei dieselben Metriken S wie in Gleichung 15, C wie in Gleichung 16 und L wie in Gleichung 17 unter entsprechenden Sichtweisen verwendet werden.
    2. Im Vergleich zum vorderen Bereich ist der hintere Bereich anfälliger für Verstopfungen, die durch Fahrgäste, transportierte Gegenstände und Aufzugsstrukturen verursacht werden. Wenden Sie daher etwas strengere Ablehnungskriterien an, um unzuverlässige Anmerkungen zu vermeiden. Ein Rücklandbereich wird akzeptiert, wenn S ≥ 0,75, C ≥ 0,70 und L ≥ 0,65 gilt. Wie in Abbildung 7A-C gezeigt, behalten akzeptierte Regionen ausreichend Symmetrie, Konturkohärenz und strukturelle Konnektivität aufrecht.
    3. Für Regionen mit grenzwertigen Metriken erweitern und bewerten Sie den ROI nach Abschnitt 2.10, wie in Abbildung 7D-F dargestellt, neu bewerten. Wenn die geometrische Konsistenz nach der Neubewertung unzureichend bleibt, markieren Sie den Bereich als unzuverlässig, wie in Abbildung 7G-I gezeigt.
14. Implementierung der Pipeline
    1. Datei- und Ordnerstruktur: Die Implementierung folgt einer modularen Verzeichnisstruktur, die Erkennung, lokale Merkmalsextraktion und Annotationsbeurteilung trennt. Siehe die unten gezeigte repräsentative Ordnerorganisation. Speichere alle Zwischenergebnisse in dedizierten Unterordnern, um eine unabhängige Inspektion jedes Verarbeitungsschritts zu ermöglichen.
       project_root/
       │
       ├── Data/
       │ ├── Bilder/
       │ │ ├── Zug/
       │ │ ├── Val/
       │ │ └── Test/
       │ └── Anmerkungen/
       │
       ├── Erkennung/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── roi/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── Harris/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── configs/
       └── thresholds.yaml
    2. Ausführungspipeline und Beispielbefehlszeilen
       1. EBike-Erkennung und ROI-Lokalisierung: EBike-Regionen lokalisieren Sie mit einem vortrainierten Objekterkennungsmodell. Speichere die Erkennungsergebnisse als Begrenzungsbox-Koordinaten.
          Python-Erkennung/detect_ebike.py \
          --Eingabedaten/Bilder/Test/ \
          --Ausgabe ROI/detections.json
       2. ROI-Beschnitt: Verwenden Sie die erkannten Begrenzungsboxen, um EBike-Regionen aus den Originalbildern auszuschneiden.
          python roi/crop_roi.py \
          --Erkennungen Roi/detections.json \
          --Bilder Daten/Bilder/Test/ \
          --Ausgabe ROI/cropped_images/
          Speichere jedes zugeschnittene Bild im Namensformat: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. Harris-Eckenextraktion: Wenden Sie Harris-Eckerkennung auf jede beschnittene ROI nach der Graustufenumwandlung an. Speichere Ecken-Reaktionskarten und visuelle Überlagerungen zur Inspektion.
          Python Harris/harris_corner.py \
          --Eingabe ROI/cropped_images/ \
          --output harris/corner_visualization/ \
          --config configs/thresholds.yaml
       4. Grobkörnige Partitionierung und Chunk-Annotation: Lokale Merkmalsbereiche in Rad-, Vorder- und Rückbereich unterteilen, basierend auf der räumlichen Verteilung der Eckpunkte. Wende Validitätsurteile anhand geometrischer und merkmalebasierter Kriterien an.
          Python chunk_annotation/region_partition.py \
          --trifft Harris/corner_visualization/ \
          --Ausgabe chunk_annotation/final_annotations/
    3. Erwartete Zwischenausgaben und visuelle Kontrollpunkte: Speichere die Zwischenausgaben, die von jeder Verarbeitungsstufe erzeugt werden und als visuelle Kontrollpunkte dienen. Diese Zwischenergebnisse ermöglichen eine schrittweise Überprüfung der ROI-Lokalisierung, der Qualität der Eckextraktion, der Regionsaufteilung und der endgültigen Annotationsentscheidungen.
       1. ROI-Ausschnitt: Speichere zugeschnittene EBike-Bilder in roi/cropped_images/. Jedes Bild enthält einen einzelnen EBike-Bereich, der aus dem Originalrahmen extrahiert wurde.
       2. Harris-Corner-Visualisierung: Speichere Ecküberlagerungen in harris/corner_visualization/. Für gültige Radregionen ist entlang der kreisförmigen Randstruktur eine dichte Menge von Eckpunkten beobachtbar. Bereiche mit unzureichenden Eckantworten sind in diesem Stadium identifizierbar.
       3. Ergebnisse der Regionsaufteilung: Stellen Sie sich getrennte Bereiche (Rad, Front, Heck) unabhängig voneinander vor. Behalten Sie nur Bereiche, die vordefinierte Validitätskriterien erfüllen (z. B. ausreichende Eckdichte und geometrische Konsistenz).
       4. Endgültige Annotationsausgabe: Speichern Sie akzeptierte Regionen in chunk_annotation/final_annotations/ als strukturierte Annotationsdateien. Schließe Regionen aus, die keine Gültigkeitsurteilung haben, und verbreiten Sie sie nicht in weitere Stadien.
          HINWEIS: Alle Schwellenwerte für Eckerkennung und Regionsvaliditätsbeurteilung sind zentral in Konfigurationsdateien festgelegt. Die Pipeline arbeitet mit Einzelbild-Eingaben ohne zeitliche Abhängigkeit, sodass Ergebnisse für jedes Bild unabhängig reproduziert werden können. Bei identischen Eingabebildern, Konfigurationsdateien und Ausführungsreihenfolge bleiben die generierten Zwischenausgaben und endgültigen Annotationen deterministisch.
15. Finalisierungsschritte und Datensatzveröffentlichung
    HINWEIS: Um sicherzustellen, dass das Protokoll mit einem klaren und reproduzierbaren Endpunkt endet, wird eine Finalisierungsstufe definiert, um Annotationsspeicherung, Qualitätsvalidierung, Datensatzpaketierung und Versionsdokumentation zu konsolidieren.
    1. Speichern der finalen Annotationen: Nach der Bewertung der Regionsgültigkeit werden alle akzeptierten Annotationen in chunk_annotation/final_annotations/ im YOLO-Textformat gespeichert, wobei eine Annotationsdatei zu jedem Bild entspricht. Behalten Sie nur Bereiche, die die vordefinierten geometrischen und merkmalebasierten Kriterien im endgültigen Annotationssatz erfüllen, und schließen abgelehnte oder unzuverlässige Bereiche von der weiteren Verwendung aus.
    2. Annotationsqualitätsvalidierung: Validieren Sie die Endannotationsqualität, indem Sie dieselben Validitätskriterien wie bei der Regionsbewertung erneut anwenden, einschließlich Symmetrie, Konturkontinuität und struktureller Konnektivitätsmetriken. Entfernen Sie Anmerkungen, die diese Kriterien während dieser Verifikationsphase nicht erfüllen, um eine Konsistenz zwischen Annotationserstellung und Qualitätskontrolle sicherzustellen.
    3. Datensatzpaketierung: Nach der Validierung werden Bilder und Annotationen in feste Trainings-, Validierungs- und Testaufteilungen entsprechend der definierten Datensatzpartition organisiert. Die Verzeichnisstruktur und Dateilisten werden in dieser Phase eingefroren, und der verpackte Datensatz wird ohne weitere Änderungen für Training und Auswertung vorbereitet.
    4. Versions- und Seed-Dokumentation: Konfigurationsdateien, einschließlich Eckerkennungsparameter und Regionsvaliditätsschwellen, werden zusammen mit dem verpackten Datensatz bewahrt. Verwenden Sie zufällige Seeds zur Datenaufteilung, beheben Sie die Ausführung des Algorithmus und zeichnen Sie auf. Zusätzlich dokumentieren Sie die Versionen von Modellgewichten, Konfigurationsdateien und Annotationstools. Gegeben identische Eingabedaten, Konfigurationsdateien und aufgezeichnete Seeds bleiben die finalen Annotationen und Datensatzaufteilungen deterministisch.

3. Datenaugmentation

HINWEIS: Eine frühere Studie hat gezeigt, dass Trainingsdatensätze ohne ausreichende Vorverarbeitung und Datenerweiterung oft zu einer verschlechterten Modellleistung^führen. Um diese Herausforderungen zu bewältigen, wurde folgendes Verfahren angewendet.

1. Beleuchtung
   1. Simulieren Sie Lichtschwankungen in Aufzügen, um häufige Beleuchtungsänderungen zu berücksichtigen, indem Sie den Helligkeitsfaktor im Bereich von 0,6–1,4 mit einer Wahrscheinlichkeit von 0,8 anpassen.
   2. Wenden Sie Lichtintensitätsanpassungen an, um von hellen zu schwachen Umgebungen zu wechseln und so EBike-bedingtes Bewegungsunschärfe zu simulieren. Verwenden Sie für diese Operation eine Wahrscheinlichkeit von 0,7.
   3. Erzeugen Sie erweiterte Proben durch Anpassung der Lichtverhältnisse und gewährleisten so stabile Sichtbarkeit bei unterschiedlichen Beleuchtungsstufen.
   4. Wenden Sie diese Beleuchtungsoperationen offline an und speichern Sie sie für die spätere Verarbeitung. Setze den zufälligen Seed auf 42, um die Reproduzierbarkeit des Augmentationsprozesses sicherzustellen.
2. Verschluss
   1. Erstellen Sie synthetische Occlusionsszenarien, um die Bedingungen in überhöhten Aufzügen widerzuspiegeln. Verwenden Sie Okklusionsmasken (z. B. menschliche Silhouetten, Objektblöcke) mit einer Wahrscheinlichkeit von 0,6.
   2. Setzen Sie Mosaik-Okklusionen an, um eine partielle Blockade von EBikes beim Ein- und Ausstieg des Aufzugs nachzuahmen. Verwenden Sie Okklusionsprozentsätze von 30 %, 50 % oder 70 % und stellen Sie sicher, dass die Okklusion zufällig in jedem beliebigen Quadranten (oben, unten, links, rechts) des Bildes angewendet wird.
   3. Integrieren Sie verdeckte Proben, um die Erkennungsrobustheit und Stabilität bei partieller Sichtbarkeit zu verbessern, sodass mindestens eine Schlüsselkomponente (z. B. Rad, Front, Heck) sichtbar bleibt.
   4. Führen Sie eine Okklusionsaugmentation offline durch und validieren Sie die Proben, um sicherzustellen, dass wichtige EBike-Funktionen erhalten bleiben. Setze den zufälligen Seed auf 42 für die Reproduzierbarkeit.
3. Standpunkte
   1. Stellen Sie die Blickwinkel innerhalb eines vordefinierten Bereichs von ±15° an, um verschiedene Kamerawinkel in unterschiedlichen Aufzugsumgebungen zu simulieren. Diese Operation sollte mit einer Wahrscheinlichkeit von 0,7 angewendet werden.
   2. Wenden Sie Perspektivtransformationen mit Verzerrungskoeffizienten zwischen 0,0 und 0,2 an, um verschiedene Kamerapositionen zu replizieren (z. B. erhöhte, seitliche und schräge Blicke).
   3. Skalieren und verschieben Sie den EBike-Bereich um das 0,8–1,2-fache, um Veränderungen im Abstand der Kamera zum Ziel zu simulieren. Wende diese Transformation mit einer Wahrscheinlichkeit von 0,8 an.
   4. Bestätigen Sie, dass alle Perspektivtransformationen die geometrische Integrität des EBike behalten und keine kritischen Merkmale verzerrt sind.
   5. Führen Sie offline Perspektivtransformationen durch und speichern Sie die erweiterten Bilder. Setze den zufälligen Seed auf 42 für die Reproduzierbarkeit.
4. Verbesserung
   1. Wende Graustufen auf 30 % der Bilder mit einer Wahrscheinlichkeit von 0,3 an, um luminanzbedingte Variationen einzuführen und die Modellrobustheit unter schwachen Lichtverhältnissen zu erhöhen.
   2. Verwenden Sie Histogrammequalizierung bei 20 % der Proben, um den Kontrast und die Sichtbarkeit der wichtigsten Merkmale des EBike unter schwierigen Lichtverhältnissen zu verbessern.
   3. Kombinieren Sie Beleuchtungs-, Occlusion- und Perspektivaugmentationsstrategien nacheinander, um Stichproben mit hoher Vielfalt zu erzeugen. Verwenden Sie Wahrscheinlichkeiten von 0,9 für diesen mehrstufigen Prozess.
   4. Überprüfen Sie die erweiterten Proben, um sicherzustellen, dass sie die strukturelle Integrität von EBike erhalten, bevor sie in den endgültigen Datensatz integriert werden.
   5. Führen Sie Verbesserungsoperationen offline durch und speichern Sie die Bilder für die spätere Trainingsnutzung. Setze den zufälligen Seed auf 42, um die Reproduzierbarkeit des gesamten Augmentationsprozesses sicherzustellen.

4. Versuchsumgebung

1. Konfigurieren Sie die experimentelle Umgebung so, dass während des Modelltrainings und Tests die Recheneffizienz und Stabilität gewährleistet sind.
2. Verwenden Sie einen modernen Multi-Core-Prozessor, eine dedizierte GPU für Deep-Learning-Beschleunigung, ausreichenden Speicher und ein stabiles Speichersystem zur Unterstützung der großflächigen EBike-Bilddatenverarbeitung.
3. Passen Sie die Softwareumgebung mit der Hardwarekonfiguration ab, indem Sie kompatible Versionen des Deep-Learning-Frameworks, GPU-Treiber und Beschleunigungsbibliotheken installieren, um Trainingsgeschwindigkeit und Inferenzleistung zu optimieren.
4. Siehe Tabelle 5, Tabelle 6, Tabelle 7 und Tabelle 8 für detaillierte Hardwarespezifikationen, Softwareumgebung, Modellabhängigkeiten und Einstellungen für Bildgebungsgeräte, um die Reproduzierbarkeit sicherzustellen.
5. Berechnung von rechnergestütztem Overhead und Laufzeitanalyse
   1. Analysieren Sie den Rechenaufwand der Chunked-Annotationsstrategie hinsichtlich Annotationskomplexität und Laufzeiteffizienz. Im Vergleich zur ganzheitlichen Annotation stellt die Chunked-Annotation ein EBike dar, das Teilebene verwendet, einschließlich Radfläche, Vorderseite und Hinterrad. Annotieren Sie diese Bereiche nur, wenn sie sichtbar sind und die vordefinierten geometrischen und merkmalebasierten Validitätskriterien erfüllen, anstatt für jede Instanz durchgesetzt zu werden.
      HINWEIS: Aus Sicht der Annotation bleibt der Anstieg der Anzahl der Etiketten begrenzt und strukturell eingeschränkt. Eine EBike-Instanz trägt höchstens drei Teilebene-Annotationen bei, während bei partieller Okklusion weniger Regionen annotiert werden (z. B. wenn nur der vordere Bereich sichtbar ist). Infolgedessen variiert die Anzahl der Etiketten pro Bild je nach Sichtbarkeit der Szene und den Bedingungen der Okklusion, und die durchschnittliche Anzahl der Etiketten steigt moderat, wie in Tabelle 9 zusammengefasst. Dieses Design balanciert die lokale Merkmalsrepräsentation mit der Annotationskomplexität. Aus Inferenzperspektive bringt die Chunked-Annotation keinen proportionalen Anstieg der Nachbearbeitungskosten mit sich. Obwohl die Teilebenendetektion zusätzliche Kandidaten-Begrenzungsboxen erzeugen kann, werden die Erkennungen auf EBike-Objektebene für die endgültige Auswertung aggregiert, und vor der Nachbearbeitung wird konfidenzbasierte Filterung angewendet. Diese bedingte, sichtbarkeitsbasierte Annotationsstrategie begrenzt unnötige Erkennungskandidaten. Bei Modellen wie YOLOv10, die die Abhängigkeit von traditioneller nicht-maximaler Unterdrückung verringern, bleibt der zusätzliche Overhead durch Chunking in der Praxis begrenzt.
   2. Bewerten Sie die Laufzeitleistung bei einer typischen Aufzugsüberwachungsauflösung von 640 x 480 Pixeln mit einer NVIDIA RTX 3090 GPU. Wie in Tabelle 9 gezeigt, erhält die Chunked-Annotation die Echtzeit-Inferenzfähigkeit, mit nur einer geringfügigen Reduzierung der Bilder pro Sekunde im Vergleich zur ganzheitlichen Annotation. Diese Ergebnisse zeigen, dass die Strategie der gebrochenen Annotation weiterhin für die Echtzeitüberwachung von EBike in Aufzugsumgebungen geeignet ist.

5. Bewertungskennzahlen

HINWEIS: Obwohl während des Trainings und der Schlussfolgerung Chunk-Annotationen verwendet werden, erfolgt die Bewertung auf der Ebene des E-Bike-Objekts. Teile-Level-Erkennungen werden gemäß den in Abschnitt 2.4,3 definierten Regeln zu einer einzigen E-Bike-Entscheidung zusammengefasst.

1. Wenden Sie standardisierte Bewertungsmetriken an, die häufig in der Zielerkennungsforschung verwendet werden,²⁷ , um die Leistung von Algorithmen in EBike-Okklusionsdetektionsszenarien umfassend zu bewerten.
2. Erkennungspräzision (P)
   1. Verwenden Sie Gleichung (8), um die Detektionsgenauigkeit zu berechnen, die den Anteil korrekt identifizierter EBikes unter allen vorhergesagten positiven Proben misst.
      (18)
      wobei TP wahre Positive und FP falsch Positive bezeichnen.
   2. Setzen Sie den IoU-Schwellenwert auf 0,5, um zu bestimmen, ob die vorhergesagten Begrenzungsboxen mit den Ground-Truth-Boxen übereinstimmen.
   3. Nutzen Sie Präzision, um die Fähigkeit des Modells zu bewerten, unnötige Alarme durch Fehlidentifikation von nicht-EBike-Objekten zu reduzieren.
   4. Befehl(e) zur Generierung dieser Metrik: Verwenden Sie das entsprechende Evaluationsskript (z. B. evaluate_precision.py). Speichern Sie die Ergebnisse precision_results.txt für eine weitere Analyse.
3. Rückrufrate (R)
   1. Verwenden Sie Gleichung (9), um zu bestimmen, wie effektiv das Modell EBikes in Aufzugsumgebungen erkennt, insbesondere wenn Verschluss die Sicht beeinträchtigt.
      (19)
      wobei FN für falsch negative Ergebnisse steht.
   2. Stellen Sie die IoU-Schwelle auf 0,5 ein, um die Genauigkeit der Erkennungen zu bewerten. Nutzen Sie Rückruf, um die Fähigkeit des Modells zu bewerten, verpasste Erkennungen zu minimieren und sicherzustellen, dass EBikes auch bei teilweise blockierter Störung korrekt identifiziert bleiben.
   3. Verwenden Sie Befehle(n), um diese Metrik zu erzeugen: Führen Sie evaluate_recall.py aus. Speicherergebnis in recall_results.txt.
      HINWEIS: Verpasste Erkennungen sind in überfüllten Aufzügen kritisch und müssen aus Sicherheitsgründen minimiert werden. Verpasste Erkennungen stellen Sicherheitsrisiken in überfüllten Aufzugszenarien dar und müssen minimiert werden.
4. F1-Score
   1. Berechnen Sie den F1-Wert mit Gleichung (10), um eine ausgewogene Darstellung der Genauigkeit und der Abrufleistung des Modells zu erhalten.
      (20)
   2. Nutzen Sie den F1-Score, um eine ganzheitliche Bewertung zu liefern, insbesondere in Situationen, in denen Präzision und Abruf unter unterschiedlichen Okklusionsstufen Kompromisse aufweisen.
   3. Verwenden Sie Befehle(n), um diese Metrik zu erzeugen: Führen Sie evaluate_f1.py aus, um den F1-Score zu berechnen. Speicherergebnisse in f1_score_results.txt.
5. Mittlere Durchschnittsgenauigkeit (mAP)
   1. Verwenden Sie Gleichung (11), um die Gesamterkennungsfähigkeit des Modells über unterschiedliche EBike-Erscheinungen, Okklusionsbedingungen und Lichtvariationen hinweg zu messen.
      (21)
      Wobei AP_c die durchschnittliche Genauigkeit der Kategorie c bezeichnet und C die Anzahl der Kategorien ist.
   2. Setzen Sie den IoU-Schwellenwert auf 0,5, um die Leistung des Modells über verschiedene Kategorien hinweg zu bewerten.
   3. Verwenden Sie mAP@0.5, um zu bestimmen, wie gut sich das Modell an unterschiedliche visuelle Bedingungen in Aufzugsumgebungen anpasst und so eine umfassende Bewertung der Erkennungsleistung sicherstellt.
   4. Verwenden Sie die folgenden, folgenden Befehle(n), um diese Metrik zu erzeugen: führen Sie evaluate_map.py mit den angegebenen Parametern aus. Speicherergebnis in map_results.txt.

Results

Vergleich von ganzheitlicher Annotation und Chunked Annotation auf öffentlichen Datensätzen

Die Bewertung erfolgte an einem öffentlichen Datensatz mit 210 EBike-Bildern, die von offenen Überwachungs- und Verkehrsüberwachungsszenen gesammelt wurden, mit unterschiedlichen Lichtbedingungen, EBike-Farben und unterschiedlichen Graden von Verschluss. Jedes Bild wurde sowohl mit der ganzheitlichen Methode (Single Bounding Box) als auch mit der vorges...

Discussion

Kritische Schritte

Ein entscheidender Schritt in diesem Protokoll ist die Chunked-Annotationsmethode basierend auf lokalen Merkmalen, bei der EBikes in Rad-, Vorder- und Heckbereiche unterteilt sind. Diese Aufteilung stellt sicher, dass Detektionsmodelle feinkörnige Darstellungen lernen können, was sich in okklusionslastigen Aufzugsumgebungen als essenziell erwiesen hat. So verbesserte beispielsweise YOLOv5, das mit Chunk-Annotationen im EBik...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	HDF-Gruppe	2.10.0
matplotlib (SSD)	Matplotlib-Gemeinschaft	3.1.2
matplotlib (YOLOv10)	Matplotlib-Gemeinschaft	3.9.0
matplotlib (YOLOv5)	Matplotlib-Gemeinschaft	3.8.4
matplotlib (YOLOv5+SAHI)	Matplotlib-Gemeinschaft	3.8.4
matplotlib (YOLOv8-Seg)	Matplotlib-Gemeinschaft	3.9.0
numpy (SSD)	NumPy-Gemeinschaft	1.17.0
numpy (YOLOv10)	NumPy-Gemeinschaft	1.26.3
numpy (YOLOv5)	NumPy-Gemeinschaft	1.26.4
numpy (YOLOv5+SAHI)	NumPy-Gemeinschaft	1.26.4
numpy (YOLOv8-Seg)	NumPy-Gemeinschaft	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	Microsoft	1.15.1
onnxruntime (YOLOv5)	Microsoft	1.15.1
onnxruntime (YOLOv5+SAHI)	Microsoft	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
Pandas (YOLOv10)	Pandas-Gemeinschaft	2.2.2
Pandas (YOLOv5)	Pandas-Gemeinschaft	2.2.2
Pandas (YOLOv5+SAHI)	Pandas-Gemeinschaft	2.2.2
Pandas (YOLOv8-Seg)	Pandas-Gemeinschaft	2.2.2
Kissen (SSD)	Pillow-Entwickler	8.2.0
Kissen (YOLOv10)	Pillow-Entwickler	10.2.0
Kissen (YOLOv5)	Pillow-Entwickler	8.5.0
Kissen (YOLOv5+SAHI)	Pillow-Entwickler	8.5.0
Kissen (YOLOv8-Seg)	Pillow-Entwickler	10.2.0
psutil (YOLOv10)	Psutil-Entwickler	5.9.8
Psutil (YOLOv5)	Psutil-Entwickler	5.9.8
psutil (YOLOv5+SAHI)	Psutil-Entwickler	5.9.8
pycocotools (YOLOv10)	COCO-Konsortium	2.0.7
pycocotools (YOLOv5)	COCO-Konsortium	2.0.7
pycocotools (YOLOv5+SAHI)	COCO-Konsortium	2.0.7
pycocotools (YOLOv8-Seg)	COCO-Konsortium	2.0.7
py-cpuinfo (YOLOv10)	Py-CPUInfo Entwickler	9.0.0
py-cpuinfo (YOLOv5)	Py-CPUInfo Entwickler	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Py-CPUInfo Entwickler	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-seg)	PyYAML	6.0.1
Anfragen (SSD)	Python-Anfragen	2.27.1
Anfragen (YOLOv10)	Python-Anfragen	2.32.3
Anfragen (YOLOv5)	Python-Anfragen	2.31.0
Anfragen (YOLOv5+SAHI)	Python-Anfragen	2.31.0
SAHI	SAHI-Entwickler	0.3.4+
scipy (SSD)	SciPy-Gemeinschaft	1.2.1
scipy (YOLOv10)	SciPy-Gemeinschaft	1.13.0
scipy (YOLOv5)	SciPy-Gemeinschaft	1.13.0
scipy (YOLOv5+SAHI)	SciPy-Gemeinschaft	1.13.0
scipy (YOLOv8-Seg)	SciPy-Gemeinschaft	1.13.0
seaborn (YOLOv10)	Seaborn-Entwickler	0.13.2
seaborn (YOLOv5)	Seaborn-Entwickler	0.13.2
Seaborn (YOLOv5+SAHI)	Seaborn-Entwickler	0.13.2
seaborn (YOLOv8-Seg)	Seaborn-Entwickler	0.13.2
formvoll (YOLOv5+SAHI)	Formvolle Entwickler	2.0.4
SSD	Caffe/Original-SSD-Autoren	Python 3.6.13+; PyTorch 1.2.0+; CUDA 10.0; CUDNN 7.4.1
Tensorboard (SSD)	Google	2.10.1
Tensorboard (YOLOv5)	Google	2.16.2
Tensorboard (YOLOv5+SAHI)	Google	2.16.2
torchvision (SSD)	PyTorch	0.4.0
Torchvision (YOLOv10)	PyTorch	0.15.2
Torchvision (YOLOv5)	PyTorch	0.17.2
Torchvision (YOLOv5+SAHI)	PyTorch	0.17.2
Torchvision (YOLOv8-Seg)	PyTorch	0.16.1+
tqdm (SSD)	TQDM-Entwickler	4.60.0
tqdm (YOLOv10)	TQDM-Entwickler	4.66.4
tqdm (YOLOv5)	TQDM-Entwickler	4.66.2
tqdm (YOLOv5+SAHI)	TQDM-Entwickler	4.66.2
Ultralytiker (YOLOv8-Seg)	Ultralytika	8.2.99+
YOLOv10	YOLOv10 Team	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.7
YOLOv5	Ultralytika	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv5 + SAHI	Ultralytiker + SAHI-Entwickler	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv8-Seg	Ultralytika	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.6.0+