Metodo migliorato di annotazione delle immagini a blocchi per biciclette elettriche in scenari complessi con ascensori basato su caratteristiche locali

Summary

Viene presentato un metodo di annotazione a blocchi basato su caratteristiche locali per migliorare la rilevazione delle biciclette elettriche in scenari complessi di ascensori utilizzando il dataset EBike-DET e i modelli di rilevamento degli oggetti mainstream.

Abstract

L'uso crescente delle biciclette elettriche (EBikes) in ambienti ristretti come gli ascensori residenziali ha sollevato serie preoccupazioni per la sicurezza e ha introdotto notevoli sfide per il rilevamento automatico degli oggetti, in particolare a causa delle frequenti occlusioni. Gli approcci tradizionali di rilevamento, che si basano principalmente su annotazioni olistiche, spesso non riescono a riconoscere con precisione le EBik parzialmente occlute in scene visivamente complesse. Per superare queste limitazioni, questo studio propone un nuovo metodo di annotazione a blocchi basato su caratteristiche locali, offrendo una strategia di annotazione più interpretabile. Scomponendo un EBike in più regioni chiave per l'etichettatura indipendente, il metodo proposto consente ai modelli di rilevamento di apprendere informazioni strutturali a grana fine, migliorando così la robustezza in condizioni con forte occlusione. Inoltre, è stato sviluppato un dataset dedicato, EBike-DET, per supportare compiti di rilevamento in scenari realistici di ascensore. Annotato utilizzando l'approccio a blocchi e arricchito con condizioni ambientali simulate, il dataset migliora sia le prestazioni del modello sia l'adattabilità. Il metodo proposto promuove lo sviluppo di intelligenza artificiale spiegabile (XAI) rendendo il rilevamento degli oggetti più trasparente e strutturalmente interpretabile, il che è particolarmente prezioso in applicazioni critiche per la sicurezza. Sono stati condotti esperimenti estesi utilizzando tre modelli principali (YOLOv5, YOLOv10 e SSD). I risultati mostrano che YOLOv5, quando addestrata su EBike-DET con annotazioni a blocchi, ottiene miglioramenti del 3,7% nella precisione, 5,3% nel richiamo, 4,5% nel punteggio F1 e 4,4% in mAP. Rispetto ai dataset pubblici, EBike-DET dimostra maggiore stabilità e robustezza sotto occlusione. Questo studio non solo migliora la precisione del rilevamento, ma offre anche un passo verso soluzioni di IA più interpretabili e spiegabili per l'impiego nei sistemi reali di monitoraggio della sicurezza.

Introduction

Con la rapida proliferazione delle biciclette elettriche (EBikes) a livello mondiale, in particolare in Cina, dove il totale ha superato i 350 milioni di unità entro il 2022, EBikes è diventata una modalità dominante di trasporto a breve distanza. Tuttavia, il loro uso frequente in spazi ristretti come gli ascensori residenziali introduce gravi rischi per la sicurezza, tra cui vibrazioni anomale, danni alle apparecchiature, odori sgradevoli e rischi di incendio. Uno studio recente stima che gli incendi legati a EBike si verifichino con una probabilità di circa l'1,44^%. Questi rischi evidenziano l'urgente necessità di metodi di rilevamento EBike efficienti e accurati per migliorare la sicurezza negli ambienti degli ascensori.

Nonostante i progressi nella visione artificiale e nel deep learning, la rilevazione EBike negli ascensori rimane una sfida. I dataset pubblicamente disponibili sono scarsi e spesso mancano di diversità nei modelli EBike, nei colori e nelle condizioni di occlusione, limitando la generalizzazione del^{modello 2}. Inoltre, gli scenari degli ascensori spesso coinvolgono occlusioni complesse, in cui gli EBikes sono parzialmente nascosti dai passeggeri o dai componenti strutturali, riducendo ulteriormente la precisione di ^{rilevamento 3,4,5}. I metodi di annotazione olistica esistenti, che trattano EBikes come una singola scatola delimitante, spesso falliscono in tali condizioni, dimostrando la necessità di strategie migliorate di annotazione e rilevamento. Come mostrato nella Tabella 1, l'annotazione olistica porta a prestazioni marcatamente ridotte, con una riduzione fino al 21,5% della Precisione Media a una soglia Intersection over Union (IoU) di 0,5 (mAP@0,5) rispetto all'annotazione a blocchi.

Progressi nel rilevamento basato sul deep learning

I metodi di deep learning, in particolare le reti neurali convoluzionali (CNN), sono stati ampiamente applicati nel rilevamento degli oggetti. La famiglia You Only Look Once (YOLO) dimostra ottime prestazioni in tempo reale. Tuttavia, quando si rilevano oggetti occluse o sovrapposti, i modelli YOLO tendono a produrre bounding box ridondanti. Ad esempio, YOLOv5 migliora l'estrazione di caratteristiche multiscala tramite convoluzioni profonde e reti piramidali^{di caratteristiche 6,7}, mentre YOLOv10 elimina la soppressione non massima e impiega reti di aggregazione di percorsi per migliorare la velocità e la fusione^{multi-scala 8,9}. Nonostante questi miglioramenti, le ridondanti bounding box e la diminuzione della robustezza in ambienti ricchi di occlusione restano questioni irrisolte. Tuttavia, entrambe soffrono quando le strutture chiave EBike sono parzialmente bloccate, perché l'annotazione olistica fornisce segnali locali limitati. Come mostrato nella Figura 1A-C, questa limitazione porta a ridondanti di bounding box e a una fiducia instabile nel rilevamento in caso di occlusione moderata o pesante. Al contrario, l'annotazione a blocchi mitiga questo problema permettendo al modello di rilevare regioni separate - come le ruote o l'area posteriore - riducendo così le ridondanti delle scatole di delimitazione in caso di occlusione. La Figura 1D-F dimostra inoltre che l'annotazione a blocchi migliora la localizzazione delle caratteristiche e mantiene la stabilità nel rilevamento quando rimangono visibili solo componenti EBike parziali.

Analogamente, il Single Shot MultiBox Detector (SSD) modello^10,11, basato sulla dorsale VGG-16, fornisce una rilevazione efficiente su scale e si comporta bene su piccoli^{oggetti 12}. Tuttavia, l'SSD fatica anche quando la continuità delle funzionalità viene interrotta da una forte occlusione, portando a rilevamenti mancati o regressione instabile delle scatole - anche quando vengono introdotti meccanismi^{di attenzione 13}. L'annotazione a blocchi offre anche un vantaggio qui: il modello può ancora fare affidamento sulle parti locali visibili rimaste, migliorando la stabilità del rilevamento in condizioni multiscala e occluse.

Strategie di annotazione e apprendimento delle caratteristiche locali

La maggior parte dei metodi di rilevamento attuali adotta l'annotazione olistica, che semplifica l'annotazione ma si basa principalmente su caratteristiche globali^14,15. Questo approccio fatica quando sono parzialmente mancanti aree critiche di EBike, come le ruote, la parte anteriore o la parte posteriore. Uno studio^{recente 16} ha dimostrato che l'apprendimento locale delle caratteristiche, che segmenta gli oggetti in più parti annotate, può migliorare robustezza e precisione in scenari difficili. In linea con ciò, i risultati della Tabella 2 mostrano che l'annotazione a blocchi rimane efficace quando almeno il 40%-60% dei componenti chiave di EBike è visibile, in particolare durante l'annotazione delle ruote, dell'area anteriore e posteriore. Al contrario, le scatole delimitatrici olistiche rimangono sufficienti in scenari a bassa occlusione (ad esempio, <20% di occlusione) o quando la risoluzione dell'immagine è ≥1280 x 720, dove la silhouette completa è preservata. Il beneficio del chunking diminuisce quando l'occlusione supera il ≈70%, o quando le regioni a livello di caratteristiche diventano troppo piccole per fornire informazioni spaziali discriminanti.

Giustificazione metodologica per l'uso del rilevamento degli angoli di Harris

Il rilevamento degli angoli Harris è selezionato per l'estrazione locale delle caratteristiche grazie al suo comportamento deterministico, efficienza computazionale e proprietà di assenza di addestramento, essenziali per un'annotazione affidabile negli ambienti elevatori. A differenza dei rilevatori di keypoint appresi come SuperPoint e LoFTR, evita un addestramento aggiuntivo e riduce lo spostamento di dominio con dati annotati limitati e forte occlusione. Rispetto ad operatori basati su bordi come Canny e Sobel, gli angoli Harris enfatizzano giunzioni geometricamente significative piuttosto che spigoli rumorosi di fondo, permettendo una localizzazione stabile delle strutture EBike, inclusi ruote e intersezioni di telaio. Inoltre, il rilevamento degli angoli di Harris fornisce iperparametri interpretabili. La costante empirica k controlla la sensibilità e la stabilità degli angoli. Come mostrato nella Sezione 2.6.2.4 e nella Figura 2, l'aggiustamento k supporta un equilibrio controllato tra robustezza e sovra-rilevamento, che si allinea bene con la strategia proposta di annotazione a pezzi basata su regole.

Aumento dei dati per la robustezza

L'aumento dei dati si è dimostrato efficace nel migliorare la diversità e l'adattabilità dei modelli di rilevamento. Le tecniche comuni includono trasformazioni geometriche (ad esempio, rotazione, scala, ritaglio) e aggiustamenti del colore (ad esempio, scala di grigi, modifiche di luminanza), che simulano condizioni reali e variazioni di illuminazione 17,18,19. Incorporando queste strategie, i modelli di rilevamento diventano più resilienti alla variabilità e più adatti al dispiegamento nel mondo reale.

Per affrontare le limitazioni sopra menzionate, questo studio propone un metodo migliorato di annotazione a blocchi basato sulle caratteristiche locali. Il metodo migliora l'apprendimento delle caratteristiche e la robustezza dividendo EBikes in più parti annotate indipendenti, consentendo una rilevazione più efficace sotto occlusione complessa. Inoltre, viene costruito un dataset dedicato per il rilevamento delle biciclette elettriche (EBike-DET) adattato agli ambienti degli ascensori, arricchito attraverso diverse modifiche ai dati per migliorare l'adattabilità del modello. Infine, il metodo è validato su YOLOv5, YOLOv10 e SSD, dimostrando aumenti costanti di prestazioni da +5,69% a +39,81% mAP, come riassunto nella Tabella 3. I contributi possono essere riassunti come segue: un metodo di annotazione a pezzi migliorato che rafforza l'apprendimento delle caratteristiche in condizioni di occlusione, la costruzione di un dataset specializzato EBike-DET per scenari di ascensore, l'incorporazione di più tecniche di aumento e la validazione sperimentale su modelli di rilevamento mainstream, che mostrano maggiore precisione e robustezza rispetto all'annotazione olistica.

Protocol

Il dataset EBike-DET utilizzato in questo studio consiste in immagini raccolte dagli autori tramite fotografie in loco in ambienti di ascensori, parcheggi e strade, oltre a immagini EBike pubblicamente disponibili ottenute da piattaforme web. Tutta la raccolta delle immagini in loco è stata condotta in ambienti non privati esclusivamente per la ricerca tecnica legata alla sicurezza sulla rilevazione EBike. Le immagini non mirano intenzionalmente agli individui, e qualsiasi persona catturata accidentalmente è non identificabile a causa di distanza, occlusione, viste da schienale o un'elaborazione appropriata che rimuove tratti facciali e altri identificatori personali. Le immagini provenienti dal web sono state ottenute esclusivamente da piattaforme che consentono il riutilizzo per la ricerca accademica o da risorse rilasciate sotto licenze aperte. Tutte le immagini sono utilizzate esclusivamente per scopi di ricerca ed educazione non commerciali. Poiché non sono stati raccolti dati personali identificabili e non si è verificata alcuna interazione diretta con soggetti umani, questo studio non ha richiesto l'approvazione di un comitato etico istituzionale in conformità con le linee guida istituzionali dell'autore.

1. Costruzione del dataset

1. Risoluzione delle immagini, spazio colore e formati di file
   1. Imposta la risoluzione nativa delle immagini a 1280 x 720 pixel per catturare dettagli di alta qualità di EBikes in varie scene.
   2. Dopo la standardizzazione, ridimensionare le immagini a 640 x 480 pixel per bilanciare l'efficienza computazionale e la conservazione delle funzionalità.
   3. Imposta lo spazio colore su RGB per preservare le informazioni colori complete, garantendo un riconoscimento accurato delle caratteristiche in diverse condizioni di luce.
   4. Salva le immagini in formato JPEG per ottimizzare lo stoccaggio senza compromettere significativamente la qualità dell'immagine.
2. Definizione e suddivisione dei dataset di addestramento, validazione e test
   1. Dividere il dataset in set di addestramento, validazione e test con un rapporto 7:2:1, assicurandosi che il dataset sia adeguatamente diviso per l'addestramento del modello, la messa a punto degli iperparametri e la valutazione delle prestazioni.
   2. Imposta il seed casuale a 42 per garantire la riproducibilità dei dati distribuiti tra diversi esperimenti.
   3. Applicare il campionamento stratificato per mantenere una distribuzione coerente dei modelli EBike e dei livelli di occlusione in ogni suddivisione del dataset, assicurando che non ci siano squilibri di classe tra insiemi.
   4. Assicurati che non vengano perdute tra addestramento, validazione e set di test assicurandoti che nessuna immagine EBike compaia in più di un set.
3. Costruzione di dataset pubblici
   1. Seleziona il dataset di rilevamento EBike disponibile pubblicamente dalla piattaforma^open-source 20,21,22,23, che contiene 210 immagini di EBikes sia in scene panoramiche che parzialmente occluse.
   2. Riconosci i limiti del dataset pubblico, inclusi un singolo angolo di camera, bassa risoluzione e scene di sfondo semplici, che possono limitare la capacità di generalizzazione del modello, in particolare in scenari complessi di occlusione.
4. Costruzione del dataset EBike-DET
   1. Costruire il dataset EBike-DET per migliorare la copertura della scena e la diversità dei campioni, composto da 1.680 immagini di alta qualità provenienti da piattaforme web e fotografie in loco.
   2. Assicurati che siano inclusi ambienti diversi, come ascensori, parcheggi e strade, catturando le varie condizioni in cui si trova eIkes.
   3. Incorporare una varietà di angolazioni di telecamera (frontale, laterale e dall'alto) per catturare l'intera gamma di aspetti di eIke, garantendo un addestramento robusto per i modelli di rilevamento.
   4. Arricchisci il dataset includendo più marchi e modelli EBike, con variazioni di colore, dimensione e accessori, per aumentare la diversità dei campioni.
   5. Assicurati che siano inclusi scenari di occlusione, dove gli EBike sono parzialmente occlusi da pedoni e veicoli, simulando condizioni reali in spazi ristretti come gli ascensori.
   6. Confermare che il dataset EBike-DET includa campioni diversi e complessi, rendendolo un dataset affidabile per il rilevamento dei bersagli in condizioni di occlusione complesse.
5. Regole di inclusione ed esclusione per immagini web e in sito
   1. Immagini web: Includi solo quelle pubblicamente disponibili, catturate in ambienti diversi, con condizioni di illuminazione ad alta risoluzione e varie. Escludi immagini con sfondi a bassa risoluzione o semplici.
   2. Immagini in loco: Includere immagini scattate in ambienti reali, in particolare in luoghi come ascensori, parcheggi o strade. Assicurati che le immagini rappresentino scenari realistici di EBike con variazioni di occlusione, complessità dello sfondo e condizioni meteorologiche. Escludi immagini con rumore eccessivo, distorsione o impostazioni irrealistiche.
   3. Assicurati che sia le immagini web che quelle in loco seguano gli stessi standard di risoluzione e spazio colore per mantenere la coerenza tra il dataset.
6. Costruzione dell'aumento dei dati
   1. Applica operazioni di aumento di base, come scala di grigi e rotazione, per aumentare la diversità dei campioni e simulare varie condizioni di illuminazione e orientamenti della telecamera.
   2. Dividere l'obiettivo di EBike in diverse regioni locali indipendenti, inclusi l'area delle ruote, l'area anteriore e l'area posteriore, per migliorare l'apprendimento delle caratteristiche locali.
   3. Annota ogni regione in modo indipendente per migliorare la precisione del rilevamento sotto occlusione e garantire prestazioni robuste del modello tra diverse parti di EBike.
   4. Verifica che tutte le immagini aumentate e le annotazioni a blocchi mantengano la coerenza strutturale con le funzionalità di EBike per evitare dati di addestramento non corrispondenti o invalidi.

2. Annotazione a pezzi con caratteristiche locali

NOTA: Per migliorare la precisione di rilevamento degli EBikes in scenari complessi di occlusione, viene proposto un metodo di annotazione a blocchi basato su caratteristiche locali migliorate. Questo metodo segmenta la regione EBike estraendo i suoi punti di caratteristica locali e determina se una regione debba essere annotata in base al grado di occlusione nella corrispondente regione di caratteristiche. Il processo sperimentale dettagliato è illustrato nella Figura 3.

1. Utilizzando i dataset di addestramento, validazione e test già costruiti.
2. Annotazione manuale: Usa lo strumento LabelImg nell'ambiente Python per l'annotazione manuale. Etichettare tutte le immagini esclusivamente come EBikes, assicurando interferenze minime da campioni^{negativi 24,25}.
3. Elaborazione e aumento dei dati
   1. Applicare il metodo proposto da Yongjiang et ^al.22 per derudire e standardizzare le immagini al fine di garantire una dimensione uniforme su tutto il dataset.
   2. Eseguire operazioni di aumento dei dati (ad esempio, rotazione, regolazione della luminosità, scala di grigi) per aumentare la diversità del campione. Assicurati che tutte le immagini aumentate mantengano la qualità dell'immagine e migliorino la robustezza del modello rispetto ai vari sfondi.
4. Coltura di area EBike
   1. Per garantire la riproducibilità della localizzazione del ROI, applicare i parametri di inferenza dalla Tabella 4 per YOLOv10 (utilizzando il file di pesi pre-addestrato yolov10x.pt). Le coordinate della scatola delimitante di uscita sono le seguenti:
      ROI = [x₁,_{y 1}, x₂,_{y 2}] (1)
      L'equazione (1) definisce le coordinate della casella delimitante^{ROI 26} [x₁, y₁, x₂,_{y 2}], dove:_{x 1}, y₁ = Coordinate nell'angolo in alto a sinistra del ROI EBike; x₂, y₂ = Coordinate nell'angolo in basso a destra del ROI EBike. Queste coordinate sono derivate dall'output grezzo di YOLOv10, che prevede le scatole di delimitazione nel formato [c_x,_{c y}, w, h] per ogni oggetto rilevato. Le formule di conversione sono:
      (2)
      (3)
      (4)
      (5)
      Dove c_x, c_y sono coordinate centrali orizzontali/verticali normalizzate della scatola delimitatrice prevista (scalate alla dimensione dell'immagine di ingresso di 640 x 480).  w, h è la larghezza/altezza normalizzata della scatola di delimitazione prevista (scalata alla dimensione dell'immagine di input).
   2. Filtrare l'output dello YOLOv10 per la soglia di confidenza (0,5) per mantenere solo i rilevamenti correlati a EBike (ID di classe corrispondente alla bici elettrica), poi processare con NMS (IoU=0,45) per rimuovere le scatole ridondanti. Converti la rimanente scatola di delimitazione in [x₁, y₁, x₂,_{y 2}] per il ritaglio del ROI.
   3. Gestione delle rilevazioni multiple
      NOTA: Negli scenari elevatori (il target principale del dataset EBike-DET), gli EBike sono tipicamente a singola istanza (a causa di vincoli di spazio). Per i casi con rilevamenti multipli EBike (ad esempio, ascensori affollati con due EBike), si applicano le seguenti regole.
      1. Priorità di massima confidenza: Seleziona la scatola delimitante con il punteggio massimo di confidenza (la fiducia in output di YOLOv10 riflette la certezza del modello che l'oggetto sia un EBike).
      2. Controllo della validità spaziale: Se più rilevamenti hanno punteggi di confidenza >0,7, verificare la sovrapposizione spaziale con i confini strutturali dell'ascensore (ad esempio, evitare le scatole di delimitazione che si estendano oltre le pareti dell'ascensore). Mantenere la rilevazione il cui punto centrale c_x, c_y, è più vicino al centro immagine (gli ascensori sono tipicamente monitorati da telecamere frontali, con i bersagli centrati).
      3. Gestione dei casi limite: Se nessuna rilevazione valida raggiunge la soglia di confidenza (ad esempio, grave occlusione), segnare l'immagine per la correzione manuale del ROI (che rappresenta il <3% del dataset EBike-DET).
5. Conversione e normalizzazione in scala di grigi
   1. Esegui la conversione in scala di grigi sull'immagine RGB ritagliata dal ROI. Usa il metodo della media ponderata per la conversione, seguendo la formula:
      I_gra = 0,299 × R + 0,587 × G + 0,114 × B (6)
      dove R, G e B rappresentano i valori dei pixel nei canali rosso, verde e blu, rispettivamente. Questo metodo si allinea con la percezione umana della luminosità attraverso diversi colori.
   2. Normalizzare i valori dei pixel dell'immagine in scala di grigi nell'intervallo di [0, 1] scalando linearmente da [0, 255]. Questa normalizzazione migliora la stabilità dei calcoli numerici e garantisce che i successivi calcoli di gradiente e le soglie funzionino in modo coerente in condizioni di luce variabili.
6. Rilevamento dell'angolo Harris
   1. Applicare il rilevamento degli angoli di Harris alla scala di grigi e normalizzare la regione EBike per estrarre i punti di caratteristiche locali.
      NOTA: Il principio fondamentale del rilevamento degli angoli di Harris prevede il calcolo della matrice di autocorrelazione per localizzare con precisione gli angoli nell'immagine, come mostrato visivamente nella Figura 4B. Questi angoli rilevati sono tipicamente associati a componenti chiave di EBike come ruote, area anteriore e posteriore, che spesso mostrano caratteristiche di curva chiare.
   2. Calcolare il gradiente dell'immagine per identificare le aree con cambiamenti significativi di intensità come descritto di seguito.
      1. Smussatura dell'immagine: applica il filtraggio gaussiano all'immagine in scala di grigi per sopprimere il rumore, ottenendo l'immagine smussata come segue:
         I_s = G_σ*I (7)
         dove * rappresenta l'operazione di convoluzione, e G_σ è un kernel gaussiano 2D con deviazione standard di σ, che controlla il livello di levigamento. Un valore tipico per è 1,0.
      2. Calcolare il gradiente dell'immagine: Usa un operatore gradiente (come l'operatore Sobel) per calcolare i gradienti orizzontali (x) e verticali (y) dell'immagine levigata:
         I_x = K_{x *} I_s ,I_y =_{K y *} I_y (8)
         dove I_x e_{I y} sono le mappe gradienti rispettivamente nelle direzioni x e y, e Gx e Gy sono i nuclei di convoluzione per l'operatore di Sobel:
         , (9)
      3. Costruire la matrice di autocorrelazione M basandosi sui gradienti precedentemente calcolati, usando una finestra locale 3 x 3 W centrata su ogni pixel (x,y):
         (10)
         Nella formula, W si riferisce a una finestra locale nella posizione (x,y), e l'operazione ∑W rappresenta la somma di tutti gli elementi immagine all'interno di questa finestra; A = ∑W I_x² rappresenta la somma dei gradienti al quadrato nella finestra W nella direzione x, riflettendo l'intensità dei cambiamenti nella direzione x; B=∑W I_y² rappresenta la somma dei gradienti al quadrato nella finestra W nella direzione y, riflettendo l'intensità dei cambiamenti nella direzione y; C = ∑W I_{xI y} rappresenta la somma del prodotto dei gradienti nelle direzioni x e y all'interno della finestra W, descrivendo la correlazione dei cambiamenti tra queste due direzioni.
      4. Calcolare la somma dei gradienti quadrati sia nelle direzioni x che y per riflettere l'intensità dei cambiamenti lungo ciascuna direzione. Il termine incrociato tra i gradienti_{I x} I_y cattura la correlazione tra le direzioni x e y.
      5. Funzione di risposta dell'angolo: Calcola la funzione di risposta dell'angolo R basandosi sul determinante e sulla traccia della matrice di autocorrelazione per rilevare i punti d'angolo nell'immagine. Calcola il valore di risposta per ogni pixel e seleziona punti con valori di risposta più alti come angoli finali, come mostrato nella Figura 2. La funzione di risposta all'angolo è data da:
         det(M) = A ⋅ B - C² (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M)⁾² (13)
         dove det(M) è il determinante di M, riflettendo il cambiamento complessivo nella regione delle caratteristiche locali, e trace(M) è la traccia della matrice, riflettendo l'intensità totale del gradiente nella regione. La costante empirica k è tipicamente impostata tra 0,04 e 0,06.
         NOTA: Sulla base degli esperimenti, è stato riscontrato che la scelta di k influenza significativamente i risultati:
         Quando k=0,04, i valori di risposta sono troppo alti, portando a un eccesso di punti d'angolo rilevati erroneamente.
         Quando k=0,05, i valori di risposta sono più bilanciati, rilevando con precisione gli angoli veri.
         Quando k=0,06, i valori di risposta sono troppo bassi, rendendo difficile rilevare in modo affidabile i punti d'angolo.
   3. Esegui una divisione grossolana delle aree locali dell'EBike utilizzando i risultati di rilevamento dei punti di angolo di Harris. Dividere l'EBike in regioni basate sulla struttura geometrica e sulla distribuzione dei punti agli angoli, come mostrato nella Figura 4C, per migliorare la robustezza e le prestazioni di rilevamento del modello in scenari complessi di occlusione.
   4. Area della ruota: consideriamo la regione valida se contiene almeno 15 punti d'angolo distribuiti simmetricamente lungo una forma circolare, con un punteggio di simmetria non inferiore a 0,85. Il punteggio di simmetria è mostrato nell'Equazione 11. Il rapporto larghezza-altezza della regione della ruota dovrebbe essere approssimativamente 1:1, garantendo che rifletta accuratamente le caratteristiche geometriche della ruota.
   5. Area frontale: Includere la regione se contiene almeno 10 punti d'angolo con un punteggio di simmetria non inferiore a 0,80, e il rapporto larghezza-altezza varia tra 1,2:1 e 1,5:1, assicurando che l'area frontale corrisponda alle caratteristiche strutturali attese.
   6. Area posteriore: Includere la regione se contiene almeno 12 punti d'angolo, con un punteggio di simmetria non inferiore a 0,75, e il rapporto larghezza-altezza varia tra 1,5:1 e 2:1, assicurando che l'area posteriore rispetti le proprietà geometriche attese.
7. Rappresentazione delle aree critiche di EBike con riquadre di delimitazione
   1. Per convertire i punti d'angolo in scatole di delimitazione rettangolari, si utilizza l'algoritmo di clustering DBSCAN. Questo metodo raggruppa i punti d'angolo vicini in cluster, assicurando che i punti angolari che formano una regione siano raggruppati insieme. Imposta la distanza massima tra i punti all'interno di un cluster a 30 pixel.
   2. Per ogni gruppo di punti d'angolo, si determinano le coordinate x e y coordinate minime e massime. Queste coordinate rappresentano gli archi della scatola delimitante.
   3. Aggiungi un margine di 10 pixel attorno alla finestra delimitata per assicurarti che tutte le funzionalità rilevanti siano incluse. Questo margine compensa potenziali disallineamenti o imprecisioni dei pixel nel rilevamento dei punti d'angolo.
   4. Arrotonda le coordinate della scatola delimitatrice all'intero più vicino per garantire un corretto allineamento dei pixel per l'elaborazione delle immagini.
   5. Rappresentare le coordinate finali della scatola delimitata per la componente i-esima (ad esempio, ruota, area anteriore, area posteriore) come descritto di seguito.
      1. Combinare le regioni definite (area delle ruote, area anteriore e area posteriore) e rappresentare tutte le aree critiche dell'EBike usando scatole di delimitazione rettangolari.
      2. Definire le coordinate di delimitazione per la componente i (ad esempio, ruota, area anteriore, area posteriore) come:
         (14)
         dove B_i rappresenta la scatola di delimitazione della i-esima componente, e e sono le coordinate rispettivamente degli angoli in alto a sinistra e in basso a destra.
8. Gestione dell'occlusione parziale
   1. Valuta il punteggio di simmetria agli angoli per ogni regione. Accettare una regione se il punteggio di simmetria è maggiore o uguale a 0,7.
   2. Per la gestione dell'occlusione, misurare la visibilità dei punti d'angolo. Accetta una regione se almeno il 50% degli angoli è visibile. Se il 30%-50% degli angoli è visibile, segnala la regione per una revisione ulteriore. Se meno del 30% degli angoli è visibile, si rifiuta la regione a causa della visibilità insufficiente per una rilevazione accurata.
9. Giudizio di accuratezza delle regioni di caratteristiche locali
   1. Valutare l'accuratezza di ogni regione locale di caratteristiche utilizzando tre metriche operative quantitative: una metrica di simmetria S, una metrica di continuità di contorno C e una metrica di connessione strutturale L. Applicare queste metriche uniformi all'area delle ruote, all'area anteriore e all'area posteriore.
   2. Accettare una regione solo quando tutte le metriche raggiungono le soglie predefinite. Se una metrica fallisce entro un intervallo tollerabile, espandi il ROI e rivaluta. Se due o più metriche falliscono, segna la regione come inaffidabile.
10. Analisi dell'accuratezza delle caratteristiche della regione delle ruote
    1. Posto di blocco operativo con vista frontale
       1. Calcola la metrica di simmetria:
          (15)
          dove nL e nR indicano i conteggi degli angoli a sinistra e a destra.
       2. Accetta la regione se S ≥ 0,85. Come mostrato nella Figura 5A, la ruota presenta una forma circolare con simmetria, e i punti d'angolo Harris lungo la circonferenza formano un motivo simmetrico. Quindi, annota tutta l'area della ruota.
       3. Se 0,70 ≤ S<0,85, espandi il ROl di 10-20 pixel e ripeti la valutazione per permettere a più caratteristiche reali di rientrare nell'area di calcolo, e poi rivaluta. Come mostrato nella Figura 5D, si verifica un'occlusione parziale della ruota, quindi il range di ritaglio dovrebbe essere ampliato per cogliere più caratteristiche dell'Ebike per la valutazione.
       4. Se S<0,70, indica la regione come inaffidabile. Come mostrato nella Figura 5G, la forma circolare è disturbata; escludere questa regione dall'annotazione.
    2. Posto di controllo operativo con vista laterale
       1. Misurare la continuità dei contorni utilizzando:
          (16)
       2. Accetta quando C ≥ 0,75. Come mostrato nella Figura 5B, il rapporto tra la lunghezza d'arco continua effettiva e la lunghezza d'arco attesa soddisfa i requisiti, il contorno si adatta perfettamente al bordo e non c'è rottura evidente.
       3. Se 0,55 ≤ C < 0,75, affina l'estrazione del contorno e ricontrolla. Come mostrato nella Figura 5E, il rapporto di corrente tra la lunghezza dell'arco continuo e la lunghezza d'arco attesa è nell'intervallo critico; È necessario regolare la soglia dell'algoritmo di estrazione per rendere il contorno più completo.
       4. Se C < 0,55, rifiutare la regione a causa di una continuità geometrica insufficiente. Come mostrato nella Figura 5H, i requisiti di analisi non possono essere soddisfatti.
    3. Posto di blocco operativo con vista dall'alto
       1. Valutare la connettività strutturale utilizzando:
          (17)
       2. Accetta quando L ≥ 0,70. Come mostrato nella Figura 5C, la deviazione tra la distanza osservata e la distanza attesa è effettivamente spostata, la connettività strutturale soddisfa i requisiti e la connessione relativa tra il veicolo e l'ambiente dell'ascensore è completa.
       3. Se L < 0,70, espandi il ROI e rivaluta. Come mostrato nella Figura 5F, la deviazione attuale tra la distanza osservata e la distanza attesa è relativamente grande; È necessario ampliare l'ambito di analisi e includere più strutture circostanti per migliorare l'accuratezza della valutazione della connettività.
       4. Se la connettività rimane incoerente, classifica la regione come inaffidabile. Come mostrato nella Figura 5I, non può essere utilizzato come area di analisi efficace.
11. Analisi dell'accuratezza delle caratteristiche dell'area frontale
    1. Per la valutazione dell'accuratezza delle caratteristiche dell'area frontale EBike, si segue il quadro unificato basato su regole definito nella Sezione 2.10, inclusa la valutazione della simmetria sotto la vista frontale usando la metrica S come definita nell'Equazione 15, la valutazione della continuità dei contorni sotto la vista laterale usando la metrica C come definita nell'Equazione 16, e la validazione della connettività strutturale sotto la vista superiore usando la metrica L come definito nell'Equazione 17.
    2. A causa della variabilità geometrica e della frequente occlusione parziale nell'area anteriore, si adottano soglie moderatamente rilassate rispetto alla regione della ruota. Una regione di area frontale viene accettata quando S ≥ 0,80, C ≥ 0,70 e L ≥ 0,65. Come illustrato nella Figura 6A-C, le regioni che soddisfano questi criteri mostrano distribuzioni di caratteristiche bilanciate sinistra-destra, contorni coerenti e connettività strutturale stabile.
    3. Se qualche metrica rientra nell'intervallo intermedio specificato nella Sezione 2.10, espandere la regione di interesse e rivalutare per incorporare ulteriori caratteristiche contestuali, come mostrato nella Figura 6D-F. Le regioni che non soddisfano i criteri minimi dopo la rivalutazione si classificano come inaffidabili, come illustrato nella Figura 6G-I.
12. Analisi della precisione delle caratteristiche dell'area posteriore
    1. Per l'analisi di accuratezza delle caratteristiche posteriori, si attenga al protocollo di valutazione definito nella Sezione 2.10, utilizzando le metriche S come definite nell'Equazione 15, C come definite nell'Equazione 16 e L come definite nell'Equazione 17 sotto le viste frontale, laterale e superiore, rispettivamente.
    2. L'area posteriore è più suscettibile all'occlusione causata da passeggeri, oggetti trasportati o strutture di ascensore. Pertanto, applicare condizioni di rifiuto più severe per evitare annotazioni inaffidabili. Una regione di retroguardia viene accettata quando S ≥ 0,75, C ≥ 0,70 e L ≥ 0,65. I casi rappresentativi accettati con sufficiente simmetria, continuità di contorno e connettività sono mostrati nella Figura 7A-C.
    3. Per le regioni con valori metrici limite, eseguire l'espansione e la rivalutazione del ROI, come illustrato nella Figura 7D-F. Se le relazioni geometriche rimangono ambigue o le metriche non soddisfano i criteri di accettazione, si segna la regione come inaffidabile, come mostrato nella Figura 7G-I.
13. Analisi dell'accuratezza delle caratteristiche posteriori
    1. Per l'analisi di accuratezza delle caratteristiche dell'area posteriore, si segue il protocollo di valutazione definito nella Sezione 2.10, utilizzando le stesse metriche S definite nell'Equazione 15, C come definite nell'Equazione 16 e L come definite nell'Equazione 17 sotto i punti di vista corrispondenti.
    2. Rispetto all'area anteriore, la parte posteriore è più suscettibile all'occlusione causata dai passeggeri, dagli oggetti trasportati e dalle strutture interne degli ascensori. Pertanto, applica criteri di rifiuto leggermente più severi per prevenire annotazioni inaffidabili. Una regione di retroguardia viene accettata quando S ≥ 0,75, C ≥ 0,70 e L ≥ 0,65. Come mostrato nella Figura 7A-C, le regioni accettate mantengono sufficiente simmetria, coerenza dei contorni e connettività strutturale.
    3. Per le regioni con valori metrici borderline, espandere e rivalutare il ROI seguendo la Sezione 2.10, come illustrato nella Figura 7D-F. Se la consistenza geometrica rimane insufficiente dopo la rivalutazione, si segna la regione come inaffidabile, come mostrato nella Figura 7G-I.
14. Implementazione della pipeline
    1. Struttura file e cartelle: L'implementazione segue una struttura di directory modulare che separa rilevamento, estrazione locale delle caratteristiche e giudizio delle annotazioni. Vedi l'organizzazione delle cartelle rappresentative mostrata qui sotto. Memorizza tutti i risultati intermedi in sottocartelle dedicate per consentire un'ispezione indipendente di ogni fase di elaborazione.
       project_root/
       │
       ├── dati/
       │ ├── immagini/
       │ │ │ ├── treno/
       │ │ │ ├── val/
       │ │ └── test/
       │ └── Annotazioni/
       │
       ├── rilevamento/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── ROI/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── Harris/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── configurazioni/
       └── soglia.yaml
    2. Pipeline di esecuzione e righe di comando di esempio
       1. Rilevamento EBike e localizzazione ROI: Localizza le regioni EBike utilizzando un modello di rilevamento oggetti pre-addestrato. Memorizza i risultati della rilevazione come coordinate di riquadro.
          Rilevamento Python/detect_ebike.py \
          --dati di input/immagini/test/ \
          --ROI/detections.json
       2. Ritaglio ROI: Usa le riquadre di delimitazione rilevate per ritagliare regioni EBike dalle immagini originali.
          ROI/crop_roi.py Python \
          --rilevazioni ROI/detections.json \
          --immagini, dati/immagini/test/ \
          --ROI/cropped_images/
          Salva ogni immagine ritagliata usando il formato di denominazione: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. Estrazione degli angoli di Harris: applicare il rilevamento degli angoli di Harris a ogni ROI ritagliato dopo la conversione in scala di grigi. Salva le mappe di risposta degli angoli e le sovrapposizioni visive per l'ispezione.
          Python Harris/harris_corner.py \
          --ROI/cropped_images/ \
          --output harris/corner_visualization/ \
          --config configs/thresholds.yaml
       4. Partizionamento grossolano e annotazione a blocchi: Spartizione delle regioni delle caratteristiche locali in ruota, area anteriore e posteriore basandosi sulla distribuzione spaziale dei punti d'angolo. Applicare il giudizio di validità utilizzando criteri geometrici e basati su caratteristiche.
          Python chunk_annotation/region_partition.py \
          --angoli Harris/corner_visualization/ \
          --output chunk_annotation/final_annotations/
    3. Output intermedi attesi e checkpoint visivi: Salvare gli output intermedi prodotti da ogni fase di elaborazione che fungono da checkpoint visivi. Questi output intermedi permettono una verifica passo dopo passo della localizzazione del ROI, della qualità dell'estrazione degli angoli, della partizionazione regionale e delle decisioni finali di annotazione.
       1. Ritaglio ROI output: Salva immagini EBike ritagliate in ROI/cropped_images/. Ogni immagine contiene una singola regione EBike estratta dal fotogramma originale.
       2. Visualizzazione degli angoli Harris: Salva le sovrapposizioni degli angoli in Harris/corner_visualization/. Per le regioni delle ruote valide, è osservabile un insieme denso di punti d'angolo lungo la struttura circolare del cerchio. A questo stadio sono identificabili regioni con risposte agli angoli insufficienti.
       3. Risultati della partizione delle regioni: Visualizza le regioni partizionate in modo indipendente (ruota, area anteriore, area posteriore). Conservano solo le regioni che soddisfano criteri di validità predefiniti (ad esempio, sufficiente densità di angolo e consistenza geometrica).
       4. Output finale delle annotazioni: Memorizza le regioni accettate in chunk_annotation/final_annotations/ come file di annotazione strutturati. Escludere le regioni che mancano il giudizio di validità e non propagarle alle fasi successive.
          NOTA: Tutte le soglie utilizzate per il rilevamento degli angoli e il giudizio di validità regionale sono centralizzate nei file di configurazione. La pipeline opera su input a singolo frame senza dipendenza temporale, permettendo di riprodurre i risultati indipendentemente per ogni immagine. Date immagini di input, file di configurazione e ordine di esecuzione identici, gli output intermedi generati e le annotazioni finali rimangono deterministiche.
15. Fasi di finalizzazione e rilascio del dataset
    NOTA: Per garantire che il protocollo termini con un endpoint chiaro e riproducibile, viene definita una fase di finalizzazione per consolidare il salvataggio delle annotazioni, la validazione della qualità, il packaging del dataset e la documentazione delle versioni.
    1. Salvataggio delle annotazioni finali: Dopo il giudizio di validità regionale, salva tutte le annotazioni accettate in chunk_annotation/final_annotations/ utilizzando il formato testuale YOLO, con un file di annotazione corrispondente a ciascuna immagine. Mantenere solo le regioni che soddisfano i criteri geometrici e basati su caratteristiche predefiniti nel set finale di annotazioni ed escludere da ulteriori utilizzi le regioni rifiutate o inaffidabili.
    2. Validazione della qualità delle annotazioni: Validare la qualità finale dell'annotazione riapplicando gli stessi criteri di validità utilizzati durante la valutazione delle regioni, inclusi simmetria, continuità dei contorni e metriche di connettività strutturale. Rimuovere le annotazioni che non soddisfano questi criteri durante questa fase di verifica, garantendo coerenza tra la generazione delle annotazioni e il controllo qualità.
    3. Confezionamento del dataset: Dopo la validazione, organizza immagini e annotazioni in suddivisioni fisse di addestramento, validazione e test secondo la partizione del dataset definita. La struttura delle directory e le liste dei file sono congelate in questa fase, e il dataset confezionato viene preparato per l'addestramento e la valutazione senza ulteriori modifiche.
    4. Documentazione di versione e seed: I file di configurazione, inclusi parametri di rilevamento degli angoli e soglie di validità regionale, sono conservati insieme al dataset confezionato. Usa semi casuali per la suddivisione dei dati, correggi l'esecuzione degli algoritmi e registra. Inoltre, documenta le versioni dei pesi dei modelli, dei file di configurazione e degli strumenti di annotazione. Dato che dati di input, file di configurazione e seed registrati identici, le annotazioni finali e le suddivisioni del dataset rimangono deterministiche.

3. Aumento dei dati

NOTA: Uno studio precedente ha dimostrato che dataset di addestramento privi di preprocessing e aumento dei dati sufficienti spesso comportano un degrado delle prestazioni^{del modello 22}. Per affrontare queste sfide, è stata seguita la seguente procedura.

1. Illuminazione
   1. Simulare variazioni di illuminazione all'interno degli ascensori per affrontare i frequenti cambiamenti di illuminazione regolando il fattore di luminosità nell'intervallo 0,6–1,4, con una probabilità di 0,8.
   2. Applica regolazioni dell'intensità della luce per passare da ambienti luminosi a ambienti più chiari, simulando la sfocatura indotta dal movimento di EBike. Usa una probabilità di 0,7 per questa operazione.
   3. Generare campioni aumentati regolando le condizioni di illuminazione, garantendo una visibilità stabile sotto diversi livelli di illuminazione.
   4. Applica queste operazioni di illuminazione offline e conservale per la successiva elaborazione. Imposta il seed casuale a 42 per garantire la riproducibilità del processo di aumentazione.
2. Occlusione
   1. Crea scenari di occlusione sintetica per riflettere le condizioni affollate degli ascensori. Applicare maschere di occlusione (ad esempio, silhouette umane, blocchi di oggetti) con una probabilità di 0,6.
   2. Applicare occlusioni a mosaico per simulare l'ostruzione parziale degli EBikes durante l'ingresso e l'uscita dall'ascensore. Usa percentuali di occlusione del 30%, 50% o 70% e assicurati che l'occlusione venga applicata casualmente in qualsiasi quadrante (alto, basso, sinistra, destra) dell'immagine.
   3. Incorporare campioni occlusi per migliorare la robustezza e la stabilità della rilevazione in condizioni di parziale visibilità, assicurando che almeno un componente chiave (ad esempio, ruota, zona anteriore, zona posteriore) rimanga visibile.
   4. Esegui l'aumento dell'occlusione offline e convalida i campioni per garantire che le caratteristiche essenziali di EBike vengano mantenute. Imposta il seed casuale a 42 per la riproducibilità.
3. Punti di vista
   1. Regolare gli angoli di visuale entro un intervallo predefinito di ±15° per simulare angoli di telecamera diversi in diversi ambienti di ascensore. Questa operazione dovrebbe essere applicata con una probabilità di 0,7.
   2. Applicare trasformazioni di prospettiva con coefficienti di distorsione tra 0,0 e 0,2 per replicare diverse posizioni della telecamera (ad esempio, punti di vista elevati, laterali e obliqui).
   3. Scala e sposta la regione EBike di 0,8–1,2 volte per simulare i cambiamenti nella distanza della fotocamera dal bersaglio. Applica questa trasformazione con una probabilità di 0,8.
   4. Confermare che tutte le trasformazioni dei punti di vista mantengano l'integrità geometrica dell'EBike, e che nessuna caratteristica critica venga distorta.
   5. Esegui trasformazioni di punti di vista offline e memorizza le immagini aumentate. Imposta il seed casuale a 42 per la riproducibilità.
4. Potenziamento
   1. Applicare la scala di grigi al 30% delle immagini con una probabilità di 0,3 per introdurre variazioni guidate dalla luminanza e aumentare la robustezza del modello in condizioni di scarsa luminosità.
   2. Utilizzare l'equalizzazione dell'istogramma sul 20% dei campioni per aumentare il contrasto e la visibilità delle caratteristiche chiave dell'EBike, in condizioni di illuminazione difficili.
   3. Combina strategie di illuminazione, occlusione e aumento dei punti di vista in modo sequenziale per generare campioni ad alta diversità. Usa probabilità di 0,9 per questo processo a più fasi.
   4. Esaminare i campioni aumentati per assicurarsi che mantengano l'integrità strutturale di EBike prima di integrarli nel dataset finale.
   5. Esegui operazioni di miglioramento offline e memorizza le immagini per l'uso successivo dell'addestramento. Imposta il seed casuale a 42 per garantire la riproducibilità dell'intero processo di aumentazione.

4. Ambiente sperimentale

1. Configurare l'ambiente sperimentale per garantire efficienza e stabilità computazionale durante l'addestramento e i test del modello.
2. Utilizzare un processore multi-core moderno, una GPU dedicata per l'accelerazione del deep learning, memoria sufficiente e un sistema di archiviazione stabile per supportare l'elaborazione di dati di immagini EBike su larga scala.
3. Abbina l'ambiente software alla configurazione hardware installando versioni compatibili del framework di deep-learning, driver GPU e librerie di accelerazione per ottimizzare la velocità di addestramento e le prestazioni di inferenza.
4. Consulta le Tabelle 5, 6, 7 e 8 per specifiche hardware dettagliate, ambiente software, dipendenze dei modelli e impostazioni delle apparecchiature di imaging per garantire la riproducibilità.
5. Analisi di overhead computazionale e runtime
   1. Analizza il sovraccarico computazionale associato alla strategia di annotazione a pezzi in termini di complessità di annotazione ed efficienza in tempo di esecuzione. Rispetto all'annotazione olistica, l'annotazione a blocchi rappresenta un EBike che utilizza regioni a livello di parte, inclusi l'area delle ruote, la parte anteriore e la posteriore. Annota queste regioni solo quando sono visibili e soddisfano i criteri di validità geometrica e basata sulle caratteristiche predefiniti, invece di essere applicate per ogni istanza.
      NOTA: Dal punto di vista delle annotazioni, l'aumento del numero di etichette rimane limitato e strutturalmente vincolato. Un'istanza EBike contribuisce al massimo con tre annotazioni a livello di parte, mentre meno regioni sono annotate in casi di occlusione parziale (ad esempio, quando è visibile solo l'area frontale). Di conseguenza, il numero di etichette per immagine varia in base alla visibilità della scena e alle condizioni di occlusione, e il numero medio di etichette aumenta moderatamente, come riassunto nella Tabella 9. Questo design bilancia la rappresentazione locale delle caratteristiche con la complessità delle annotazioni. Dal punto di vista dell'inferenza, l'annotazione a blocchi non introduce un aumento proporzionale del costo di post-elaborazione. Sebbene il rilevamento a livello di parziale possa generare ulteriori candidati di bounding box, le rilevazioni vengono aggregate a livello di oggetto EBike per la valutazione finale e il filtraggio basato sulla fiducia viene applicato prima della post-elaborazione. Questa strategia di annotazione condizionata e basata sulla visibilità limita i candidati di rilevamento inutili. Per modelli come YOLOv10, che riducono la dipendenza dalla tradizionale soppressione non massima, l'overhead aggiuntivo introdotto dal chunking rimane limitato nella pratica.
   2. Valuta le prestazioni in tempo reale a una risoluzione tipica di sorveglianza degli ascensori di 640 x 480 pixel utilizzando una GPU NVIDIA RTX 3090. Come mostrato nella Tabella 9, l'annotazione a blocchi mantiene la capacità di inferenza in tempo reale, con una riduzione solo minore dei frame al secondo rispetto all'annotazione olistica. Questi risultati indicano che la strategia di annotazione a pezzi rimane adatta per il monitoraggio EBike in tempo reale negli ambienti ascensori.

5. Metriche di valutazione

NOTA: Sebbene durante l'addestramento e l'inferenza vengano utilizzate annotazioni a blocchi, la valutazione viene effettuata a livello dell'oggetto della bici elettrica. Le rilevazioni a livello di parziale sono aggregate in un'unica decisione per la bici elettrica secondo le regole definite nelle Seczioni 2.4,3.

1. Applicare le metriche standard di valutazione comunemente utilizzate nella ricerca sul rilevamento di obiettivi²⁷ per valutare in modo completo le prestazioni degli algoritmi in scenari di rilevamento di occlusione EBike.
2. Precisione di rilevamento (P)
   1. Utilizzare l'Equazione (8) per calcolare la precisione di rilevamento, che misura la proporzione di EBikes correttamente identificati tra tutti i campioni positivi previsti.
      (18)
      dove TP indica i veri positivi e FP i falsi positivi.
   2. Imposta la soglia IoU a 0,5 per determinare se le caselle di delimitazione previste corrispondono a quelle di verità sul terreno.
   3. Utilizzare la precisione per valutare la capacità del modello di ridurre allarmi inutili causati da errata identificazione di oggetti non EBike.
   4. Comando/i per generare questa metrica: Usa lo script di valutazione pertinente (ad esempio, evaluate_precision.py). Salva i risultati in precision_results.txt per ulteriori analisi.
3. Tasso di richiamo (R)
   1. Usa l'Equazione (9) per determinare quanto efficacemente il modello identifica gli EBikes negli ambienti degli ascensori, in particolare quando l'occlusione influisce sulla visibilità.
      (19)
      dove FN rappresenta i falsi negativi.
   2. Imposta la soglia IoU a 0,5 per valutare l'accuratezza dei rilevamenti. Utilizzare il richiamo per valutare la capacità del modello di minimizzare i rilevamenti mancati, assicurando che gli EBikes rimangano identificati con precisione anche quando sono parzialmente ostacolati.
   3. Usa comando/i per generare questa metrica: esegui evaluate_recall.py. Salvataggio risulta in recall_results.txt.
      NOTA: Le rilevazioni mancate sono fondamentali in situazioni di ascensori affollati e devono essere minimizzate per motivi di sicurezza. Le rilevazioni mancate rappresentano problemi di sicurezza in situazioni di ascensori affollati e devono essere minimizzate.
4. Punteggio F1
   1. Calcola il punteggio F1 usando l'Equazione (10) per ottenere una rappresentazione bilanciata della precisione e delle prestazioni di richiamo del modello.
      (20)
   2. Utilizzare il punteggio F1 per fornire una valutazione olistica, specialmente in situazioni in cui precisione e richiamo presentano compromessi sotto diversi livelli di occlusione.
   3. Usa Comando(i) per generare questa metrica: Esegui evaluate_f1.py per calcolare il punteggio F1. Salva i risultati in f1_score_results.txt.
5. Precisione media media (mAP)
   1. Usa l'Equazione (11) per misurare la capacità complessiva di rilevamento del modello attraverso diverse apparizioni EBike, condizioni di occlusione e variazioni di illuminazione.
      (21)
      Dove AP_c indica la precisione media della categoria c e C è il numero di categorie.
   2. Imposta la soglia IoU a 0,5 per valutare le prestazioni del modello in diverse categorie.
   3. Utilizzare mAP@0.5 per determinare quanto bene il modello si adatta a diverse condizioni visive nelle impostazioni degli ascensori, garantendo una valutazione completa delle prestazioni di rilevamento.
   4. Usa il/i seguente comando/i per generare questa metrica: esegui evaluate_map.py con i parametri specificati. Salvataggio risulta in map_results.txt.

Results

Confronto tra annotazione olistica e annotazione a pezzi su dataset pubblico

La valutazione è stata condotta su un dataset pubblico comprendente 210 immagini EBike raccolte da scene di sorveglianza aperta e monitoraggio del traffico, con condizioni di illuminazione diverse, colori EBike e diversi gradi di occlusione. Ogni immagine veniva annotata utilizzando sia il metodo olistico (singola scatola delimitante) sia il metodo a blocchi proposto ...

Discussion

Passaggi critici

Un passaggio fondamentale in questo protocollo è il metodo di annotazione a pezzi basato su caratteristiche locali, dove gli EBikes sono suddivisi in aree ruota, anteriore e posteriore. Questa divisione garantisce che i modelli di rilevamento possano apprendere rappresentazioni a grana fine, che si sono rivelate essenziali in ambienti di elevatori con forte occlusione. Ad esempio, YOLOv5 addestrato con annotazioni a blocchi s...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	Gruppo HDF	2.10.0
matplotlib (SSD)	Comunità Matplotlib	3.1.2
matplotlib (YOLOv10)	Comunità Matplotlib	3.9.0
matplotlib (YOLOv5)	Comunità Matplotlib	3.8.4
matplotlib (YOLOv5+SAHI)	Comunità Matplotlib	3.8.4
matplotlib (YOLOv8-Seg)	Comunità Matplotlib	3.9.0
numpy (SSD)	Comunità NumPy	1.17.0
numpy (YOLOv10)	Comunità NumPy	1.26.3
numpy (YOLOv5)	Comunità NumPy	1.26.4
numpy (YOLOv5+SAHI)	Comunità NumPy	1.26.4
numpy (YOLOv8-Seg)	Comunità NumPy	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	Microsoft	1.15.1
onnxruntime (YOLOv5)	Microsoft	1.15.1
onnxruntime (YOLOv5+SAHI)	Microsoft	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
Panda (YOLOv10)	Comunità Pandas	2.2.2
Pandas (YOLOv5)	Comunità Pandas	2.2.2
pandas (YOLOv5+SAHI)	Comunità Pandas	2.2.2
Pandas (YOLOv8-Seg)	Comunità Pandas	2.2.2
Cuscino (SSD)	Sviluppatori di cuscini	8.2.0
Cuscino (YOLOv10)	Sviluppatori di cuscini	10.2.0
Cuscino (YOLOv5)	Sviluppatori di cuscini	8.5.0
Cuscino (YOLOv5+SAHI)	Sviluppatori di cuscini	8.5.0
Cuscino (YOLOv8-Seg)	Sviluppatori di cuscini	10.2.0
psutil (YOLOv10)	Sviluppatori Psutil	5.9.8
psutil (YOLOv5)	Sviluppatori Psutil	5.9.8
psutil (YOLOv5+SAHI)	Sviluppatori Psutil	5.9.8
pycocotools (YOLOv10)	Consorzio COCO	2.0.7
pycocotools (YOLOv5)	Consorzio COCO	2.0.7
pycocotools (YOLOv5+SAHI)	Consorzio COCO	2.0.7
pycocotools (YOLOv8-Seg)	Consorzio COCO	2.0.7
py-cpuinfo (YOLOv10)	Sviluppatori Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5)	Sviluppatori Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Sviluppatori Py-CPUInfo	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
richieste (SSD)	Richieste Python	2.27.1
richieste (YOLOv10)	Richieste Python	2.32.3
richieste (YOLOv5)	Richieste Python	2.31.0
richieste (YOLOv5+SAHI)	Richieste Python	2.31.0
SAHI	Sviluppatori SAHI	0.3.4+
scipy (SSD)	Comunità SciPy	1.2.1
scipy (YOLOv10)	Comunità SciPy	1.13.0
scipy (YOLOv5)	Comunità SciPy	1.13.0
scipy (YOLOv5+SAHI)	Comunità SciPy	1.13.0
scipy (YOLOv8-Seg)	Comunità SciPy	1.13.0
seaborn (YOLOv10)	Sviluppatori Seaborn	0.13.2
Seaborn (YOLOv5)	Sviluppatori Seaborn	0.13.2
seaborn (YOLOv5+SAHI)	Sviluppatori Seaborn	0.13.2
seaborn (YOLOv8-Seg)	Sviluppatori Seaborn	0.13.2
Formosa (YOLOv5+SAHI)	Sviluppatori Shapey	2.0.4
SSD	Caffe/Autori Originali SSD	Python 3.6.13+; PyTorch 1.2.0+; CUDA 10.0; CUDNN 7.4.1
Tensorboard (SSD)	Google	2.10.1
Tensorboard (YOLOv5)	Google	2.16.2
Tensorboard (YOLOv5+SAHI)	Google	2.16.2
Torchvision (SSD)	PyTorch	0.4.0
Torchvision (YOLOv10)	PyTorch	0.15.2
Torchvision (YOLOv5)	PyTorch	0.17.2
torchvision (YOLOv5+SAHI)	PyTorch	0.17.2
torchvision (YOLOv8-Seg)	PyTorch	0.16.1+
tqdm (SSD)	Sviluppatori TQDM	4.60.0
tqdm (YOLOv10)	Sviluppatori TQDM	4.66.4
tqdm (YOLOv5)	Sviluppatori TQDM	4.66.2
tqdm (YOLOv5+SAHI)	Sviluppatori TQDM	4.66.2
Ultralitica (YOLOv8-Seg)	Ultralitica	8.2.99+
YOLOv10	YOLOv10 Team	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.7
YOLOv5	Ultralitica	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv5 + SAHI	Ultralytics + SAHI Sviluppatori	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv8-Seg	Ultralitica	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11.8; CUDNN 8.6.0+