Het doel van dit protocol is om een stapsgewijze gids te bieden voor het ontwikkelen van een verbeterd YOLOv11n-gebaseerd model voor PPE-detectie. Het beschrijft architecturale en trainingswijzigingen die resulteren in een lichtgewicht, realtime detector met een state-of-the-art nauwkeurigheid van 90,1% mAP en inherente interpreteerbaarheid.
Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Onderzoeksartikel
Onderzoek naar het detectie-algoritme voor persoonlijke beschermingsmiddelen op transmissielijnen gebaseerd op verbeterde YOLOv11
In dit artikel
Samenvatting
Samenvatting
Bij inspectie van intelligente transmissielijnen staan edge computing-apparaten voor de cruciale uitdaging om realtime prestaties te balanceren met detectienauwkeurigheid voor herkenning van persoonlijke beschermingsmiddelen in complexe operationele situaties. Deze studie stelt WTLS-YOLOv11n voor, een lichtgewicht en inherent interpreteerbaar detectiealgoritme. De methodologie integreert drie synergetische innovaties in de YOLOv11n-architectuur. Een C3K2-WTConv-module die een discrete wavelettransformatie gebruikt, ontleedt features in fysiek betekenisvolle frequentiecomponenten, waardoor robuuste multi-scale feature-extractie met inherente interpreteerbaarheid mogelijk is. Een lichtgewicht gedeeld composietdetectiehoofd bereikt aanzienlijke parameterreductie door strategisch gewichtsverdeling, terwijl multi-scale fusiemogelijkheden behouden blijven. De MPDIoU-verliesfunctie verbetert de lokalisatienauwkeurigheid voor kleine en onregelmatig gevormde doelen. Experimentele validatie toont aan dat het voorgestelde model superieure detectienauwkeurigheid behaalt met aanzienlijk verminderde parameters en rekencomplexiteit ten opzichte van de basislijn, terwijl realtime inferentieprestaties behouden blijven op edge-hardwareplatforms. Kwantitatieve interpreteerbaarheidsanalyse toont aan dat detectiebeslissingen voornamelijk worden gedreven door laagfrequente structurele kenmerken in plaats van hoogfrequente textuurdetails, wat transparante inzichten biedt in het redeneerproces van het model. Vergelijkende experimenten met gangbare detectiemodellen valideren het superieure nauwkeurigheid-efficiëntie compromis van de voorgestelde aanpak. Dit werk creëert een transparante, efficiënte en betrouwbare oplossing voor geautomatiseerd veiligheidstoezicht in elektriciteitsoperaties, met bredere toepassing op veiligheidskritische detectietaken die randimplementatie en interpreteerbare besluitvorming vereisen.
Inleiding
Deep learning heeft industriële veiligheidsprotocollen getransformeerd en nieuwe benaderingen van beroepsrisicomanagement geïntroduceerd. Deze transformatie is vooral zichtbaar in risicovolle sectoren zoals energiesystemen. Visie-gebaseerde intelligente supervisiesystemen maken nu gebruik van de YOLO (You Only Look Once)1-architectuur om geautomatiseerde detectie van persoonlijke beschermingsmiddelen (PPE)2,3 in realtime mogelijk te maken. Deze systemen zijn uitgegroeid tot een cruciale technologie voor bewaking van de veiligheid op de werkplek, en bieden aanzienlijke verbeteringen in detectienauwkeurigheid en responssnelheid ten opzichte van traditionele methoden.
Deze systemen monitoren continu de naleving van veiligheidsnormen, verminderen menselijke fouten en verbeteren het toezicht op complexe energiecentrales. Toch vormen de diepe neurale netwerken die aan deze systemen liggen een aanzienlijke uitdaging: hun besluitvormingsprocessen blijven ondoorzichtig. Dit gebrek aan interpreteerbaarheid vormt het belangrijkste obstakel voor bredere adoptie in de industrie, vooral in veiligheidskritische toepassingen waar begrip van systeemredenering essentieel is voor het opbouwen van vertrouwen en het waarborgen van verantwoording.
Wanneer een model een verkeerd oordeel maakt, een niet-conforme werknemer mist of onnodige operationele uitschakelingen veroorzaakt, levert het ondoorzichtige besluitvormingsproces geen bruikbare informatie voor veiligheidsmanagers. Zonder de mogelijkheid om fouten te diagnosticeren, systeemredenering te begrijpen of beslissingen te verifiëren, kunnen deze systemen niet voldoen aan de betrouwbaarheidsnormen die vereist zijn in omgevingen waar menselijke veiligheid op het spel staat. Deze kloof heeft geleid tot een groeiende vraag naar Explainable Artificial Intelligence (XAI)4,5,6-benaderingen die zowel nauwkeurigheid als transparantie bieden. Het doel is om systemen te ontwikkelen die veiligheidspersoneel kan begrijpen, valideren en vertrouwen in kritieke operationele contexten.
Transparantie blijft essentieel, maar moet worden gebouwd op modellen die betrouwbaar presteren onder uitdagende operationele omstandigheden. Elektriciteitsinstallaties stellen specifieke technische eisen die robuuste detectiemogelijkheden vereisen. Deze omgevingen ervaren extreme verschillen in verlichting, variërend van intens daglicht tot volledige duisternis. Complexe machines belemmeren vaak het gezichtsveld, wat occlusieproblemen veroorzaakt waar standaarddetectiemodellen moeite mee hebben. Weersomstandigheden zorgen voor verdere variabiliteit, wat de zichtbaarheid en beeldkwaliteit beïnvloedt tussen verschillende operationele scenario's. Het aangaan van deze uitdagingen vereist modellen die ondanks de complexiteit van de omgeving consistente prestaties behouden.
Onderzoekers hebben meerdere benaderingen gevolgd om de YOLO-prestaties voor toepassingen op elektriciteitslocaties te optimaliseren. Architectonische aanpassingen vormen een belangrijke onderzoeksrichting. Verschillende studies hebben het YOLOv57-netwerk versterkt door extra detectiekoppen in de nekstructuur te integreren. Deze aanpassing pakt een aanhoudende uitdaging aan bij PPE-detectie: de moeilijkheid om kleine objecten op afstand of in rommelige gezichtsvelden te identificeren. De extra detectielagen stellen het model in staat fijnere ruimtelijke details vast te leggen die standaardarchitecturen mogelijk over het hoofd zien.
Een tweede belangrijke onderzoeksrichting richt zich op modeloptimalisatie voor implementatieomgevingen. Voedingsinstallaties vereisen vaak detectiesystemen die werken op edge-apparaten met beperkte rekenkrachten. Deze beperking heeft inspanningen op het gebied van modelcompressie en efficiëntieverbeteringen aangewakkerd. Onderzoekers hebben technieken ontwikkeld om de modelgrootte en inferentietijd te verkorten, terwijl de detectienauwkeurigheid behouden blijft, waardoor realtime prestaties mogelijk zijn op hardware met beperkte verwerkingscapaciteiten 8,9.
Recente optimalisatie-inspanningen hebben verschillende veelbelovende technieken geïntroduceerd om de modelcomplexiteit te verminderen. Onderzoekers hebben efficiënte backbone-netwerken zoals MobileNetv310 geïntegreerd in architecturen zoals YOLO-M11. Anderen hebben modelsnoei en kennisdestillatie toegepast om compacte varianten te ontwikkelen, waaronder Light-YOLOv412. Deze benaderingen hebben meetbare verbeteringen aangetoond in computationele efficiëntie en haalbaarheid van implementatie.
Deze optimalisatiemethoden hebben echter een fundamentele beperking die inherent is aan conventionele convolutionele architecturen. Standaard convolutieoperaties vereisen steeds diepere netwerklagen of grotere kernelgroottes13 om het receptieve veld uit te breiden, wat essentieel is voor het vastleggen van contextuele informatie in de afbeelding. Deze architectonische eis creëert een onvermijdelijke afweging. Naarmate modellen de capaciteit krijgen om rijkere kenmerken te extraheren en een bredere ruimtelijke context te begrijpen, nemen hun parameteraantallen en rekenkundige eisen aanzienlijk toe. De resulterende modellen overtreffen vaak de verwerkingscapaciteit van edge-devices, waardoor hun praktische inzet in realtime operationele omgevingen wordt beperkt.
Deze spanning tussen feature-extractiecapaciteit en rekenkundige efficiëntie vormt een aanzienlijke methodologische uitdaging die de huidige benaderingen nog niet volledig hebben opgelost. Het vakgebied vereist een fundamenteel andere benadering van feature-extractie die hiërarchische multi-scale features kan vastleggen zonder de proportionele toename van parameters die conventionele methoden vereisen. Een dergelijke aanpak zou modellen in staat stellen zowel de detectieprestaties te behouden die nodig zijn voor veiligheidskritische toepassingen als de efficiëntie die nodig is voor edge-implementatie. Het dichten van deze kloof is een cruciale onderzoeksprioriteit voor het verbeteren van praktische PBM-detectiesystemen in energieomgevingen.
Huidige verklaringsmethoden voor objectdetectie maken voornamelijk gebruik van post-hoc analysemethoden14 , zoals Grad-CAM. Hoewel deze methoden nuttige visualisaties bieden, werken ze onafhankelijk van het leerproces van het model. Een alternatieve benadering is het ontwerpen van architecturale componenten die transparantie bieden via hun operationele mechanismen. Onze op wavelets gebaseerde feature-extractie biedt een eenvoudige manier om te begrijpen welke frequentiecomponenten bijdragen aan detecties, hoewel verder onderzoek nodig is om deze interpreteerbaarheid volledig te kwantificeren.
Dit onderzoek behandelt drie onderling verbonden uitdagingen in PBM-detectiesystemen: detectienauwkeurigheid, computationele efficiëntie en modelinterpretatie. Het werk wijzigt de YOLOv11n15-architectuur door middel van drie gerichte ontwerpwijzigingen.
De eerste aanpassing introduceert de C3K2-WTConv-module, die standaard convolutie vervangt door een door wavelets geïnspireerd feature-extractieproces. Deze aanpak scheidt visuele informatie in frequentiecomponenten: laagfrequente signalen bevatten vorm- en contourinformatie, terwijl hoogfrequente signalen textuur- en randdetails coderen. Deze scheiding verbetert de kwaliteit van de kenmerken en maakt het extractieproces transparanter dan conventionele convolutieoperaties.
De tweede aanpassing implementeert een Lightweight Shared Composite Detection Head (LSCD) om de rekenkundige eisen te verminderen. Deze component gebruikt parameterdeling over detectieschalen heen, waardoor de modelgrootte wordt verkleind terwijl de multi-schaal detectiemogelijkheden behouden blijven. Dit ontwerp richt zich op de resourcebeperkingen die typisch zijn voor edge-apparaten die worden gebruikt op energiebedrijven.
De derde aanpassing vervangt de standaard verliesfunctie door MPDIoU-verlies16 om de nauwkeurigheid van de boundingboxen te verbeteren. Deze wijziging pakt lokalisatie-uitdagingen aan die gepaard gaan met kleine en variabel gevormde PPE-items door betere gradiëntstabiliteit tijdens de training te bieden.
Tests tonen aan dat het aangepaste model 3,8% hogere gemiddelde precisie behaalt dan de basislijn en 11,5% minder parameters gebruikt. Deze resultaten geven aan dat de aanpak voldoet aan praktische eisen voor randuitrol en tegelijkertijd de detectieprestaties verbetert. Het werk biedt een functionele oplossing voor veiligheidsmonitoring in energiebedrijven, hoewel verdere validatie onder diverse operationele omstandigheden noodzakelijk blijft om de betrouwbaarheid van het systeem volledig te beoordelen.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
De beeldgegevens voor deze studie zijn verzameld uit omgevingen voor stroombediening met de benodigde toestemmingen. Alle afbeeldingen werden geanonimiseerd zonder dat er persoonlijk identificeerbare informatie werd bewaard. Deze studie richt zich op het detecteren van persoonlijke beschermingsmiddelen in plaats van het identificeren van individuen. Omdat het onderzoek uitsluitend bestaat uit algoritmeontwikkeling met geanonimiseerde data, was ethische goedkeuring niet vereist.
Het volgende protocol beschrijft een uitgebreide procedure voor het ontwerpen, trainen en evalueren van een lichtgewicht, hoogpresterende en inherent interpreteerbare objectdetectiemodel, genaamd WTLS-YOLOv11n, voor detectie van persoonlijke beschermingsmiddelen (PBM). De gebruikte software in deze studie staat vermeld in de Materiaaloverzicht.
Algemeen architectonisch kader
Het voorgestelde WTLS-YOLOv11n-model is gebaseerd op de YOLOv11n-basislijn. De kernmethodologie bestaat uit het systematisch vervangen of verbeteren van sleutelmodules in de ruggengraat en het hoofd om prestaties, efficiëntie en interpreteerbaarheid te verbeteren.
Het voorgestelde WTLS-YOLOv11n-model is gebaseerd op de YOLOv11n-basislijn. De kernmethodologie bestaat uit het systematisch vervangen of verbeteren van sleutelmodules in de ruggengraat en het hoofd om prestaties, efficiëntie en interpreteerbaarheid te verbeteren. Het algemene architectonische paradigma van YOLOv11n, dat bestaat uit een ruggengraat, nek en hoofd, werd behouden in het voorgestelde model. In de backbone werden specifieke C3K2-modules vervangen door de voorgestelde C3K2-WTConv-modules om de feature-extractie te verbeteren. In de kop werd de oorspronkelijke detectiekop vervangen door de voorgestelde Lightweight Shared Composite Detection Head (LSCD) om de modelcomplexiteit te verminderen. De volledige architectuur van het voorgestelde WTLS-YOLOv11n-model, in contrast met de basislijn, wordt geïllustreerd in Figuur 1.
C3K2-WTConv moduleontwerp
Deze module is ontworpen om de standaard convolutionele modules binnen de YOLOv11n-backbone te vervangen. Het ontwerp wordt geleid door twee hoofddoelstellingen: (a) het efficiënt uitbreiden van het receptieve veld van het model voor het vastleggen van contextuele informatie op meerdere schaalniveaus zonder het aantal parameters of de computationele complexiteit significant te verhogen, en (b) het leren van robuustere en inherent interpreteerbare feature-representaties door featuremaps expliciet te ontleden in het frequentiedomein.
Ontwerp van de Core WTConv-laag
De fundamentele WTConv (Wavelet Transform Convolution) laag is ontworpen om de 2D Discrete Haar Wavelet Transformatie te implementeren. Dit proces wordt uitgevoerd via een set specifieke wavelet-kernels:
Wavelet-kernen: De transformatie wordt geïmplementeerd via vier vaste, niet-traineerbare diepte-convolutiekerne (F_LL, F_LH, F_HL, F_HH), die overeenkomen met de Haar-wavelet-basisfuncties. Deze kernels zijn verantwoordelijk voor het opsplitsen van de inputfeaturemap in zijn laag- en hoogfrequente componenten.
Decompositie en Downsampling: Deze kernels worden toegepast op de inputfeature map (X) met een stap van 2. Deze enkele bewerking voert efficiënt zowel feature-decompositie als ruimtelijke downsampling uit, waarbij de input wordt gescheiden in vier verschillende subbanden.
Fysieke interpretatie van uitvoercomponenten
De vier feature-subbanden die door de wavelet-decompositie worden gegenereerd, hebben een duidelijke fysieke interpretatie. Zoals geïllustreerd in Figuur 2, splitst de WTConv-laag de invoer recursief op in de volgende componenten:
Laagfrequente component (LL): Deze component behoudt de algehele structuur, contour en andere globale informatie van het doel met de helft van de ruimtelijke resolutie. Het dient als basis voor het model om de "vorm" van het doelwit te begrijpen.
Hoogfrequente componenten (LH, HL, HH): Deze drie componenten leggen fijnkorrelige details vast, zoals respectievelijk horizontale, verticale en diagonale randen en texturen. Ze stellen het model in staat zich te richten op de "details" van het doelwit.
Integratie in de C3K2-modulestructuur
De ontworpen WTConv-laag is naadloos geïntegreerd in de C3K2-bottleneckstructuur van YOLOv11n.
Vervangingsstrategie: Binnen de originele C3K2-module wordt de standaard 3x3 convolutionele laag vervangen door de WTConv-laag. Deze aanpak behoudt het efficiënte hergebruikmechanisme van de C3K2-architectuur en introduceert de voordelen van de wavelettransformatie, wat resulteert in de uiteindelijke C3K2-WTConv-module (gedetailleerde structuur getoond in Figuur 3).
Cascaded Receptive Field Expansion: Het WTConv-proces kan recursief worden toegepast op de laagfrequente (LL) uitgang van de voorgaande trap. Dit mechanisme voor gecascadeerde ontbinding stelt het model in staat kenmerken te analyseren over een exponentieel toenemend receptief veld met minimale rekenkundige overhead, waardoor een efficiënt multi-schaal frequentiedecompositiepad ontstaat.
Lightweight Shared Composite Detection Head (LSCD) ontwerp
Deze module is ontworpen om de oorspronkelijke YOLOv11n-detectiekop te vervangen, met als hoofddoel de modelcomplexiteit en rekenkracht drastisch te verminderen voor efficiënte implementatie op resource-beperkte edge-devices. Het ontwerp pakt de significante parameterredundantie aan die wordt gevonden in standaard multi-scale detectiekoppen (gedetailleerde structuur weergegeven in Figuur 4.
Redenering en ontwerpdoelen
De onafhankelijke voorspellingstakken voor elke feature-schaal (P3-P5) in de oorspronkelijke YOLOv11-kop leiden tot een hoog aantal parameters. De LSCD introduceert een hybride parameterdelingstrategie om superieure parameterefficiëntie te bereiken, terwijl kritieke multi-scale feature fusion-mogelijkheden behouden blijven.
Parameterdeling en feature-fusiemechanisme
De kern van de LSCD ligt in zijn tweefasige feature-verwerkingspijplijn:
Schaalspecifieke preprocessing: Voor elke invoerfeature map van de hals (P3, P4, P5) wordt een niet-gedeelde 1x1 Convolutie gevolgd door een Group Normalization (GN) laag. Deze eerste stap stelt het netwerk in staat schaalspecifieke kanaaltransformaties te leren, zodat unieke kenmerken van elk feature-niveau behouden blijven vóór de fusie.
Efficiënte cross-scale fusie: Na de preprocessing worden een reeks gedeelde 3x3 Convolution-GN modules gebruikt om de kernfeature-fusie op verschillende schalen uit te voeren. Door gewichten te delen leren deze modules een gegeneraliseerd featurefusiepatroon, dat de primaire bron van parameterreductie is. Dit ontwerp dwingt het model om robuustere en universele fusierepresentaties te leren.
Dynamische schaalaanpassing en brancheoptimalisatie
Om eventueel informatieverlies door het delen van het gewicht te compenseren en de voorspellingsnauwkeurigheid te verfijnen, worden twee extra mechanismen geïntroduceerd:
Learnable Scale Layer: Voor elke detectieschaal wordt een learnable scale-laag toegevoegd. Deze laag introduceert een per-schaal leerbare scalar die de gefuseerde kenmerken dynamisch herweegt, waardoor het model adaptief kenmerken kan benadrukken of onderdrukken op basis van de doelobjectgroottes die op die schaal voorkomen.
Geoptimaliseerde classificatietak: De classificatietak wordt uitgebreid door gebruik te maken van de Softmax-activatiefunctie voor kansverdeling en het integreren van een Group Normalization (GN)-laag. Dit stabiliseert de training van de classificatietaak en verbetert de robuustheid van betrouwbaarheidsvoorspellingen, een techniek die effectief is gebleken in architecturen zoals FCOS.
Verbeterd Verlies Functieontwerp (MPDIoU)
De verliesfunctie is herontworpen om specifiek de uitdagingen van nauwkeurige regressie van begrenzingsboxen voor kleine, rommelige en onregelmatig gevormde doelen aan te pakken, die vaak voorkomen bij PPE-detectiescenario's.
Motivatie en beperkingen van traditioneel verlies van IoU
Standaard IoU-gebaseerde verliezen ondervinden in deze context verschillende kritieke nadelen:
Verdwijnende gradiënten: Wanneer de voorspelde en grondwaarheidsboxen geen overlapping hebben, is de IoU nul en verdwijnt de verliesgradiënt, waardoor het leerproces stagneert.
Ongevoeligheid voor uitlijning: Meerdere begrenzingsboxconfiguraties kunnen dezelfde IoU-score opleveren, waardoor de verliesfunctie ongevoelig is voor de kwaliteit van uitlijning (bijvoorbeeld middelpuntafwijking versus vormafwijking).
Slechte prestaties op kleine objecten: Voor kleine doelen kunnen zelfs kleine pixelafwijkingen significant zijn, maar ze leiden vaak tot verwaarloosbare veranderingen in de IoU-waarde, wat leidt tot onnauwkeurige lokalisatie.
Het Aannemen van het Minimum Point Distance IoU (MPDIoU) verlies
Om de bovengenoemde beperkingen te overwinnen, vervangt het protocol het standaardverlies door het Minimum Point Distance IoU (MPDIoU)-verlies. MPDIoU verbetert de standaard IoU-metriek door een strafterm op te nemen die direct de afstand tussen de voorspelde en grondwaarheidsboxen bestraft, zelfs wanneer ze niet overlappen.
Kernmechanisme: De strafterm is afgeleid van de Euclidische afstand tussen de overeenkomstige hoekpunten van de voorspelde box (pred) en de ground-truth box (gt). Specifiek worden de kwadratische afstanden voor de linkerbovenhoeken 
) en de rechterbenedenhoeken (
) berekend:
(1)
(2)
Om ervoor te zorgen dat de straf schaalinvariant is, wordt deze afstand genormaliseerd door de afmetingen van de kleinste omsluitende doos die zowel de voorspelde als de grondwaarheidsboxen omvat. Laat w en h respectievelijk de breedte en hoogte zijn van deze omvattende doos. De MPDIoU-metriek wordt dan geformuleerd als:
(3)
Ten slotte wordt de MPDIoU-verliesfunctie (LMPDIoU) gedefinieerd als:
LMPDIoU = 1 - MPDIoU (4)
Belangrijke voordelen: Deze geometrische strafterm pakt direct de eerder genoemde problemen aan door: i) een betekenisvolle, niet-nul gradiënt te bieden, zelfs wanneer de dozen niet overlappen, waardoor gradiënt verdwijnt en continue modeloptimalisatie wordt gegarandeerd, ii) verhoogde gevoeligheid biedt voor afwijkingen van positionele, grootte en aspectverhouding, wat cruciaal is voor de precieze lokalisatie van kleine en diverse PPE-items, iii) het leveren van stabielere en consistentere gradiëntsignalen gedurende de training, wat snellere convergentie bevordert en resulteert in superieure lokalisatienauwkeurigheid.
Datasets en experimentele opstelling
Zelfgebouwde PBM-detectiedataset
We hebben een PBM-detectiedataset opgesteld met 5.000 hoge-resolutiebeelden van de werking van de stroomtransmissielijn, geannoteerd met LabelImg en omgezet naar YOLO TXT-formaat. De dataset omvat vijf categorieën: veiligheidshelmen (1.245 gevallen), veiligheidsharnassen (1.128 gevallen), armbanden (892 gevallen), status van werken op hoogte (1.056 gevallen) en status op grondniveau (1.124 gevallen). Data wordt verdeeld in trainingssets (4.000 afbeeldingen), validatie (500 afbeeldingen) en testsets (500 afbeeldingen). De beelden tonen uitdagende omstandigheden, waaronder extreem licht, zware occlusie (23% met >50% dekking) en complexe industriële achtergronden. Standaard augmentatietechnieken (willekeurig omdraaien, rotatie, kleurjitter, mozaïek) werden tijdens de training toegepast.
PASCAL VOC-dataset voor generalisatietesten
Om de generalisatiecapaciteit van het model te evalueren buiten stroombedieningsscenario's, gebruikten we de PASCAL VOC-dataset, die VOC2007 en VOC2012 combineert voor in totaal 21.503 beelden. Volgens de standaardpraktijk gebruikten we 11.540 beelden van VOC2012 voor training en validatie, en 9.963 beelden van VOC2007 voor testen. De VOC-dataset bevat 20 objectcategorieën in verschillende realistische scenario's. Hoewel de specifieke objecten verschillen van onze PPE-categorieën, zijn de detectieuitdagingen (schaalvariatie, occlusie, complexe achtergronden) vergelijkbaar, waardoor het geschikt is om de algemene detectiemogelijkheden en overdraagbaarheid van het model te beoordelen.
Implementatiedetails
Dit protocol beschrijft de procedure voor het trainen en evalueren van het model. Er wordt aangenomen dat de gebruiker toegang heeft tot de broncode, een geschikte Python-omgeving en de voorbereide datasets.
Voorbereiding van systemen en omgevingen
Een werkstation uitgerust met een NVIDIA GPU met minstens 24 GB VRAM werd gebruikt om voldoende geheugen voor training te garanderen (bijv. NVIDIA GeForce RTX 4090). Het PyTorch deep learning-framework (versie 1.12.0 of hoger) samen met de bijbehorende CUDA-toolkit werd op het werkstation geïnstalleerd. De installatie werd geverifieerd door een terminal te openen en het commando "python -c'import torch; print(torch.cuda.is_available())'", die naar verwachting "True" zou teruggeven. Vereiste Python-pakketten werden geïnstalleerd door naar de rootmap van het project te navigeren en het commando "pip install -r requirements.txt" uit te voeren. Dit commando installeerde automatisch afhankelijkheden zoals numpy, opencv-python, pyyaml, tensorboard en torchvision. De voorbereiding van de dataset werd gecontroleerd om te waarborgen dat trainingsbeelden in /data/train/images/ stonden en dat annotatiebestanden in /data/train/labels/ in YOLO-formaat waren (klasse x_center y_center breedtehoogte). Hetzelfde verificatieproces werd toegepast op de validatiedatasets (/data/val/) en testdatasets (/data/test/).
Trainingsconfiguratie
Het configuratiebestand config/wtls_yolov11n.yaml werd geopend met een teksteditor om de trainingsparameters in te stellen. Datapaden werden geconfigureerd door de parameter 'pad' te vinden en deze in de rootdirectory van de dataset te zetten, terwijl de parameters 'train', 'val' en 'test' werden gecontroleerd om naar de juiste submappen te verwijzen. De 'nc'-parameter (aantal klassen) werd bevestigd om overeen te komen met de dataset, die werd ingesteld op 5 voor PPE-detectie. Trainingshyperparameters werden geconfigureerd met het aantal epochs ingesteld op 300 voor volledige training en de batchgrootte op 16, met het begrip dat deze waarde kon worden aangepast op basis van de beschikbaarheid van GPU-geheugen en teruggebracht kon worden tot 8 bij fouten uit het geheugen. De invoerbeeldgrootte (imgsz) werd ingesteld op 640, en de optimizer werd bevestigd als SGD met een initiële leersnelheid (lr0) van 0,01. De gewichtsafname werd bevestigd op 0,0005 en het momentum werd ingesteld op 0,937. Data-augmentatietechnieken werden ingeschakeld met de standaard geconfigureerde instellingen, waaronder mozaïekaugmentatie (mozaïek: 1,0), willekeurige horizontale flip met 50% waarschijnlijkheid, en kleurjitter met parameters hsvh: 0,015, hsvs: 0,7 en hsvv : 0,4. Hardwarebenuttingsparameters werden ingesteld met het aantal workers ingesteld op 8 voor CPU-threads die worden gebruikt bij dataladen, en de apparaatparameter op 0 om de eerste GPU te gebruiken, met de optie om deze op "0,1" te zetten voor multi-GPU training indien nodig.
Modeltrainingsuitvoering
Modeltraining werd geïnitialiseerd vanaf de commandoregel door het commando "python train.py --cfg config/wtls_yolov11n.yaml --weights ''--data data.yaml" uit te voeren, waarbij de --cfg-parameter het modelconfiguratiebestand specificeerde, de --weights-parameter werd ingesteld op een lege string om vanaf nul te trainen (alternatief kon yolov11n.pt worden gebruikt voor transfer learning), en de --dataparameter specificeerde de datasetconfiguratie. Tijdens de training werden convergentie-indicatoren waargenomen om de modelprestaties te volgen. In de eerste 50 epochs werd een snelle afname van verlies waargenomen, waarbij box_loss daalde van ongeveer 1,5 naar 0,8. Tussen de periode 50 en 150 werd een gestage verbetering waargenomen, waarbij box_loss afnam van ongeveer 0,8 naar 0,5. Tijdens de epochen 150 tot 300 vond de fijnafstemmingsfase plaats waarbij box_loss stabiliseerde rond de 0,4 tot 0,5. De validatie-mAP@0,5-metriek werd verwacht tegen tijdperk 200 meer dan 85% te bereiken. Het opslaan van checkpoints werd gecontroleerd om ervoor te zorgen dat training automatisch checkpoints elke 10 epochs in de directory opslaat/traint/exp/gewichten/. De aanwezigheid van last.pt (meest recente checkpoint) en best.pt (hoogste mAP-checkpoint) werd bevestigd, waarbij elk checkpointbestand naar verwachting ongeveer 5 tot 6 MB groot zou zijn. De voortgang van de training kon optioneel worden gevolgd met TensorBoard door een nieuwe terminal te openen en het commando "tensorboard --logdir runs/train" uit te voeren, waarna je door een browser navigeerde om realtime plots van verliescurves, leersnelheidsschema en mAP-trends te http://localhost:6006 bekijken. Veelvoorkomende problemen werden opgelost via probleemoplossingsprocedures, waarbij CUDA-out-of-memory-fouten werden opgelost door de batchgrootte te verkleinen tot 8 of 4, NaN-verlieswaarden werden opgelost door de leersnelheid te verlagen tot 0,005, en mAP-plateaus onder 80% werden onderzocht door de correctheid van annotatie te verifiëren en de trainingsepochen te verhogen tot 400.
Modelevaluatieprotocol
Er werd een veelzijdige evaluatieprocedure uitgevoerd om de effectiviteit, efficiëntie en interpreteerbaarheid van het voorgestelde model volledig te valideren.
Kwantitatieve prestatie-evaluatie
Prestatiemaatstaven
Evalueer de modelnauwkeurigheid met behulp van gemiddelde Gemiddelde Precisie (mAP) bij een IoU-drempel van 0,5 (mAP@0,5), Precisie en Herinnering. Beoordeel de modelefficiëntie door het totale aantal parameters (M) en floating-point operations (FLOPs, G) te meten. Meet inferentiesnelheid in Frames Per Second (FPS) op zowel een server-grade GPU als een edge-apparaat. Voor het testen van edge-apparaten zet je de energiemodus op maximale prestaties en warm je het model op met 100 dummy-inferenties voordat je FPS-opnames van meer dan 500 testbeelden opneemt.
Vergelijking met state-of-the-art modellen: Vergelijk het voorgestelde WTLS-YOLOv11n-model met zijn directe baseline (YOLOv11n) en een divers scala aan detectoren, waaronder mainstream CNN-gebaseerde YOLO-modellen (YOLOv5n, YOLOv8n, YOLOv9s), een tweetrapsdetector (Faster R-CNN) en een transformator-gebaseerde detector (RT-DETR). Train alle modellen voor 300 epochs met hun aanbevolen standaard hyperparameters. Noteer alle metrics die zijn gedefinieerd in de sectie Performance metrics voor elk model op zowel de zelfgebouwde PPE-dataset als de PASCAL VOC-dataset. Voor VOC-evaluatie train je op de gecombineerde VOC2012 trainval- en VOC2007 trainvalsets, en test je vervolgens op VOC2007 testset volgens het standaardprotocol.
Ablatiestudies: Voer een systematische ablatiestudie uit om de individuele bijdragen van de voorgestelde componenten te analyseren.
Analyse van de effectiviteit van componenten: Vanuit het basismodel YOLOv11n integreer je stapsgewijs de C3K2-WTConv-module, de LSCD-kop en het MPDIoU-verlies. Voor elke configuratie train je het model opnieuw voor 300 epochs met identieke hyperparameters (batchgrootte 16, leersnelheid 0,01, SGD-optimizer). Noteer de veranderingen in mAP, Precisie, Terugroepen, Parameters, FLOPs en FPS om de effectiviteit van elk onderdeel te verifiëren. Bereken procentuele verbeteringen ten opzichte van de basislijn voor elke maatstaf.
Plaatsingsanalyse: Om de optimale plaatsing van de C3K2-WTConv-module te bepalen, integreer deze in verschillende delen van de netwerkarchitectuur. Test drie configuraties: (i) alleen-ruggengraatintegratie, (ii) alleen-nekintegratie, en (iii) volledige integratie in zowel ruggengraat als nek. Train elke configuratie over 300 epochs en vergelijk de resulterende mAP@0,5-scores om de meest effectieve integratiestrategie te identificeren. Selecteer de optimale configuratie voor alle volgende experimenten.
Kwalitatieve prestatie-evaluatie
Visualisatie van detectieresultaten: Selecteer 12-15 representatieve beelden uit de testset die uitdagende scenario's uit de praktijk bevatten, waaronder sterke achtergrondverlichting, zware objectocclusie, complexe achtergronden en onconventionele camerahoeken. Voor elk vergelijkingsmodel (baseline, YOLOv5n, YOLOv8n, YOLOv9s en WTLS-YOLOv11n) wordt inferentie uitgevoerd op deze afbeeldingen met een betrouwbaarheidsdrempel van 0,25 en een IoU-drempel van 0,45. Genereer en render de detectie-uitgangen (bounding boxes met klasselabels en betrouwbaarheidsscores) op deze afbeeldingen. Rangschik visualisaties in een rasterformaat waarbij rijen verschillende scenario's vertegenwoordigen en kolommen verschillende modellen.
Robuustheidsanalyse: Vergelijk visueel de gerenderde detectie-output van verschillende modellen. Beoordeel de robuustheid en superioriteit van het voorgestelde model door gevallen van valse negatieven (gemiste objecten), vals-positieven (onjuiste detecties) en dubbele detecties (meerdere dozen voor één object met IoU > 0,7 tussen voorspellingen) te tellen en te markeren. Gebruik rode cirkels om problematische detecties in de visualisatiefiguur te markeren. Bereken per model valse negatieve percentages en vals-positieve tellingen over de geselecteerde testbeelden. Haal de gemiddelde betrouwbaarheidsscores uit en vergelijk ze voor echte positieve detecties tussen modellen.
Interpreteerbaarheidsanalyse
Om de inherente interpreteerbaarheid van de C3K2-WTConv-module te valideren, werd een visualisatieprocedure uitgevoerd op geselecteerde invoerbeelden. Het getrainde WTLS-YOLOv11n-model werd geladen en een voorwaartse haak werd geregistreerd op de C3K2-WTConv-module op de vierde laag van de ruggengraat. Voorwaartse propagatie werd uitgevoerd op het invoerbeeld en de uitvoerkenmerk-tensor werd vastgelegd. Van de vastgelegde kenmerktensor van vorm [batch, kanalen, hoogte, breedte] werden kanalen die overeenkwamen met verschillende frequentiecomponenten gescheiden. De eerste 25% van de kanalen werd aangeduid als laagfrequente (LL) component en de resterende 75% als hoogfrequente (LH, HL, HH) componenten. Voor elk frequentiecomponenttype werd het gemiddelde over alle kanalen binnen die component berekend om single-channel activatiekaarten te maken. L2-norm werd toegepast over ruimtelijke dimensies wanneer nodig om sterke activaties te benadrukken. De activatiekaarten werden genormaliseerd naar bereik [0, 1] en er werd een kleurenkaart (bijvoorbeeld 'jet'-kleurkaart) toegepast. De heatmaps werden aangepast van formaat om overeen te komen met de oorspronkelijke resolutie van het invoerbeeld met behulp van bilineaire interpolatie. De laagfrequente heatmap en hoogfrequente heatmap werden met 40% transparantie over het originele beeld gelegd om interpreteerbare visualisaties te creëren die laten zien waar het model zich richt op structurele versus textuurkenmerken.
Om rigoureus te valideren dat detectiebeslissingen afhankelijk zijn van frequentiedomeinkenmerken, werd een kwantitatieve analyse uitgevoerd. Een subset van 200 tot 300 beelden werd geselecteerd uit de testset die succesvolle detecties bevatte (betrouwbaarheidsscore hoger dan 0,5). Deze subset werd gegarandeerd om diverse scenario's te vertegenwoordigen om steekproefbias te voorkomen. Voor elk beeld in de subset werd voorwaartse propagatie uitgevoerd en werd de output van de C3K2-WTConv-module op de vierde backbone-laag geëxtraheerd. De feature-tensor werd onderverdeeld in laagfrequente (LL, eerste 25% van de kanalen) en hoogfrequente (HF, overige 75% van de kanalen) componenten. Voor elk beeld werd de gemiddelde absolute activatiesterkte berekend over de ruimtelijke afmetingen (hoogte en breedte) voor beide frequentiecomponenten. De LL-sterkte werd berekend als het gemiddelde van de absolute waarde van LL-kenmerken over alle ruimtelijke posities, en de HF-sterkte werd berekend als het gemiddelde van de absolute waarde van HF-kenmerken over alle ruimtelijke posities. Deze waarden werden vastgelegd samen met de maximale detectiebetrouwbaarheidscore voor dat beeld. Met behulp van de verzamelde gegevens (LL_strength, HF_strength, confidence_score) over alle beelden werden Pearson-correlatiecoëfficiënten berekend. De correlatie tussen LL-sterkte en vertrouwensscore werd berekend, evenals de correlatie tussen HF-sterkte en de betrouwbaarheidsscore. Statistische software of de scipy.stats.pearsonr-functie van Python werd gebruikt om zowel correlatiecoëfficiënten (r) als p-waarden te verkrijgen. De statistische significantie werd beoordeeld met een p-waarde drempel van 0,05, waarbij een p-waarde kleiner dan 0,05 aangaf dat de correlatie statistisch significant was. De grootte van correlatiecoëfficiënten werd vergeleken om te bepalen welke frequentiecomponent een sterkere associatie met detectievertrouwen had. De volgende metrieken werden in een gestructureerd formaat geregistreerd: LL-correlatiecoëfficiënt (rLL) en p-waarde (pLL), HF-correlatiecoëfficiënt (rHF) en p-waarde (pHF), gemiddelde activatiesterktes (meanLL, meanHF) en steekproefgrootte (aantal geanalyseerde afbeeldingen). De verwachte uitkomsten waren dat laagfrequente kenmerken een sterkere positieve correlatie met betrouwbaarheidsscores zouden vertonen (rLL groter dan 0,60, p minder dan 0,001) vergeleken met hoogfrequente kenmerken (rHF ongeveer 0,40 tot 0,50, p minder dan 0,01), wat aangeeft dat detectiebeslissingen voornamelijk werden gedreven door structurele informatie die in de LL-component werd vastgelegd.
Deze kwantitatieve analyse heeft interpreteerbaarheid vastgesteld die verder gaat dan de beperkingen van kwalitatieve visualisatie. De combinatie van correlatieanalyse (die statistische associatie aantoont) en frequentiedomeinvisualisatie (die ruimtelijke aandacht aantoont) leverde rigoureus empirisch bewijs dat de besluitvorming van het model daadwerkelijk gebaseerd was op laagfrequente structurele kenmerken, zoals bedoeld door het ontwerp.
Verwachte uitkomsten: Lage frequentiekenmerken zouden een sterkere positieve correlatie met betrouwbaarheidsscores moeten vertonen (rLL > 0,60, p < 0,001) vergeleken met hoogfrequente kenmerken (rHF≈ 0,40-0,50, p < 0,01), wat aangeeft dat detectiebeslissingen voornamelijk worden bepaald door structurele informatie die in de LL-component wordt vastgelegd.
Deze kwantitatieve analyse stelt interpreteerbaarheid vast voorbij kwalitatieve visualisatie. De combinatie van correlatieanalyse (die statistische associatie aantoont) en frequentiedomeinvisualisatie (die ruimtelijke aandacht toont) levert rigoureus empirisch bewijs dat de besluitvorming van het model daadwerkelijk berust op laagfrequente structurele kenmerken zoals bedoeld door het ontwerp.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
Om de prestaties van het voorgestelde WTLS-YOLOv11n-model te evalueren, voerden we experimenten uit op onze zelfgebouwde PPE-dataset en de PASCAL VOC 2007+2012-dataset. Alle meetwaarden worden gerapporteerd op de respectievelijke testsets, tenzij anders vermeld.
Vergelijking met State-of-the-Art modellen
We hebben WTLS-YOLOv11n gebenchmarkt met gangbare objectdetectoren over drie architecturale paradigma's: CNN-gebaseerde YOLO-modellen (YOLOv5n, YO...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
De experimentele resultaten tonen aan dat WTLS-YOLOv11n 90,1% mAP behaalt en parameters met 11,5% verlaagt ten opzichte van de YOLOv11n-basislijn. Deze verbetering in zowel nauwkeurigheid als efficiëntie is het gevolg van de synergetische integratie van drie componenten: wavelet-gebaseerde feature-extractie, licht detectiekopontwerp en verbeterd lokalisatieverlies.
De ablatiestudie toont aan dat de C3K2-WTConv-module de grootste individuele prestatiewinst bied...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De auteurs geven geen belangenconflicten aan.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| CUDA Toolkit | NVIDIA Corporation | CUDA Toolkit Versie 11.7 | |
| Deep Learning Framework | PyTorch Foundation | PyTorch Versie 1.12.0 | |
| Graphics Processing Unit | NVIDIA Corporation | GeForce RTX 4090 | |
| NumPy | NumPy Developers | NumPy | |
| OpenCV | OpenCV Team | opencv-python | |
| Operating System | Canonical Ltd. | Ubuntu 22.04 LTS (of geef uw OS op) | |
| Python | Python Software Foundation | Python Versie 3.8 of hoger | |
| TensorBoard | TensorFlow Authors | TensorBoard | |
| Torchvision | PyTorch Foundation | Torchvision |
Referenties
- You only look once: Unified, real-time object detection. Redmon, J., Divvala, S., Girshick, R., Farhadi, A. Proc IEEE Conf Comput Vis Pattern Recognit, , (2016).
- Liu, M., Li, Z., Li, Y., Liu, Y. A fast and accurate method of power line intelligent inspection based on edge computing. IEEE Trans Instrum Meas. 71, 1-12 (2022).
- Gallo, G., Di Rienzo, F., Garzelli, F., Ducange, P., Vallati, C. A smart system for personal protective equipment detection in industrial environments based on deep learning at the edge. IEEE Access. 10, 110862-111110 (2022).
- Selvaraju, R. R., et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. Int J Comput Vis. 128, 336-359 (2020).
- Grad-CAM++: Generalized gradient-based visual explanations for deep convolutional networks. Chattopadhay, A., Sarkar, A., Howlader, P., Balasubramanian, V. N. Proc. IEEE Winter Conf Appl Comput Vis (WACV, , (2018).
- Axiom-based grad-CAM: Towards accurate visualization and explanation of CNNs. Fu, R., et al. Proc Brit Mach Vis Conf, , (2020).
- Yipeng, L., Junwu, W. Personal protective equipment detection for construction workers: A novel dataset and enhanced YOLOv5 approach. IEEE Access. 12, 47338-47358 (2024).
- BN, R., Guru, R. Small object detection for indoor assistance to the blind using YOLO NAS small and super gradients. arXiv preprint. , (2024).
- Yolov9: Learning what you want to learn using programmable gradient information. Wang, C. Y., Yeh, I. H., Liao, H. Y. M. Eur Conf Comput Vis, , Springer Nature. Switzerland, Cham. (2024).
- Searching for mobilenetv3. Howard, A., et al. Proc. IEEE/CVF Int Conf Comput Vis, , https://ieeexplore.ieee.org/document/9008835 (2019).
- Liu, B., et al. YOLO-M: An efficient YOLO variant with MobileOne backbone for real-time license plate detection. Proc Int Semin Artif Intell Netw Inf Technol (AINIT). , IEEE. (2024).
- Ma, X., et al. Light-YOLOv4: An edge-device oriented target detection method for remote sensing images. IEEE J Sel Top Appl Earth Obs Remote Sens. 14, 10808-10820 (2021).
- Scaling up your kernels to 31x31: Revisiting large kernel design in CNNs. Ding, X., Zhang, X., Han, J., Ding, G. Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit, , https://openaccess.thecvf.com/content/CVPR2022/papers/Ding_Scaling_Up_Your_Kernels_to_31x31_Revisiting_Large_Kernel_Design_CVPR_2022_paper.pdf (2022).
- Black-box explanation of object detectors via saliency maps. Petsiuk, V., Jain, R., Manjunatha, V. Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit, , (2020).
- He, L., et al. Research and application of YOLOv11-based object segmentation in intelligent recognition at construction sites. Buildings. 14 (12), 3777(2024).
- Liu, Q., Lv, J., Zhang, C. MAE-YOLOv8-based small object detection of green crisp plum in real complex orchard environments. Comput Electron Agric. 226, 109458(2024).
- Fast r-cnn. Girshick, R. Proc IEEE Int Conf Comput Vis, , https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf (2015).
- Detrs beat yolos on real-time object detection. Zhao, Y., et al. Proc IEEE/CVF Conf Comput Vis. Pattern Recognit, , https://openaccess.thecvf.com/content/CVPR2024/papers/Zhao_DETRs_Beat_YOLOs_on_Real-time_Object_Detection_CVPR_2024_paper.pdf (2024).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.