Dieser Artikel schlägt eine Methode zur Überwachung der Arbeitssicherheit in Produktionslinien vor, die You Only Look Once Version 11 (YOLOv11) mit faltenden neuronalen Netzen kombiniert. Die Methode erreichte eine mittlere durchschnittliche Präzision bei einem Intersection-over-Union-Schwellenwert von 0,5 (mAP@0,5) von 0,91, eine mAP@0,5:0,95 von 0,82 und 120 Bilder pro Sekunde auf einer Grafikverarbeitungseinheit, wodurch sie die evaluierten Basismodelle übertraf.
Methodenartikel
Echtzeit-Überwachung der Sicherheit von Produktionslinien mittels Deep-Learning-basierter Objekterkennung und Merkmalsverstärkung
In diesem Artikel
Zusammenfassung
Zusammenfassung
Mit der fortschreitenden Entwicklung von Industrie 4.0 haben sich die Automatisierungs- und Intelligenzniveaus von Produktionslinien deutlich verbessert, was höhere Anforderungen an die Echtzeitfähigkeit, Genauigkeit und Sicherheit der Überwachung stellt. Herkömmliche Überwachungssysteme, die auf manuellen Inspektionen oder einfachen schwellenbasierten Entscheidungen beruhen, weisen in der Regel langsame Reaktionszeiten, hohe Fehlalarmraten und eingeschränkte Intelligenz auf. Daher schlägt dieser Artikel ein Sicherheitsüberwachungssystem für Produktionslinien vor, das You Only Look Once Version 11 (YOLOv11) mit einem faltenden neuronalen Netzwerk (CNN) kombiniert. Zunächst wurden die erfassten Bilder vorverarbeitet. Anschließend wurde YOLOv11 verwendet, um Mitarbeiter, Anlagen und potenzielle Gefahrenquellen in Echtzeit zu identifizieren. Danach wurde ein erweitertes CNN-Netzwerk mit mehrskaliger Merkmalsfusion und Attention-Mechanismen eingeführt, um die Fähigkeit zur Merkmalsextraktion für kleine und verdeckte Objekte zu verbessern. Schließlich wurden die Detektionsergebnisse mit den durch das CNN verbesserten Merkmalen fusioniert, um den Sicherheitsstatus zu bewerten. Experimente wurden anhand eines selbst erstellten Datensatzes zur Sicherheit von Produktionslinien durchgeführt, wobei der Optimierer Stochastic Gradient Descent (SGD) mit einem Momentum von 0,9, eine initiale Lernrate von 0,01, eine Gewichtsreduzierung (weight decay) von 0,0005, eine kosinusförmig abgekühlte Lernratenanpassung, eine Batch-Größe von 32 und eine Trainingsdauer von 200 Epochen eingesetzt wurden. Als Bewertungskriterien dienten mAP@0,5 und die Detektionsgeschwindigkeit in Bildern pro Sekunde (FPS), um einen Vergleich mit den ausgewerteten Baseline-Algorithmen zu ermöglichen. Die Ergebnisse zeigen, dass das vorgeschlagene System einen mAP@0,5-Wert von 0,91 und eine Detektionsgeschwindigkeit von 120 FPS erreichte. Zudem zeigte es eine robuste Leistung unter komplexen Bedingungen wie Schattierung und wechselnden Lichtverhältnissen, was seine Effektivität und praktische Anwendbarkeit in der Sicherheitsüberwachung von Produktionslinien untermauert.
Einleitung
In der modernen industriellen Produktion ist Sicherheit die Grundlage, um die Produktionseffizienz und das Wohlergehen des Personals sicherzustellen. Die Produktionsumgebung umfasst typischerweise hochgeschwindigkeitsmechanische Ausrüstung, komplexe technologische Prozesse und kollaborative Operationen mit mehreren Aufgaben. Jede kleine potenzielle Sicherheitsgefahr kann zu schwerwiegenden Produktionsunfällen führen, die erhebliche wirtschaftliche Verluste und sogar Todesfälle verursachen. Daher ist es entscheidend, ein effizientes, intelligentes und echtzeitfähiges Überwachungssystem für die Sicherheit einzurichten, um die Sicherheit in der industriellen Produktion zu erhöhen1,2.
Herkömmliche Methoden zur Sicherheitsüberwachung stützen sich hauptsächlich auf manuelle Videoüberwachung und verschiedene Sensoren (wie Infrarot-, Rauch- und Vibrationssensoren)3. Die manuelle Überwachung ist nicht nur ineffizient, sondern auch anfällig für nicht erkannte Vorfälle aufgrund von Ermüdung des Überwachungspersonals und kann keine durchgängige sowie umfassende Abdeckung gewährleisten. Obwohl Sensoren eine gewisse Frühwarnfunktion bieten können, ist ihr Erfassungsbereich begrenzt, und sie reagieren empfindlich auf Umwelteinflüsse, was zu ausgeprägten Problemen mit Fehlalarmen führt4. Intelligente Überwachungssysteme rücken zunehmend in den Fokus der Forschung. Die Echtzeitanalyse eines Videostreams mithilfe eines Deep-Learning-Algorithmus kann automatisch abnormale Ereignisse, unsicheres Verhalten und potenzielle Gefahren erkennen und dadurch die Intelligenz des Überwachungssystems erheblich verbessern4,5.
Die Objekterkennung ist eine Kerntechnologie in der intelligenten Überwachung. Als Vertreter von einstufigen Objekterkennern weisen die Algorithmen der You Only Look Once (YOLO)-Serie erhebliche Vorteile auf. Von YOLOv1 bis YOLOv8 hat sich diese Algorithmenfamilie kontinuierlich weiterentwickelt, wobei Verbesserungen an der Netzwerkarchitektur, der Verlustfunktion und der Trainingsmethodik sowie weiteren Aspekten vorgenommen wurden6,7. YOLOv11 hat insbesondere eine höhere Erkennungsgenauigkeit erreicht, während gleichzeitig eine hohe Bildrate beibehalten wird, besonders bei komplexen Hintergründen und dicht gepackten Objekten8.
Trotz seiner hervorragenden Leistung bei allgemeinen Objekterkennungsaufgaben sieht sich YOLOv11 jedoch in bestimmten Szenarien der Sicherheitsüberwachung an Produktionslinien weiterhin vor Herausforderungen9. Beispielsweise kann die Erkennungsgenauigkeit von YOLOv11 abnehmen, wenn Arbeiter teilweise durch Ausrüstung verdeckt sind oder wenn Sicherheitszeichen klein sind und stark der Hintergrundfarbe ähneln. Dies erfordert stärkere Fähigkeiten des Modells in der Merkmalsextraktion und semantischen Verständnis10.
Faltungsneuronale Netze (CNNs) verfügen über leistungsstarke Fähigkeiten bei der Extraktion von Bildmerkmalen11. Durch die Entwicklung tieferer und komplexerer Netzwerkarchitekturen können CNNs umfassendere und abstraktere Bildmerkmale lernen. Die Kombination eines CNNs mit YOLOv11 nutzt die schnellen Erkennungsfähigkeiten von YOLOv11 und die tiefe Merkmalsextraktion des CNNs, wodurch ein robusteres und intelligenteres Sicherheitsüberwachungssystem entsteht.
Basierend darauf schlägt dieses Papier ein Produktionslinien-Sicherheitsüberwachungssystem unter Verwendung von YOLOv11 und einem CNN vor. Die innovativen Aspekte dieser Studie umfassen: (1) die Vorschlag einer tiefen Fusionsarchitektur aus YOLOv11 und einem verbesserten CNN; (2) die Einführung einer mehrskaligen Merkmalsfusion und eines zusammengesetzten Aufmerksamkeitsmechanismus zur Verbesserung der Erkennung wesentlicher Sicherheitsmerkmale; und (3) die Überprüfung der Leistungsvorteile des Modells an einem selbst erstellten Datensatz komplexer Szenen.
Entwicklung der YOLO-Reihe-Algorithmen
Seit ihrer ersten Vorstellung durch Redmon et al. im Jahr 201512 hat der Algorithmus „You Only Look Once“ (YOLO) großes Interesse geweckt. Im Gegensatz zu Zweistufen-Detektoren, die auf Regionsvorschlägen basieren, behandelt YOLO die Objekterkennung als Regressionsaufgabe. Durch die direkte Vorhersage der Klassen und Positionen von Objekten in einem Bild erhöht YOLO die Erkennungsgeschwindigkeit deutlich und eignet sich somit für den Echtzeiteinsatz13.
Als bahnbrechende Arbeit in dieser Serie ermöglicht YOLOv1 erstmals eine End-to-End-Zieldetektion14. Bei YOLOv1 wird das Eingabebild in eine Gitterstruktur unterteilt, wobei jede Gitterzelle, typischerweise in einem S × S-Format angeordnet, dafür verantwortlich ist, Objekte innerhalb ihrer Grenzen zu erkennen.
Speziell ist die Ausgabe von YOLOv1 ein Tensor. Unter den S × S × (B × 5 + C) enthält die Vorhersage jeder Begrenzungsbox fünf Elemente: Koordinate des Mittelpunkts (x,y), Breite w, Höhe h und Konfidenz c. Der Berechnungsprozess ist in Gleichung (1) dargestellt:
(1)
Dabei steht Pr(Object) für die Wahrscheinlichkeit, dass sich ein Ziel in der Zelle befindet, und IOU steht für das Verhältnis aus Schnittmenge zu Vereinigungsmenge zwischen der vorhergesagten Begrenzungsbox und der tatsächlichen Box. Jede Zelle prognostiziert außerdem eine Reihe von Klassenwahrscheinlichkeiten, wobei Pr die Wahrscheinlichkeit dafür angibt, dass das Ziel der i-ten Klasse angehört, sofern ein Ziel vorhanden ist. Die Verlustfunktion von YOLOv1 setzt sich aus drei Hauptkomponenten zusammen: dem Verlust für die Koordinatenvorhersage, dem Verlust für die Konfidenzschätzung und dem Verlust für die Kategorievorhersage15.
YOLOv2 führt die Batch-Normalisierung, einen Hochauflösungsklassifikator und eine mehrskalige Trainingsstrategie ein, die Stabilität und Genauigkeit verbessern16. YOLOv3 verwendet Darknet-53 als Backbonenetzwerk und greift auf das Konzept des Feature Pyramid Network (FPN) zurück, um die Objekterkennung zu verbessern17.
YOLOv4 hat im Vergleich zu YOLOv3 zahlreiche Optimierungen vorgenommen und Technologien wie das Cross Stage Partial Network (CSPNet)18, das Path Aggregation Network (PANet)19 und die Mosaic-Datenaugmentierung eingeführt, um die Leistung des Modells weiter zu verbessern. YOLOv5 hat bedeutende Beiträge im Bereich Engineering geleistet und bietet eine benutzerfreundlichere und effizientere Implementierung20.
In den letzten Jahren hat sich die YOLO-Serie kontinuierlich weiterentwickelt, wobei nacheinander Versionen wie YOLOv6, YOLOv7 und YOLOv8 veröffentlicht wurden. Durch die Einführung der erweiterten effizienten Layer-Aggregationsnetzwerkstruktur (E-ELAN) und von Modell-Re-Parametrisierungstechniken erzielt YOLOv7 neue Durchbrüche hinsichtlich Geschwindigkeit und Genauigkeit. Diese Verbesserungen steigern nicht nur die Effizienz des Merkmalslernens, sondern optimieren auch die Inferenzleistung des Netzwerks, wodurch YOLOv7 frühere Versionen sowie zahlreiche gängige Detektoren bei verschiedenen Echtzeit-Objekterkennungsaufgaben übertrifft. YOLOv8 optimiert die Netzwerkstruktur weiter, verwendet ein ankerfreies Design, vereinfacht das Modell und verbessert dessen Verallgemeinerungsfähigkeit21.
Aufbauend auf den Vorteilen früherer Versionen wurde YOLOv11, das in dieser Studie verwendet wurde, für komplexe industrielle Szenarien optimiert. Zu seinen zentralen Verbesserungen gehören ein Netzwerk zur Merkmalsextraktion, ein effizienteres Modul zur Merkmalsfusion und ein robusteres Design der Verlustfunktion. Diese Verbesserungen ermöglichen es YOLOv11, bei der Verarbeitung von Verdeckungen, kleinen Objekten und komplexen Hintergründen in Produktionsumgebungen bessere Leistungen zu erbringen. YOLOv11 ist eine Version der YOLO-Serie, die von Ultralytics veröffentlicht wurde. Im Vergleich zu YOLOv8 verbessert es das C3K2-Modul und den Pfad der Merkmalsfusion und führt eine adaptive Ankerbox-Strategie ein, wodurch eine stärkere Detektionsrobustheit in industriellen Szenarien erreicht wird.
Grundlagen und Fortschritte des Faltungs-Neuronalen Netzwerks (CNN)
Das faltungsneuronale Netzwerk (CNN) ist ein zentrales Modell, das den Erfolg des Deep Learnings in der Computer Vision maßgeblich beeinflusst hat. Es funktioniert, indem es lokale Bildmerkmale durch Faltungsoperationen extrahiert und anschließend die Dimensionalität der Merkmale durch Pooling-Operationen reduziert, wodurch eine hierarchische Bildabstraktion erreicht wird22.
Ein typisches FNN besteht aus mehreren Faltungsschichten, Pooling-Schichten und vollständig verknüpften Schichten. Die Faltungsschicht durchsucht das Eingabebild mit einem Faltungskern, berechnet Skalarprodukte über lokale Bereiche und erzeugt eine Merkmalskarte. Der Berechnungsprozess ist in Gleichung (2) dargestellt:
(2)
Dabei ist x das Eingabebild, wk und bk sind die Gewichtung und der Bias des Faltungskerns, bzw., und 
sind die Werte der Ausgabe-Feature-Karte an der Position (i,j). Die Pooling-Schicht verwendet üblicherweise Max-Pooling oder Average-Pooling. Die vollverknüpfte Schicht ist dafür zuständig, Merkmale zu extrahieren und Klassifizierungswahrscheinlichkeiten vorherzusagen.
Basierend darauf entwirft diese Arbeit ein CNN-Feature-Verbesserungsmodul für YOLOv11, das aus zwei parallelen Zweigen besteht: einem Multiskalen-Faltungszweig, der 3 × 3- und 5 × 5-Faltungskerne verwendet, um Merkmale auf mehreren Skalen zu extrahieren, und einem Aufmerksamkeitszweig, der nacheinander das Kanal-Aufmerksamkeitsmodul (Squeeze-and-Excitation) und das räumliche Aufmerksamkeitsmodul verbindet, um die diskriminativen Merkmale der Schlüsselziele zu verstärken. Die Ausgaben der beiden Zweige werden durch elementweise Addition fusioniert, und die entsprechende Verlustfunktion für die Feature-Verbesserung ist in Formel (3) dargestellt:
(3)
Lcoord ist der Verlust durch die Regressionsabweichung der Begrenzungsbox-Koordinaten; Lconf ist der Verlust durch die Zielzuversicht (Konfidenz); Lcls ist der Verlust durch die Kategorieklassifizierung; Lfeat ist der Verlust durch die Merkmalsverbesserung, der dazu dient, die diskriminativen Merkmale kleiner und verdeckter Ziele einzuschränken, die vom CNN-Verbesserungsmodul extrahiert werden; λcoord, λconf, λcls, λfeat sind die Gewichtungskoeffizienten der entsprechenden Verlustterme. Für diese Aufgabe wird λfeat = 0,05 festgelegt, und die übrigen Gewichte werden gemäß den Anforderungen der Erkennungsaufgabe ausgeglichen.
Klassische CNN-Architekturen wie VGGNet23 und ResNet24 haben bei Bildklassifizierungsaufgaben große Erfolge erzielt. Unter diesen Architekturen mildert ResNet das Problem des verschwindenden Gradienten beim Training tiefer Netzwerke wirksam ab, wodurch der Aufbau tieferer und komplexerer Netzwerkstrukturen erleichtert wird.
Bei Objekterkennungsaufgaben wird CNN gewöhnlich als Merkmalsextraktor (Backbone) verwendet. Beispielsweise basieren Darknet, cross-stage partial Darknet (CSPDarknet) und andere in der YOLO-Reihe von Algorithmen auf CNN25. Um die Fähigkeiten zur Merkmalsextraktion zu verbessern, haben Forscher zahlreiche verbesserte CNN-Strukturen vorgeschlagen. Beispielsweise extrahiert das Inception-Modul Merkmale parallel durch Faltungskerne verschiedener Skalen. DenseNet verbessert die Wiederverwendung von Merkmalen durch dichte Verbindungen. Das Squeeze-and-Excitation-Netzwerk passt die Wichtigkeit von Merkmalskanälen durch Aufmerksamkeitsmechanismen adaptiv an26.
In dieser Studie haben wir ein verbessertes CNN-Modul entwickelt, um die Fähigkeiten zur Merkmalsextraktion von YOLOv11 zu verbessern. Dieses Modul kombiniert die Fusion mehrskaliger Merkmale mit einem Aufmerksamkeitsmechanismus, um Schlüsselsicherheitsinformationen in Produktionsumgebungen effektiver zu erfassen.
Anwendungsstand des maschinellen Lernens im industriellen Sicherheitsmonitoring
Das maschinelle Lernen hat im Bereich des industriellen Sicherheitsmonitorings erhebliche Bedeutung erlangt. Auf CNN-basierten Algorithmen basierende Verfahren werden eingesetzt, um zu überprüfen, ob Arbeiter Sicherheitshelme ordnungsgemäß tragen, um unbefugte Eindringlinge in Gefahrenzonen zu erkennen und um den Zustand fehlerhafter Geräte zu überwachen27.
Bei der Verhaltenserkennung werden 3D-CNNs und rekurrente neuronale Netze eingesetzt, um das Betriebsverhalten von Arbeitnehmern zu analysieren und potenziell unsichere Handlungen zu identifizieren. Beispielsweise kann durch die Analyse von Körperhaltungsabfolgen der Arbeitnehmer ermittelt werden, ob sie gegen Sicherheitsvorschriften verstoßen28.
YOLO und Faster R-CNN werden häufig für die Erkennung von Personal und Ausrüstung in Echtzeit-Überwachungsvideos verwendet. Beispielsweise wurde in der Literatur ein Echtzeit-Helmerkennungssystem auf Basis von YOLOv5 vorgeschlagen, das die Intelligenz des Sicherheitsmanagements auf Baustellen effektiv verbessert29.
Obwohl in der bestehenden Forschung einige Fortschritte erzielt wurden, bleiben mehrere Herausforderungen bestehen. Erstens weisen industrielle Szenen typischerweise komplexe Beleuchtung, Verdeckungen und Hintergrundstörungen auf, was strenge Anforderungen an die Robustheit des Algorithmus stellt. Zweitens ist Echtzeitleistung eine zentrale Voraussetzung, und der Algorithmus muss eine Hochgeschwindigkeits-Inferenz erreichen, während er gleichzeitig die Genauigkeit beibehält. Schließlich konzentriert sich die bestehende Forschung hauptsächlich auf die Einzelaufgaben-Erkennung und untersucht kaum die Fusion von Mehrquelleninformationen und umfassende Analysen30.
In dieser Studie zielt das vorgeschlagene YOLOv11- und CNN-Fusionsmodell darauf ab, die oben genannten Herausforderungen zu bewältigen und durch verbesserte Fähigkeiten zur Merkmalsextraktion und -fusion eine umfassende, echtzeitfähige Überwachung von Sicherheitsrisiken in der Produktionslinie zu erreichen.
Protokoll
YOLOv11- und CNN-Algorithmus
Gesamtsystemarchitektur
Das in dieser Arbeit vorgeschlagene Überwachungssystem für die Sicherheit in der Produktionslinie verwendet eine hybride Architektur, die YOLOv11 mit einem verbesserten CNN kombiniert, um eine hochpräzise, schnelle Echtzeitsicherheitsüberwachung zu ermöglichen. Wie in Abbildung 1 dargestellt, besteht das System hauptsächlich aus einem Eingabevorverarbeitungsmodul, einem YOLOv11-Objekterkennungsmodul, einem CNN-Funktionsverbesserungsmodul und einem Fusionsentscheidungsmodul. Das Eingabebild wird zunächst durch das Vorverarbeitungsmodul normalisiert und erweitert, um die Generalisierungsfähigkeit des Modells zu verbessern. Anschließend werden Merkmale durch den CSPDarknet-Backbone extrahiert, und der Rezeptive Bereich wird durch das Spatial Pyramid Pooling-Fast-Modul (SPPF) erweitert. Nach dem Hochskalieren werden Mehrskalenmerkmale fusioniert, und Kanal- und räumliche Aufmerksamkeit werden nacheinander auf die fusionierten Merkmale angewendet, um die diskriminative Darstellung der Schlüsselziele weiter zu verbessern. Das CNN-Funktionsverbesserungsmodul ist hinter den Ausgängen der C3-, C4- und C5-Schichten des YOLOv11-Backbone-Netzwerks eingefügt und empfängt Mehrskalen-Funktionskarten mit den Größen 80 × 80 × 256, 40 × 40 × 512 bzw. 20 × 20 × 1.024. Das CNN-Funktionsverbesserungsmodul verbessert die Merkmalsextraktion für kleine und verdeckte Ziele weiter. Schließlich kombiniert das Fusionsentscheidungsmodul die Erkennungsergebnisse von YOLOv11 mit den durch das CNN verbesserten Merkmalen und optimiert diese gemeinsam über eine konzipierte Verlustfunktion, um die präzise Position, Kategorie und Konfidenzpunktzahl des Ziels auszugeben.
YOLOv11-Erkennungsframework
YOLOv11 hat mehrere entscheidende Verbesserungen eingeführt, die die Stärken des einstufigen Erkennungsframeworks der YOLO-Serie nutzen. Seine Architektur gliedert sich in drei Hauptkomponenten: ein Backbone-Netzwerk, ein Merkmalsfusion-Netzwerk und einen Detektionskopf. Das Backbone-Netzwerk verwendet eine verbesserte CSPDarknet-Struktur. Das Merkmalsfusion-Netzwerk integriert lokal übergreifende Verbindungen und tiefenweise separable Faltungen und orientiert sich dabei an Merkmalspyramidennetzwerken und Pfadaggregationsnetzwerken, um multimodale Merkmale effektiv zu kombinieren.
Modul zur Merkmalsverbesserung
Das Modul zur Merkmalsverbesserung zielt darauf ab, die Empfindlichkeit des Modells gegenüber wichtigen Sicherheitsmerkmalen zu erhöhen. Es verarbeitet die von jeder Schicht des YOLOv11-Backbone-Netzwerks erzeugten Merkmalskarten und verschmilzt Informationen über verschiedene Maßstäbe hinweg durch Hoch- und Herunterskalierungsoperationen. Insbesondere erfasst der Multiskalen-Zweig die räumliche Maßstabsvielfalt, während der Attention-Zweig dynamisch wichtige Kanäle und positionsbezogene Antworten verstärkt. Diese beiden Zweige wirken nicht unabhängig voneinander, sondern ergänzen sich und werden über Residualverbindungen und eine Neukalibrierung der Merkmale verschmolzen. Die vom Verbesserungsmodul auf jeder Skala verarbeitete Merkmalskarte wird durch eine 1 × 1-Faltung so angepasst, dass sie der ursprünglichen Anzahl an Kanälen der Merkmalskarte entspricht, und anschließend durch elementeweises Addieren mit der ursprünglichen YOLOv11-Merkmalskarte fusioniert. Die fusionierte Merkmalskarte wird danach in das nachfolgende Feature Pyramid Network (FPN) zur Multiskalenfusion eingespeist, wodurch eine hierarchische Repräsentation von Sicherheitsmerkmalen entsteht. Um eine nahtlose Integration zwischen den Modulen sicherzustellen, wird eine End-to-End-Joint-Training-Strategie angewandt, deren Verlustfunktion aus dem YOLOv11-Detektionsverlust und dem Verlust der CNN-Modul-Merkmalsverbesserung besteht.
Abbildung 1. YOLOv11-CNN-Algorithmus. Das Feature-Verbesserungsmodul zielt darauf ab, die Empfindlichkeit des Modells gegenüber kritischen Sicherheitsmerkmalen zu erhöhen. Es verarbeitet Merkmalskarten aus verschiedenen Schichten des YOLOv11-Backbones und verschmilzt Merkmale unterschiedlicher Skalen durch Hoch- und Herunterskalierungsoperationen. Zudem integriert es Kanal- und räumliche Aufmerksamkeitsmechanismen. Um eine nahtlose Integration zwischen den YOLOv11- und CNN-Modulen sicherzustellen, wird eine gemeinsame Trainingsstrategie angewendet. Während des Trainings werden die Parameter beider Module end-to-end optimiert. Die Verlustfunktion kombiniert den Detektionsverlust von YOLOv11 mit dem Feature-Verbesserungsverlust des CNN-Moduls. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Ergebnisse
Um die Wirksamkeit des vorgeschlagenen YOLOv11- und CNN-Fusionsmodells für die Überwachung der Arbeitssicherheit in Produktionslinien zu überprüfen, wurde ein Datensatz erstellt, der verschiedene Gefahrensituationen abdeckt. Dieser Datensatz umfasst 12.000 Bilder von Produktionslinienszenen, die im Verhältnis 7:1,5:1,5 in Trainings-, Validierungs- und Testdatensätze aufgeteilt sind, wobei ein fester Zufallsstartwert (random seed) von 42 verwendet wurde. Er deckt verschiedene Arbeitsbedingungen ab, darunter Standardbeleuchtung, schwache Beleuchtung, teilweise Verdeckung, starke Verdeckung, Bewegungsunschärfe und komplexe Hintergründe. Die Konfidenzschwelle für die Inferenz wurde auf 0,5 festgelegt, und die Nicht-Maxima-Unterdrückung (NMS)-Schwelle wurde auf 0,45 gesetzt. Alle Experimente wurden dreimal wiederholt, und die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben. Die Annotationkategorien sind Arbeiter, Schutzhelme, Roboterarme, Gefahrenzonen, Werkzeuge und Fahrzeuge, wobei das Format der PASCAL Visual Object Classes (VOC) verwendet wird. Die Intersection-over-Union (IoU)-Schwelle ist auf 0,5 festgelegt, und die Konsistenz der Annotationen wurde durch eine Zwei-Personen-Kreuzvalidierung überprüft. Eingabebilder wurden einheitlich auf 640 × 640 skaliert und mit Mosaic-Daten erweitert. Das Training wurde mit dem SGD-Optimierer durchgeführt, wobei die anfängliche Lernrate 0,01, der Impuls 0,9, die Gewichtsreduzierung (weight decay) 0,0005 und die Batch-Größe 32 betrug. Das Training umfasste 200 Epochen, und zur Anpassung der Lernrate wurde Cosine-Annealing verwendet.
Um die Effektivität des Modells umfassend zu bewerten, wurden verschiedene Evaluierungsmetriken verwendet: mittlere durchschnittliche Präzision (mAP), Bilder pro Sekunde (FPS) zur Beurteilung der Verarbeitungsrate von Bildrahmen, Präzision zur Bewertung der Genauigkeit positiver Vorhersagen, Sensitivität (Recall), um die Fähigkeit des Modells zur Erkennung echter Positiver zu messen, sowie die Fläche unter der Kurve (AUC), die die Fläche unter der Receiver-Operating-Characteristic-(ROC-)Kurve angibt und somit die gesamte Klassifikationsfähigkeit des Modells widerspiegelt. Die Berechnungsformeln sind in den Gleichungen (4), (5), (6), (7), (8), (9), (10), (11) dargestellt:
(4)
(5)
(6)
Recall 
(7)
(8)
(9)
(10)
(11)
![Metriken für Präzision und Rückruf; mAP@0,5, mAP@[0,5:0,95], TP, FP, FN, Präzision, Rückruf; Datenanalyse.](/files/ftp_upload/70968/70968eq36v2.jpg "figure-results-9")
Hier steht mAP@0,5 für die durchschnittliche mittlere Präzision bei einer IoU-Schwelle von 0,5; N ist die Anzahl der Kategorien; APi ist die durchschnittliche Präzision der i-ten Kategorie; und mAP@[0,5:0,95] ist der über IoU-Schwellenwerte von 0,5 bis 0,95 berechnete durchschnittliche mAP-Wert. TP, FP, FN und TN stehen jeweils für die Anzahl der richtigen Positiven, falschen Positiven, falschen Negativen und richtigen Negativen. F ist die Gesamtanzahl der verarbeiteten Einzelbilder, T ist die gesamte Verarbeitungszeit, TPR ist die Rate richtiger Positiver und FPR die Rate falscher Positiver.
Für die YOLOv11-Erkennungskomponente ist die Verlustfunktion in Gleichung (12) dargestellt:
(12)
Dabei bezeichnet Lcoord die Abweichung zwischen dem vorhergesagten Frame und dem realen Frame, Lconf misst den Konfidenzfehler des vorhergesagten Frames, Lclass misst den Kategorievorhersagefehler, und λcoord, λconf und λclass sind die Gewichtungskoeffizienten, die zur Balance der entsprechenden Verluste verwendet werden.
Die Analyse der Daten in Tabelle 1 zeigt, dass die vorgeschlagene Methode einen mAP@0.5 von 0,91 und einen mAP@0.5:0.95 von 0,82 erreicht, was einer Verbesserung um jeweils 0,04 im Vergleich zu YOLOv5 entspricht. Der F1-Score liegt bei 0,935 und ist ebenfalls höher als bei den verglichenen Modellen. Die Erkennungsgeschwindigkeit beträgt 120 FPS, das Vierfache von Faster R-CNN, jedoch leicht niedriger als bei YOLOv10 und YOLOv11. Die Anzahl der Parameter liegt bei 6,7 Mio., nur 1,5 Mio. mehr als bei YOLOv11, bei einer Verbesserung des mAP@0.5 um 0,03. Im Vergleich zu EfficientDet, das ähnliche Rechenkosten aufweist, ist die Genauigkeit um 0,06 höher, während die Anzahl der Parameter um 56 % geringer ist. Die Daten zeigen, dass die eingeführte mehrskalige Fusion und die Attention-Mechanismen die Genauigkeit bei der Erkennung kleiner Ziele effektiv verbessern und ein gutes Gleichgewicht zwischen Geschwindigkeit und Genauigkeit erreichen. Zusammenfassend erzielt unsere vorgeschlagene Methode ein ausgewogenes Verhältnis zwischen Erkennungsgenauigkeit und -geschwindigkeit. Der mAP@0.5 ist um 0,02 höher als beim zweitbesten Modell, der F1-Score erreicht 0,935, und die 6,7 Mio. Parameter sind ausreichend für den praktischen Einsatz. Die mehrskalige Fusion und die Attention-Mechanismen verbessern die Erkennung kleiner und verdeckter Ziele in komplexen Szenen. Das Modell vereint Genauigkeit und Effizienz und eignet sich daher für Echtzeitanwendungen wie die Überwachung der Arbeitssicherheit. Hervorzuheben ist, dass alle Vergleichsmodelle offizielle vortrainierte Gewichte verwenden, eine einheitliche Eingabeauflösung von 640 × 640, einen NMS-Schwellenwert von 0,45 und einen Konfidenzschwellenwert von 0,5.
| Methode | mAP@0.5 | mAP@0.5:0.95 | F1-Score | FPS | Parameter (M) |
| YOLOv5 | 0.87 | 0.78 | 0.89 | 130 | 7.1 |
| EfficientDet | 0.85 | 0.73 | 0.88 | 50 | 15.3 |
| RetinaNet | 0.82 | 0.68 | 0.85 | 45 | 37.6 |
| Faster R-CNN | 0.84 | 0.7 | 0.87 | 30 | 45.2 |
| YOLOv10 | 0.89 | 0.77 | 0.88 | 135 | 5.3 |
| YOLOv11 | 0.88 | 0.75 | 0.895 | 140 | 5.2 |
| EIGENE | 0.91 | 0.82 | 0.935 | 120 | 6.7 |
Tabelle 1: Umfassende Vergleichstabelle der Modellleistung. Die Analyse der Daten zeigt, dass die vorgeschlagene Methode einen mAP@0.5-Wert von 0,91 und einen mAP@0.5:0.95-Wert von 0,82 erreicht, was einer Verbesserung um jeweils 0,04 gegenüber YOLOv5 entspricht. Der F1-Score liegt bei 0,935 und ist ebenfalls höher als bei den verglichenen Modellen. Die Erkennungsgeschwindigkeit beträgt 120 FPS, das Vierfache von Faster R-CNN, jedoch leicht niedriger als bei YOLOv10 und YOLOv11. Die Anzahl der Parameter liegt bei 6,7 Mio., nur 1,5 Mio. mehr als bei YOLOv11, bei einer Verbesserung des mAP@0.5 um 0,03. Im Vergleich zu EfficientDet, das ähnliche Rechenkosten aufweist, ist die Genauigkeit um 0,06 höher, während die Anzahl der Parameter um 56 % niedriger ist. Die Daten zeigen, dass die eingeführte mehrskalige Fusion und die Attention-Mechanismen die Genauigkeit der Erkennung kleiner Ziele effektiv verbessern und ein gutes Gleichgewicht zwischen Geschwindigkeit und Genauigkeit erreichen. Zusammenfassend erzielt unsere vorgeschlagene Methode ein ausgewogenes Verhältnis zwischen Erkennungsgenauigkeit und -geschwindigkeit. Der mAP@0.5 ist um 0,02 höher als beim zweitbesten Modell, der F1-Score erreicht 0,935, und die 6,7 Mio. Parameter sind ausreichend für den praktischen Einsatz. Die mehrskalige Fusion und der Attention-Mechanismus verbessern die Erkennung kleiner und verdeckter Ziele in komplexen Szenen. Das Modell vereint Genauigkeit und Effizienz und eignet sich daher für Echtzeitanwendungen wie die Überwachung der Arbeitssicherheit. Hervorzuheben ist, dass alle Vergleichsmodelle offizielle vortrainierte Gewichte verwenden, eine einheitliche Eingabeauflösung von 640 × 640, einen einheitlichen NMS-Schwellenwert von 0,45 und einen einheitlichen Konfidenzschwellenwert von 0,5.
Abbildung 2 bietet eine detaillierte Analyse der Fehlertypen des Modells. YOLOv11 + CNN weist die niedrigste Rate an falschen Hintergrunderkennungen auf (85 Mal/10.000 Bilder), wobei die meisten Fehlalarme bei ähnlichen Objekten (62 Mal) und teilweise verdeckten Szenen (48 Mal) auftreten. Die ROC-Kurvenanalyse zeigt, dass das Modell bei einer Falsch-Positiv-Rate (FPR) von 0,1 eine Erkennungsrate (TPR) von 0,9 erreicht (AUC = 0,98); der geringe Abstand zwischen den Kurven unterstreicht die hohe Zuverlässigkeit der Erkennungssicherheit. Diese Analyseergebnisse stützen nicht nur die Leistung des Modells, sondern liefern auch einen klaren technischen Leitfaden für die nachfolgende Optimierung der Fehlalarmvermeidung, insbesondere durch die Verbesserung seiner Fähigkeit, ähnliche Objekte voneinander zu unterscheiden.
Abbildung 2. Fehleranalyse. Analyse der Arten falscher Erkennungen des Modells. YOLOv11 + CNN weist die niedrigste Rate an falschen Erkennungen im Hintergrund auf (85-mal/10.000 Bilder), wobei der Großteil der Fehlalarme bei ähnlichen Objekten (62-mal) und teilweise verdeckten Szenen (48-mal) auftritt. Die ROC-Kurvenanalyse zeigt, dass das Modell bei einer Falsch-Positiv-Rate (FPR) von 0,1 eine Erkennungsrate (TPR) von 0,9 erreicht (AUC = 0,98); der geringe Abstand zwischen den Kurven unterstreicht die Zuverlässigkeit der Erkennungssicherheit. Diese Analyseergebnisse stützen nicht nur die Leistung des Modells, sondern liefern auch einen klaren technischen Fahrplan für die anschließende Optimierung bei falschen Erkennungen, insbesondere durch Verbesserung seiner Fähigkeit, ähnliche Objekte zu unterscheiden. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Abbildung 3 vergleicht die Leistung des Modells auf verschiedenen Hardware-Plattformen. YOLOv11 + CNN erreicht auf der Edge-Tensor-Verarbeitungseinheit (TPU) eine extrem geringe Latenz von 18 ms mit einer Schwankung von nur ±2 ms, wobei der Stromverbrauch bei 15 W gehalten wird. Durchsatztests zeigen, dass das Modell auf Jetson-Xavier-Edge-Computing-Geräten eine Verarbeitungsgeschwindigkeit von 70 FPS erreicht, wobei die Latenz des 99. Perzentils innerhalb von 50 ms kontrolliert wird. Diese Leistungsindikatoren für die Bereitstellung ermöglichen es dem Modell, sich an die Bereitstellungsanforderungen verschiedener Rechenplattformen in industriellen Anwendungen anzupassen. Die Fehleranalyse zeigt zudem, dass das Modell in umgebungen mit begrenzten Ressourcen eine stabile Leistung aufrechterhalten kann, was seine ingenieurtechnische Anwendbarkeit belegt.
Abbildung 3. Einsatzleistung. Vergleich der Modellleistung auf verschiedenen Hardwareplattformen. YOLOv11 + CNN erreicht auf der Edge TPU eine extrem geringe Latenz von 18 ms (mit einer Schwankung von nur ±2 ms), wobei der Stromverbrauch bei 15 W gehalten wird. Durchsatztests zeigen, dass das Modell auf Edge-Computing-Geräten vom Typ Jetson Xavier eine Verarbeitungsgeschwindigkeit von 70 FPS erreicht, wobei die Latenz des 99. Perzentils innerhalb von 50 ms gehalten wird. Diese Einsatzleistungsindikatoren zeigen, dass es den Anforderungen verschiedener Rechenplattformen in industriellen Anwendungen gerecht werden kann. Die Fehleranalyse zeigt zudem, dass das Modell in ressourcenbeschränkten Umgebungen eine stabile Leistung beibehält und somit seine ingenieurtechnische Anwendbarkeit unter Beweis stellt. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Abbildung 4 vergleicht die Unterschiede in der Erkennungsleistung der einzelnen Modelle über sechs Zielkategorien hinweg. YOLOv11 + CNN erreichte bei der Erkennung von Sicherheitshelmen eine Genauigkeit von 0,96 und übertraf damit das Referenzmodell um 4 Prozentpunkte. Der gestrichelte Plot zeigt, dass das Modell über alle Kategorien hinweg minimale Leistungsschwankungen aufweist (±0,05), was auf seine guten Verallgemeinerungsfähigkeiten hinweist. Die als Heatmap dargestellte Konfusionsmatrix zeigt eine gegenseitige Fehlererkennung von 15 % zwischen dem Gefahrenbereich und dem Roboterarm. Dieser Befund gibt eine klare Richtung für die nachfolgende Modelloptimierung vor.
Abbildung 4. Analyse der Kategorierkennung. Vergleich der Erkennungsleistungsunterschiede jedes Modells über sechs Zielkategorien hinweg. YOLOv11 + CNN erreichte eine Genauigkeit von 0,96 bei der Erkennung von Sicherheitshelmen und übertraf damit das Referenzmodell um vier Prozentpunkte. Der gepunktete Plot zeigt, dass das Modell über alle Kategorien hinweg minimale Leistungsschwankungen aufweist (±0,05), was auf seine Generalisierungsfähigkeit hinweist. Die als Heatmap dargestellte Konfusionsmatrix zeigt eine 15 %ige gegenseitige Fehlerkennung zwischen dem Gefahrenbereich und dem Roboterarm. Dieses Ergebnis gibt eine klare Richtung für die nachfolgende Modelloptimierung vor. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 5 bietet eine umfassende Aufzeichnung des Trainingsprozesses für jedes Modell. YOLOv11 + CNN weist die schnellste Konvergenzrate auf, wobei der Verlust innerhalb von 30 Epochen auf 0,1 abfällt, und die Differenz zwischen der mAP-Kurve des Validierungs- und des Trainingsdatensatzes bleibt durchgängig unter 1 %. Die Analyse des Fehlerbandleplots zeigt, dass die endgültige Validierungs-mAP@0,5 des Modells stabil bei 0,94 ± 0,01 liegt und die Schwankungsbreite der Leistung nur ein Drittel der von RetinaNet beträgt. Diese Ergebnisse untermauern die Wirksamkeit des gemeinsamen Trainingsprotokolls. Das Modell zeigt bereits in den frühen Phasen des Trainings Leistungsvorteile, was darauf hindeutet, dass sein architektonisches Design es ermöglicht, Merkmale schnell zu erlernen.
Abbildung 5. Analyse des Trainingsprozesses. Aufzeichnung des Trainingsprozesses für jedes Modell. YOLOv11 + CNN weist die schnellste Konvergenzrate auf (der Verlust sinkt innerhalb von 30 Epochen auf 0,1), und die Differenz zwischen der mAP-Kurve des Validierungs- und des Trainingsdatensatzes liegt stets unter 1 %. Die Analyse des Fehlerbalkendiagramms zeigt, dass die endgültige Validierungs-mAP@0,5 des Modells stabil bei 0,94 ± 0,01 liegt, und der Leistungsschwankungsbereich beträgt nur ein Drittel im Vergleich zu RetinaNet. Diese Ergebnisse untermauern die Wirksamkeit des gemeinsamen Trainingsprotokolls. Das Modell zeigt bereits in den frühen Phasen des Trainings Leistungsvorteile, was darauf hindeutet, dass sein architektonisches Design es ermöglicht, Merkmale schnell zu lernen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Tabelle 2 zeigt quantitative Leistungsergebnisse verschiedener Erkennungsmodelle in komplexen Umgebungen. Testdaten unter Standardbeleuchtungsbedingungen und verschiedenen Extremszenarien zeigen, dass YOLOv11 + CNN unter allen Bedingungen eine optimale Leistung aufrechterhält. Unter Standardbeleuchtung erreichte dieser Modell mAP@0,5 einen Wert von 0,91, was signifikant besser ist als bei YOLOv5 (0,87) und Faster R-CNN (0,84). Mit verschlechterten Umgebungsbedingungen nimmt die Leistung jedes Modells in unterschiedlichem Maße ab, doch YOLOv11 + CNN weist die stärkste Umweltrobustheit auf: unter schwachen Lichtverhältnissen (< 50 Lux) verringert sich die Leistung lediglich um 3 % (auf 0,88), was besser ist als die 5 %-Reduktion der Vergleichsmodelle; in stark verdeckten Szenarien (> 50 %) kann sein mAP weiterhin bei 0,78 gehalten werden, und der Leistungsabfall (13 %) ist deutlich geringer als bei YOLOv5 (15 %) und Faster R-CNN (16 %). Diese Ergebnisse zeigen, dass YOLOv11 + CNN durch verbesserte Merkmalsfusion und Aufmerksamkeitsmechanismen die Anpassungsfähigkeit des Modells an komplexe Faktoren wie Beleuchtungsänderungen und Verdeckungen erhöht und damit praktische Anwendungen in industriellen Szenarien unterstützt.
| Testbedingung | YOLOv11 + CNN | YOLOv5 | Faster R-CNN | Leistungsschwankung |
| Standardbeleuchtung | 0,91 | 0,87 | 0,84 | 0,01 |
| Schwaches Licht (< 50 lux) | 0,88 (-3 %) | 0,82 (-5 %) | 0,79 (-5 %) | 0,02 |
| Teilweise Verdeckung (30 %–50 %) | 0,85 (-6 %) | 0,80 (-7 %) | 0,76 (-8 %) | 0,03 |
| Starke Verdeckung (> 50 %) | 0,78 (-13 %) | 0,72 (-15 %) | 0,68 (-16 %) | 0,04 |
| Bewegungsunschärfe | 0,83 (-8 %) | 0,77 (-10 %) | 0,73 (-11 %) | 0,05 |
Tabelle 2: Quantitative Analysetabelle zur Umweltanpassungsfähigkeit. Leistung verschiedener Erkennungsmodelle in komplexen Umgebungen durch quantitative Analyse. Testdaten von Standardbeleuchtungsbedingungen bis hin zu verschiedenen Extremszenarien zeigen, dass YOLOv11 + CNN unter allen Testbedingungen die höchste Leistung aufrechterhält. Unter Standardbeleuchtung erreichte dieser Modell mAP@0.5 einen Wert von 0,91, deutlich besser als YOLOv5 (0,87) und Faster R-CNN (0,84). Mit der Verschlechterung der Umweltbedingungen nimmt die Leistung jedes Modells in unterschiedlichem Maße ab, doch YOLOv11 + CNN weist unter den evaluierten Modellen die stärkste Umweltrobustheit auf: unter schwachen Lichtverhältnissen (< 50 lux) sinkt die Leistung lediglich um 3 % (auf 0,88), was besser ist als die 5 % Reduktion des Vergleichsmodells; in stark verdeckten Szenarien (> 50 %) kann sein mAP weiterhin bei 0,78 gehalten werden, und der Leistungsabfall (13 %) ist deutlich geringer als bei YOLOv5 (15 %) und Faster R-CNN (16 %). Diese Ergebnisse zeigen, dass YOLOv11 + CNN durch einen verbesserten Mechanismus der Merkmalsfusion und eine optimierte Attention-Architektur die Anpassungsfähigkeit des Modells an komplexe Faktoren wie Beleuchtungsänderungen und Verdeckungsstörungen erhöht und somit praktische Anwendungen in industriellen Szenarien unterstützt.
Tabelle 3 zeigt, dass der SGD-Optimierer in diesem Experiment verwendet wurde, mit einem Momentum von 0,9, um die Konvergenz zu beschleunigen und Oszillationen zu unterdrücken. Eine anfängliche Lernrate von 0,01 wurde mit Cosinus-Annealing verwendet, die während des Trainings schrittweise abnahm, um die Optimierung zu verfeinern. Ein Weight Decay von 0,0005 wurde eingeführt, um eine L2-Regularisierung anzuwenden und Überanpassung zu verringern. Eine Batch-Größe von 32 sorgte für ein Gleichgewicht zwischen rechnerischer Effizienz und Stabilität der Gradientenschätzung. Die 200 Trainingsepochen gewährleisteten eine ausreichende Konvergenz. Die Parameter wurden an die Einzelstufen-Erkennungsaufgabe angepasst, um Geschwindigkeit und Genauigkeit des Trainings auszugleichen.
| Parameter | Wert |
| Optimierer | SGD |
| Initiale Lernrate | 0,01 |
| Impuls | 0,9 |
| Gewichtsverfall | 0,0005 |
| Batch-Größe | 32 |
| Trainings-Epochen | 200 |
| Lernratenanpassung | Cosinus-Annealing |
Tabelle 3: Tabelle der Trainings-Hyperparameter. Der SGD-Optimierer wurde in diesem Experiment verwendet, mit einem Momentum von 0,9, um die Konvergenz zu beschleunigen und Oszillationen zu unterdrücken. Eine anfängliche Lernrate von 0,01 wurde mit Cosinus-Annealing verwendet, die während des Trainings schrittweise abnahm, um die Optimierung zu verfeinern. Ein Weight Decay von 0,0005 wurde eingeführt, um eine L2-Regularisierung anzuwenden und Überanpassung zu verringern. Eine Batch-Größe von 32 sorgte für ein Gleichgewicht zwischen rechnerischer Effizienz und Stabilität der Gradientenschätzung. Die 200 Trainings-Epochen gewährleisteten eine ausreichende Konvergenz. Die Parameter wurden an die Einzelstufen-Erkennungsaufgabe angepasst, um Geschwindigkeit und Genauigkeit des Trainings auszugleichen.
Tabelle 4 zeigt, dass mit YOLOv11 als Basislinie der mAP@0.5 bei 0,89 liegt. Die alleinige Einführung einer mehrskaligen Fusion verringert die Genauigkeit auf 0,88. Die zusätzliche schrittweise Anwendung von Kanal- und räumlicher Aufmerksamkeit verbessert die Genauigkeit jeweils auf 0,90 und 0,89. Die kombinierte Genauigkeit aller Module erreicht 0,91, was einer Verbesserung um 0,02 gegenüber der Basislinie entspricht. Die Daten zeigen, dass die Kanalaufmerksamkeit die Genauigkeit direkt verbessert und dass die kombinierte Leistung aus mehrskaliger Verarbeitung und Aufmerksamkeitsmechanismen optimal ist.
| Konfiguration | mAP@0.5 |
| YOLOv11 (Baseline) | 0.89 |
| + Multiskalen-Fusion | 0.88 |
| + Multiskalen- + Kanal-Aufmerksamkeit | 0.9 |
| + Multiskalen- + räumliche Aufmerksamkeit | 0.89 |
| Vollständiges Modul (YOLOv11 + CNN) | 0.91 |
Tabelle 4: Ablationstest-Tabelle. Bei Verwendung von YOLOv11 als Baseline liegt der mAP@0.5 bei 0,89. Die alleinige Einführung der mehrskaligen Fusion verringert die Genauigkeit auf 0,88. Die Hinzufügung von Kanal-Aufmerksamkeit oder räumlicher Aufmerksamkeit nach der mehrskaligen Fusion verbessert die Genauigkeit jeweils auf 0,90 bzw. 0,89. Die kombinierte Genauigkeit aller Module erreicht 0,91, eine Verbesserung um 0,02 gegenüber der Baseline. Die Daten zeigen, dass die Kanal-Aufmerksamkeit in diesem Szenario größere Verbesserungen bewirkt als die räumliche Aufmerksamkeit und dass die kombinierte Leistung aus mehrskaliger Fusion und Aufmerksamkeitsmechanismen optimal ist.
Abbildung 6 bewertet systematisch die Leistung des Modells unter extremen Umgebungsbedingungen. Der mAP-Wert von YOLOv11 + CNN sank bei schlechten Lichtverhältnissen lediglich um 6 % (auf 0,88) und behielt in stark verdeckten Szenen immer noch einen mAP-Wert von 0,78 (8 % über dem Referenzwert). Diese Ergebnisse zeigen, dass das Modell eine Umgebungsanpassungsfähigkeit aufweist und damit verbreitete Probleme durch Beleuchtungsänderungen sowie lokale Verdeckungen in der industriellen Produktion wirksam adressiert, wodurch der stabile Betrieb des Erkennungssystems unterstützt wird.
Abbildung 6. Umweltanpassungsfähigkeit. Eine systematische Bewertung der Modellleistung unter extremen Umgebungsbedingungen. Der mAP-Wert von YOLOv11 + CNN sank bei schlechten Lichtverhältnissen lediglich um 6 % (auf 0,88) und lag bei stark verdeckten Szenen immer noch bei 0,78 (8 % über dem Referenzwert). Diese Ergebnisse zeigen, dass das Modell über eine hohe Umweltanpassungsfähigkeit verfügt und somit effektiv typische Änderungen der Beleuchtung sowie lokale Verdeckungen in der industriellen Produktion bewältigt, wodurch ein stabiler Betrieb des Erkennungssystems ermöglicht wird. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Abbildung 7 vergleicht die Unterschiede in der Merkmalsverteilung zwischen YOLOv11 und YOLOv11 + CNN bei sechs Arten industrieller Ziele mittels t-SNE-Dimensionalitätsreduktion. Die linke Abbildung zeigt, dass die Merkmale des Basismodells YOLOv11 eine signifikante intraklasse Dispersion aufweisen (Intraklassenabstand 2,34 ± 0,15), insbesondere bei „Gefahrenzone“ (rot) und „Fahrzeug“ (lila), wo eine erhebliche Überlappung besteht, was mit der 15 %igen Fehlererkennungsrate in der Versuchsgruppe 3 übereinstimmt. Die rechte Abbildung zeigt, dass das verbesserte YOLOv11 + CNN die intraklassische Kompaktheit durch das Merkmalsverbesserungsmodul deutlich erhöht und den durchschnittlichen Abstand zwischen den Clusterzentren innerhalb jeder Kategorie um das 1,8-Fache vergrößert.
Abbildung 7. Vergleich der t-SNE-Merkmalsverteilung. Ein Vergleich der Unterschiede in der Merkmalsverteilung zwischen YOLOv11 und YOLOv11 + CNN bei sechs Arten industrieller Ziele mittels t-SNE-Dimensionalitätsreduktion. Die linke Abbildung zeigt, dass die Merkmale des Basismodells YOLOv11 eine signifikante intraklasse Streuung aufweisen (intraklasse Distanz 2,34 ± 0,15), insbesondere in den Kategorien „Gefahrenzone“ (rot) und „Fahrzeug“ (lila), wo erhebliche Überlappungen auftreten. Dies steht im Einklang mit der 15 %igen Falscherkennungsrate in Versuchsgruppe 3. Die rechte Abbildung zeigt, dass das verbesserte Modell YOLOv11 + CNN die intraklasse Kompaktheit durch das Merkmalsverbesserungsmodul deutlich verbessert und der durchschnittliche Abstand zwischen den Clusterzentren jeder Kategorie um das 1,8-Fache erhöht wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 8 bestätigt den Beitrag jedes Moduls durch systematische Ablationsversuche. Die Ablationsergebnisse zeigen, dass die Hinzunahme einer Kanal-Aufmerksamkeit nach der mehrskaligen Fusion den mAP@0.5-Wert auf 0,90 erhöht, während die Hinzunahme einer räumlichen Aufmerksamkeit den mAP@0.5-Wert auf 0,89 steigert. Das vollständige Modul erreicht den höchsten mAP@0.5-Wert von 0,91. Die Visualisierung der Wärmekarte zeigt, dass der kombinierte Aufmerksamkeitsmechanismus gleichzeitig die Detektionsantwort auf das Zentrum des Gefahrengebiets (Aktivierungswert: +0,15) und auf kleine Ziele am Rand (+0,08) verstärken kann. Die experimentellen Daten belegen, dass die mehrskalige Merkmalsfusion und die Aufmerksamkeitsmechanismen einen kumulativen Effekt haben und es dem Modell ermöglichen, die Anforderungen an die Objekterkennung auf verschiedenen Skalen zu erfüllen.
Abbildung 8. Modulare Ablationsstudie. Überprüfung des Beitrags jedes Moduls durch systematische Ablationsstudien. Die Ablationsresultate zeigen, dass die Hinzunahme einer Kanalaufmerksamkeit nach der mehrskaligen Fusion den mAP@0.5-Wert auf 0,90 erhöht, während die Hinzunahme einer räumlichen Aufmerksamkeit den mAP@0.5-Wert auf 0,89 steigert. Das vollständige Modul erreicht den höchsten mAP@0.5-Wert von 0,91. Die Visualisierung der Wärmekarte zeigt, dass der kombinierte Aufmerksamkeitsmechanismus gleichzeitig die Detektionsantwort auf das Zentrum des Gefahrenbereichs (Aktivierungswert: +0,15) und auf kleine Ziele am Rand (+0,08) verstärken kann. Die experimentellen Daten belegen, dass die mehrskalige Merkmalsfusion und die Aufmerksamkeitsmechanismen einen kumulativen Effekt haben und es dem Modell ermöglichen, die Anforderungen an die Objekterkennung über verschiedene Skalen hinweg zu erfüllen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
VERFÜGBARKEIT VON DATEN:
Vollständige, unverarbeitete Bilder und Video-Streams aus der Produktionslinie unterliegen industriellen Vertraulichkeitsbeschränkungen und werden nicht öffentlich freigegeben. Eine ergänzende Datensatzbeschreibung (ergänzende Datei 1) enthält Angaben zur Datensammlung, Verteilung von Kategorien und Szenarien, Annotationsspezifikationen, Qualitätskontrollverfahren, Datenaufteilungen, Vorverarbeitung und Datenaugmentationsverfahren. Ein Pseudocode- und Reproduzierbarkeitsframework (ergänzende Datei 2) stellt einen arbeitsablaufbasierten Pseudocode, Konfigurationsbeschreibungen und Anleitungen zur Reproduktion bereit. Ein anonymisierter Teildatensatz sowie zusätzliche unterstützende Materialien können beim korrespondierenden Autor für nichtkommerzielle akademische Forschungszwecke angefragt werden, vorbehaltlich institutioneller und vertraulichkeitsrechtlicher Einschränkungen.
Zusatzdatei 1. Beschreibung des ergänzenden Datensatzes. Diese Datei beschreibt das Protokoll zur Datensatzerfassung, die Abdeckung der Szenarien, die Klassendistribution, die Spezifikationen der Annotation, die Verfahren zur Qualitätskontrolle, die Aufteilung in Trainings-, Validierungs- und Testdatensätze, die Vorverarbeitung sowie die Datenaugmentationsverfahren. Bitte klicken Sie hier, um die Datei herunterzuladen.
Zusatzdatei 2. Pseudocode und Reproduzierbarkeitsrahmenwerk. Diese Datei enthält detaillierte Abläufe und Konfigurationsangaben auf Pseudocode-Ebene für die Vorverarbeitung, das Training, die Auswertung und die Bereitstellung und beschreibt Einschränkungen hinsichtlich der Rohindustriefilme sowie des Zugriffs auf unterstützende Materialien. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Diskussion
Experimentelle Ergebnisse zeigen, dass das vorgeschlagene YOLOv11–CNN-Fusionsmodell die Erkennungsgenauigkeit und die Echtzeitleistung für die Überwachung der Arbeitssicherheit in der Produktionslinie verbessert. Durch die effiziente Einzelstufenerkennung von YOLOv11 und die Merkmalsverbesserung des CNN-Moduls identifizierte das System Arbeiter, Ausrüstung und Gefahrenbereiche unter komplexen Lichtverhältnissen und bei Verdeckungen. Die Fusion mehrskaliger Merkmale und Aufmerksamkeitsmechanismen verstärkten die Fähigkeit, sich auf wesentliche Sicherheitselemente zu konzentrieren, und lieferten interpretierbare visuelle Hinweise für Frühwarnungen.
Das System besitzt einen praktischen Nutzen für Produktionslinien in Bereichen wie der Automobilfertigung und der elektronischen Montage, wo die Echtzeitüberwachung die Abhängigkeit von manuellen Inspektionen verringern und die Reaktionszeiten auf mögliche Sicherheitsrisiken verkürzen kann. Bei kleinen Objekten, wie Schrauben und Werkzeugen, sowie bei Arbeitern, die teilweise durch Roboterarme oder andere Ausrüstung verdeckt sind, verbessern die mehrskalige Merkmalsfusion und die Attention-Mechanismen die Fähigkeit des Modells, sicherheitsrelevante Merkmale zu extrahieren und hervorzuheben. Diese Verbesserungen sind für Produktionsumgebungen relevant, in denen die Objekte hinsichtlich Größe und Sichtbarkeit variieren.
Diese Studie weist jedoch klare Einschränkungen auf. Bei starker Verdeckung oder sehr geringer Beleuchtung kann die Leistung des Modells abnehmen, da die Merkmalsinformationen des Zielobjekts unvollständig werden und die vorhandenen faltungs-basierten Merkmale möglicherweise nicht ausreichen. Das neu hinzugefügte CNN-basierte Merkmalsverstärkungsmodul fügt 1,5 Mio. zusätzliche Parameter hinzu, was die Rechenlast auf kostengünstigen Edge-Geräten erhöhen und den Einsatz in ressourcenbeschränkten Umgebungen einschränken kann. In dieser Studie werden ausschließlich Daten aus sichtbarem Licht verwendet, und es erfolgt keine Integration multimodaler Sensordaten, wie beispielsweise Infrarot-Wärmebildaufnahmen oder Millimeterwellen-Radar; daher kann die Leistung in extremen industriellen Szenarien wie völliger Dunkelheit oder Rauch eingeschränkt sein.
Zukünftige Forschung wird sich auf folgende Bereiche konzentrieren: Modell-Verkleinerung basierend auf strukturierter Pruning- und Wissens-Distillationsverfahren, um den Parameterumfang zu reduzieren, während die Erkennungsleistung erhalten bleibt; Aufbau eines multimodalen Fusionserkennungsrahmens für sichtbares Licht und Infrarot, um die Erkennungsfähigkeit unter extremen Beleuchtungsbedingungen und in verrauchten Umgebungen zu verbessern; Einführung eines leichten Transformer-Moduls, um Teile der konvolutionalen Schichten zu ersetzen und die Extraktion langreichweitiger Kontextmerkmale zu verbessern; sowie Entwicklung eines End-to-End-Systems zur Erkennung abnormen Verhaltens, um den gesamten Workflow von der Objekterkennung bis zur frühzeitigen Verhaltenswarnung zu unterstützen.
Zusammenfassend konzentriert sich diese Studie auf ein Überwachungssystem für die Arbeitssicherheit in der Produktion, das die YOLOv11- und CNN-Algorithmen kombiniert, um eine Echtzeit-Erkennung und Frühwarnung potenzieller Sicherheitsrisiken in komplexen industriellen Umgebungen zu ermöglichen. Durch experimentelle Überprüfung zeigte das Fusionsmodell Leistungsvorteile hinsichtlich der Objekterkennungsgenauigkeit und der Inferenzgeschwindigkeit. Mit seiner effizienten Single-Stage-Erkennungsarchitektur und optimierten Merkmalsextraktion erwies sich YOLOv11 als leistungsfähig bei der schnellen Identifizierung von Arbeitern, Geräten und Gefahrenzonen sowie bei der präzisen Erfassung zentraler Sicherheitselemente in Produktionsszenarien. Gleichzeitig verbesserte die Einführung des weiterentwickelten CNN-Moduls die Merkmalsabtastung und die Erkennung verdeckter Objekte. Bei der Überwachung der Arbeitssicherheit in der Produktion fokussiert sich das Modell automatisch durch visuelle Analyse auf die kritischen Sicherheitsbereiche im Bild und liefert damit eine nachvollziehbare Grundlage für Sicherheitswarnungen. Das Fusionsmodell zeigte eine hohe Anpassungsfähigkeit und Stabilität in verschiedenen Produktionsszenarien, darunter Bearbeitung, Montage und Lagerung. Die Hauptbeiträge dieser Arbeit sind wie folgt:
(1) Eine tiefe Fusionsarchitektur aus YOLOv11 und CNN wurde entwickelt, um Erkennungsgeschwindigkeit und -genauigkeit auszugleichen.
(2) Ein Mechanismus zur mehrskaligen Merkmalsfusion und Aufmerksamkeitsoptimierung wurde implementiert, um die Fähigkeit zu verbessern, sich auf Schlüsselelemente der Sicherheit in komplexen Szenarien zu konzentrieren.
(3) Experimente auf einem selbst erstellten Datensatz zur Produktliniensicherheit zeigten, dass das Modell einen mAP@0.5-Wert von 0,91 und eine Erkennungsgeschwindigkeit von 120 Bildern pro Sekunde erreichte. Bei Tests über verschiedene Szenarien hinweg zeigte das Modell eine stabile Leistung.
Typische Fallstudien zeigten, dass unter Standardbeleuchtungsbedingungen ein Sicherheitshelm mit nur 40 % Sichtfläche durch die mehrskalige Fusion und Kanalaufmerksamkeit korrekt erkannt wurde (Konfidenz 0,93), während das Basismodell ihn fälschlicherweise als Hintergrund klassifizierte. In schlecht beleuchteten Szenarien, als ein Arbeiter einen Gefahrenbereich betrat, begrenzte die räumliche Aufmerksamkeit das Ziel erfolgreich mit Richtungslinien, während das Vergleichsverfahren versagte, es zu erkennen. Zu den Fehlern gehörte, dass ein Schraubenschlüssel aufgrund der texturalen Ähnlichkeit mit dem Hintergrund bei starker Verdeckung fälschlicherweise als Werkzeug detektiert wurde, sowie ein Sicherheitshelm, der aufgrund eines niedrigen Signal-Rausch-Verhältnisses in der Ferne bei schwachem Licht nicht erkannt wurde, was Grenzen der Merkmalsrepräsentation unter extremen Bedingungen aufzeigt. Diese Ergebnisse deuten darauf hin, dass das Modell in normalen und mäßig komplexen Szenarien robust ist, jedoch unter extremen Bedingungen noch Verbesserungsbedarf besteht.
Offenlegungen
Die Autoren erklären, dass keine Interessenkonflikte bestehen.
Danksagungen
Diese Arbeit wurde teilweise von der wissenschaftlichen Forschungsstiftung für hochqualifizierte Fachkräfte der Taizhou-Universität „Forschung zu Schlüsseltechnologien der Präzisionsdetektion für intelligentes Fertigen“ (TZXY2020QDJJ006) gefördert.
Materialien
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| COCO-API | N/V | Bewertungswerkzeug zur Beurteilung der Genauigkeit der Zielobjekterkennung und zur statistischen Analyse. | |
| CUDA 11.4 | NVIDIA | N/V | Plattform für paralleles Rechnen, die mit dem PyTorch-1.12-Framework verwendet wird. |
| Edge TPU | N/V | Einsatzplattform zur Messung von Latenz und Stromverbrauch; berichtete Latenz betrug 18 ms, der Stromverbrauch lag bei 15 W. | |
| Edge-Computing-Gerät Jetson Xavier | NVIDIA | Edge-Computing-Gerät zur Durchsatzmessung; berichtete Verarbeitungsgeschwindigkeit betrug 70 FPS, die Latenz im 99. Perzentil lag unter 50 ms. | |
| NVIDIA Tesla V100 GPU | NVIDIA | GPU, die auf dem Trainings-/Evaluierungsserver verwendet wurde. | |
| PyTorch 1.12 | N/V | Tiefenlern-Framework für das Modelltraining und die Modellbewertung. | |
| scikit-learn | N/V | Bewertungs- und statistisches Analysewerkzeug zur Modellbewertung. | |
| Eigens erstellter Datensatz zur Produktionsliniensicherheit | N/V | N/V | Datensatz mit 12.000 Bildern von Produktionslinienszenen im VOC-Format, abgedeckt sind Standardbeleuchtung, schwache Beleuchtung, teilweise Verdeckung, starke Verdeckung, Bewegungsunschärfe und komplexe Hintergründe; sechs Annotationkategorien: Arbeiter, Schutzhelme, Roboterarme, Gefahrenzonen, Werkzeuge und Fahrzeuge. |
| Trainings-Server | Server ausgestattet mit einer NVIDIA Tesla V100 GPU und dem Betriebssystem Ubuntu 20.04. | ||
| Ubuntu 20.04 Betriebssystem | N/V | Betriebssystem, das auf dem Trainings-/Evaluierungsserver verwendet wird. | |
| VOC-Annotationsformat | N/V | N/V | Annotationsformat für den eigens erstellten Datensatz zur Produktionsliniensicherheit. |
| Objekterkennungsmodell YOLOv11 | Ultralytics | N/V | Objekterkennungsmodell zur Echtzeiterkennung von Arbeitern, Ausrüstung und potenziellen Gefahren. |
Referenzen
- Ramadan MNA, Ali MAH, Jaber H, Alkhedher M. Blockchain-secured IoT-federated learning for industrial air pollution monitoring: a mechanistic approach to exposure prediction and environmental safety. Ecotoxicol Environ Saf. 2025;300:118442.
- Ahn J, et al. SafeFac: video-based smart safety monitoring for preventing industrial work accidents. Expert Syst Appl. 2023;215:119397.
- Natha S, et al. A scalable and generalized deep ensemble model for road anomaly detection in surveillance videos. Comput Mater Contin. 2024;81(3):3707-3729.
- Diallo AR, Homri L, Dantan JY. Reducing false alarms in fault detection: a comparative analysis between conformal prediction and classical methods applied to PCA and autoencoders. J Process Control. 2025;152:103495.
- Cheng X, Han Y, Zhang W. Development of intelligent monitoring system for soil erosion in pipeline engineering based on deep learning. Comput Electr Eng. 2025;126:110432.
- Yan H, et al. A global feature fusion and adaptive optimization method to enhance detection accuracy and computational efficiency based on YOLOv8. Alexandria Eng J. 2025;129:538-552.
- Samma H, Al-Azani S, El-Ferik S. UAV-based real-time face detection using YOLOv7. Transp Res Procedia. 2025;84:331-338.
- Gong X, Yu J, Zhang H, Dong X. AED-YOLO11: a small object detection model based on YOLO11. Digit Signal Process. 2025;166:105411.
- Li R, Xiao K, Lin S, Wu Z. Enhancing aquatic ecosystem monitoring through fish jumping behavior analysis and YOLOv5: applications in freshwater fish identification. J Environ Manage. 2025;391:126413.
- Zhang D, Gao Q, Chen Z, Lin Z. Semantic feature refinement of YOLO for human mask detection in dense crowded. J Vis Commun Image Represent. 2025;107:104399.
- Choi MJ, Ku DG, Lee SJ. Integrated YOLO and CNN algorithms for evaluating degree of walkway breakage. KSCE J Civ Eng. 2022;26(8):3570-3577.
- Li Y, et al. Underwater acoustic intelligent spectrum sensing with multimodal data fusion: an Mul-YOLO approach. Future Gener Comput Syst. 2025;173:107880.
- Jiang D, et al. Real-time tracker of chicken for poultry based on attention mechanism-enhanced YOLO-Chicken algorithm. Comput Electron Agric. 2025;237:110640.
- Yang X, et al. Automated concrete bridge damage detection using an efficient Vision Transformer-enhanced anchor-free YOLO. Engineering. 2025;51:311-326.
- Fuertes D, et al. People detection with omnidirectional cameras using a spatial grid of deep learning foveatic classifiers. Digit Signal Process. 2022;126:103473.
- Deepak GD, Bhat SK. Maximizing YOLOv2 efficiency: a study on multiclass detection of indoor objects. Results Eng. 2025;26:105405.
- Zhang C, et al. Personnel target detection in infrared environment based on YOLOv3-tinier network and its FPGA implementation. Infrared Phys Technol. 2025;150:106015.
- Zhou Y. A YOLO-NL object detector for real-time detection. Expert Syst Appl. 2024;238:122256.
- Asadollahpour E, Rahmannejad R, Asghari A, Abdollahipour A. Back analysis of closure parameters of Panet equation and Burger's model of Babolak water tunnel conveyance. Int J Rock Mech Min Sci. 2014;68:159-166.
- Anguchamy KK, Palanisamy V. Real-time object detection using improvised YOLOv4 and feature mapping technique for autonomous driving. Expert Syst Appl. 2025;280:127452.
- Khan AT, Jensen SM, Khan AR. Advancing precision agriculture: a comparative analysis of YOLOv8 for multi-class weed detection in cotton cultivation. Artif Intell Agric. 2025;15(2):182-191.
- Raushan R, Singhal V, Jha RK. Damage detection in concrete structures with multi-feature backgrounds using the YOLO network family. Autom Constr. 2025;170:105887.
- Zarboubi M, Bellout A, Chabaa S, Dliou A. CustomBottleneck-VGGNet: advanced tomato leaf disease identification for sustainable agriculture. Comput Electron Agric. 2025;232:110066.
- Xie F, et al. Wine variety traceability by data fusion of near-infrared spectroscopy and mid-infrared spectroscopy combined with GAF and ResNet. Chemom Intell Lab Syst. 2025;264:105468.
- Huang J, et al. Estimation of the orientation of potatoes and detection bud eye position using potato orientation detection you only look once with fast and accurate features for the movement strategy of intelligent cutting robots. Eng Appl Artif Intell. 2025;142:109923.
- Huang Y, et al. Human intrusion detection with distributed fiber optic data based on Squeeze-Excitation and hierarchical connection enhancement network. Opt Fiber Technol. 2025;94:104297.
- Qi R, et al. Mechanical fault diagnosis of on-load tap changers using time-frequency vibration analysis and a lightweight YOLO model. Measurement. 2025;256:118441.
- Yan J, Wang Z. YOLO V3+VGG16-based automatic operations monitoring and analysis in a manufacturing workshop under Industry 4.0. J Manuf Syst. 2022;63:134-142.
- Nazli NANM, et al. A real-time system for detecting personal protective equipment compliance using deep learning model YOLOv5. Procedia Comput Sci. 2024;245:647-656.
- Xiao Y, et al. The prediction of kiwi quality attributes based on multi-source data fusion comprehensive analysis model using HSI and FHSI. J Food Compos Anal. 2025;144:107645.