Badania nad algorytmem wykrywania osobistego sprzętu ochrony osobistej na liniach przesyłowych opartych na ulepszonym YOLOv11

Podsumowanie

Celem tego protokołu jest dostarczenie krok po kroku przewodnika do opracowania ulepszonego modelu wykrywania środków ochrony osobistej opartego na YOLOv11n. Szczegółowo opisuje modyfikacje architektoniczne i treningowe, które skutkują lekkim, działającym w czasie rzeczywistym detektorem o najnowocześniejszej dokładności 90,1% mAP i wrodzonej interpretowalności.

Streszczenie

W inteligentnej inspekcji linii transmisyjnej urządzenia edge computing stoją przed kluczowym wyzwaniem pogodzenia wydajności w czasie rzeczywistym z dokładnością wykrywania w zakresie rozpoznawania środków ochrony osobistej w złożonych scenariuszach operacyjnych. Niniejsze badanie proponuje WTLS-YOLOv11n, lekki i z natury interpretowalny algorytm wykrywania. Metodologia integruje trzy synergiczne innowacje w architekturze YOLOv11n. Moduł C3K2-WTConv wykorzystujący dyskretną transformację falkową rozkłada cechy na fizycznie istotne składowe częstotliwości, umożliwiając solidne wieloskalowe wyodrębnianie cech z wrodzoną interpretowalnością. Lekka, współdzielona głowica detekcyjna kompozytów pozwala na znaczną redukcję parametrów dzięki strategicznemu dzieleniu się wagą, zachowując jednocześnie możliwości fuzji wieloskalowej. Funkcja strat MPDIoU zwiększa dokładność lokalizacji dla małych i nieregularnie ukształtowanych celów. Walidacja eksperymentalna wykazuje, że proponowany model osiąga wyższą dokładność wykrywania przy znacząco zmniejszonych parametrach i złożoności obliczeniowej w porównaniu do poziomu wyjściowego, przy jednoczesnym zachowaniu wydajności wnioskowania w czasie rzeczywistym na platformach sprzętowych na krawędzi. Analiza ilościowej interpretowalności ujawnia, że decyzje detekcyjne są w dużej mierze podejmowane przez niskoczęstotliwościowe cechy strukturalne, a nie przez szczegóły teksturalne o wysokiej częstotliwości, co zapewnia przejrzysty wgląd w proces rozumowania modelu. Eksperymenty porównawcze z popularnymi modelami detekcji potwierdzają lepszy kompromis między dokładnością a efektywnością proponowanego podejścia. Prace te ustanawiają przejrzyste, efektywne i godne zaufania rozwiązanie do automatycznego nadzoru bezpieczeństwa w operacjach zasilania elektrycznego, z szerszym zastosowaniem do zadań wykrywania krytycznych dla bezpieczeństwa wymagających wdrożenia edge i podejmowania interpretowalnych decyzji.

Wprowadzenie

Deep learning zrewolucjonizowało protokoły bezpieczeństwa w przemyśle i wprowadziło nowe podejścia do zarządzania ryzykiem zawodowym. Ta transformacja jest szczególnie widoczna w sektorach wysokiego ryzyka, takich jak inżynieria systemów energetycznych. Inteligentne systemy nadzoru oparte na wizji wykorzystują teraz architekturę YOLO (You Only Look Once)¹, umożliwiając automatyczne wykrywanie środków ochrony osobistej (PPE)^2,3 w czasie rzeczywistym. Systemy te stały się kluczową technologią do monitorowania bezpieczeństwa w miejscu pracy, oferując znaczącą poprawę dokładności wykrywania i szybkości reakcji w porównaniu z tradycyjnymi metodami.

Systemy te nieustannie monitorują zgodność z normami bezpieczeństwa, zmniejszając błędy ludzkie i poprawiając nadzór nad złożonymi miejscami eksploatacji energii. Jednak głębokie sieci neuronowe leżące u podstaw tych systemów stanowią poważne wyzwanie: ich procesy decyzyjne pozostają nieprzejrzyste. Brak interpretowalności stanowi główną przeszkodę dla szerszej adopcji w branży, szczególnie w zastosowaniach krytycznych dla bezpieczeństwa, gdzie zrozumienie rozumowania systemowego jest kluczowe dla budowania zaufania i zapewnienia odpowiedzialności.

Gdy model generuje błędną ocenę, pomijając pracownika niezgodnego z przepisami lub wywołując niepotrzebne przerwy w działaniach, nieprzejrzysty proces decyzyjny nie dostarcza żadnych praktycznych informacji dla menedżerów ds. bezpieczeństwa. Bez możliwości diagnozowania błędów, rozumienia rozumowania systemu czy weryfikacji decyzji, systemy te nie mogą spełnić standardów niezawodności wymaganych w środowiskach, gdzie zagrożone jest bezpieczeństwo ludzi. Ta luka napędza rosnące zapotrzebowanie na podejścia Explainable Artificial Intelligence (XAI)^4,5,6, które zapewniają zarówno dokładność, jak i przejrzystość. Celem jest opracowanie systemów, które personel bezpieczeństwa będzie mógł zrozumieć, zweryfikować i zaufać w kluczowych kontekstach operacyjnych.

Przejrzystość pozostaje niezbędna, ale musi być oparta na modelach, które niezawodnie działają w trudnych warunkach operacyjnych. Miejsca operacji energetycznych stawiają szczególne wymagania techniczne, które wymagają solidnych zdolności wykrywania. Te środowiska doświadczają ekstremalnych wahań oświetlenia, od intensywnego światła dziennego po całkowitą ciemność. Złożone mechanizmy często blokują pole widzenia, tworząc wyzwania związane z zasłoną, z którymi standardowe modele detekcyjne mają trudności. Warunki pogodowe dodatkowo zwiększają zmienność, wpływając na widoczność i jakość obrazu w różnych scenariuszach operacyjnych. Sprostanie tym wyzwaniom wymaga modeli, które utrzymują stałe wyniki pomimo takiej złożoności środowiskowej.

Badacze stosowali różne podejścia do optymalizacji wydajności YOLO dla zastosowań w zakładach elektroenergetycznych. Zmiany architektoniczne stanowią jeden z istotnych kierunków badań. Kilka badań wzbogaciło sieć YOLOv5⁷ poprzez dodanie dodatkowych głowic detekcyjnych w strukturze szyjki. Ta modyfikacja rozwiązuje uporczywe wyzwanie w wykrywaniu środków ochrony osobistej: trudności z identyfikacją małych obiektów z daleka lub w zagraconych polach widzenia. Dodatkowe warstwy detekcji pozwalają modelowi rejestrować drobniejsze szczegóły przestrzenne, które standardowe architektury mogą przeoczyć.

Drugi główny kierunek badawczy koncentruje się na optymalizacji modeli dla środowisk wdrożeniowych. Miejsca zasilania często wymagają systemów detekcji, aby działać na urządzeniach brzegowych o ograniczonych zasobach obliczeniowych. To ograniczenie napędzało wysiłki na rzecz kompresji modeli i poprawy efektywności. Naukowcy opracowali techniki zmniejszające rozmiar modelu i czas wnioskowania, jednocześnie zachowując dokładność wykrywania, umożliwiając wydajność w czasie rzeczywistym na sprzęcie o ograniczonych możliwościach przetwarzania ^8,9.

Najnowsze działania optymalizacyjne wprowadziły kilka obiecujących technik zmniejszających złożoność modelu. Naukowcy zintegrowali wydajne sieci szkieletowe, takie jak MobileNetv3¹⁰ , z architekturami takimi jak YOLO-M¹¹. Inni zastosowali modelowe przycinanie i destylację wiedzy, aby opracować zwarte warianty, w tym Light-YOLOv4¹². Podejścia te wykazały mierzalne poprawy efektywności obliczeniowej i wykonalności wdrożenia.

Jednak te metody optymalizacji napotykają fundamentalne ograniczenie charakterystyczne dla konwencjonalnych architektur splotowych. Standardowe operacje splotowe wymagają coraz głębszych warstw sieciowych lub większych rozmiarów jądra¹³ , aby poszerzyć pole recepcyjne, co jest niezbędne do przechwytywania informacji kontekstowych na obrazie. Ten wymóg architektoniczny tworzy nieunikniony kompromis. W miarę jak modele zyskują zdolność do wydobywania bogatszych cech i rozumienia szerszego kontekstu przestrzennego, ich liczba parametrów i wymagania obliczeniowe znacznie wzrastają. Powstałe modele często przekraczają możliwości przetwarzania urządzeń brzegowych, ograniczając ich praktyczne wdrożenie w środowiskach operacyjnych czasu rzeczywistego.

To napięcie między możliwością ekstrakcji cech a efektywnością obliczeniową stanowi istotne wyzwanie metodologiczne, którego obecne podejścia nie rozwiązały w pełni. Dziedzina ta wymaga zasadniczo innego podejścia do ekstrakcji cech, które pozwala uchwycić hierarchiczne, wieloskalowe cechy bez proporcjonalnego wzrostu parametrów, które narzucają konwencjonalne metody. Takie podejście pozwoliłoby modelom utrzymać zarówno wydajność detekcyjną wymaganą dla aplikacji krytycznych dla bezpieczeństwa, jak i efektywność niezbędną do wdrożenia na krawędzi. Wypełnienie tej luki stanowi kluczowy priorytet badawczy dla rozwoju praktycznych systemów wykrywania środków ochrony osobistej w środowiskach zasilania energetycznym.

Obecne metody wyjaśnialności wykrywania obiektów wykorzystują głównie podejścia do analizy post-hoc¹⁴ , takie jak Grad-CAM. Chociaż te metody dostarczają użytecznych wizualizacji, działają niezależnie od procesu uczenia się modelu. Alternatywnym podejściem jest projektowanie komponentów architektonicznych, które zapewniają przejrzystość poprzez mechanizmy operacyjne. Nasza ekstrakcja cech oparta na falkach umożliwia proste zrozumienie, które składowe częstotliwości przyczyniają się do wykrywania, choć potrzebne są dalsze badania, aby w pełni określić tę interpretowalność.

Niniejsze badania dotyczą trzech powiązanych ze sobą wyzwań w systemach wykrywania ŚOO: dokładności wykrywania, efektywności obliczeniowej oraz interpretowalności modelu. Prace te modyfikują architekturę YOLOv11n¹⁵ poprzez trzy celowe zmiany projektowe.

Pierwsza modyfikacja wprowadza moduł C3K2-WTConv, który zastępuje standardową konwolucję procesem ekstrakcji cech inspirowanym falkami. To podejście dzieli informacje wizualne na składowe częstotliwości: sygnały niskoczęstotliwościowe zawierają informacje o kształcie i konturze, natomiast sygnały o wysokiej częstotliwości kodują teksturę i detale krawędzi. To rozdzielenie poprawia jakość cech i sprawia, że proces ekstrakcji jest bardziej przejrzysty niż konwencjonalne operacje splotowe.

Druga modyfikacja wprowadza lekką głowicę wykrywającą kompozytów (LSCD), aby zmniejszyć wymagania obliczeniowe. Ten komponent wykorzystuje współdzielenie parametrów na skalach detekcji, zmniejszając rozmiar modelu przy jednoczesnym zachowaniu możliwości wykrywania w wielu skalach. Projekt ten uwzględnia ograniczenia zasobów typowe dla urządzeń brzegowych używanych w miejscach zasilania.

Trzecia modyfikacja zastępuje standardową funkcję straty stratą MPDIoU¹⁶ , aby poprawić dokładność skrzynek ograniczających. Ta zmiana rozwiązuje problemy lokalizacyjne związane z małymi i zmiennie ukształtowanymi elementami PPE, zapewniając lepszą stabilność gradientu podczas treningu.

Testy pokazują, że zmodyfikowany model osiąga o 3,8% wyższą średnią precyzję średnią niż bazowy, przy użyciu o 11,5% mniejszej liczby parametrów. Wyniki te wskazują, że podejście spełnia praktyczne wymagania dotyczące wdrożenia na krawędzi, jednocześnie poprawiając wydajność wykrywania. Prace te dostarczają funkcjonalnego rozwiązania do monitorowania bezpieczeństwa w operacjach zasilania, choć dalsza weryfikacja w różnych warunkach operacyjnych pozostaje konieczna, aby w pełni ocenić niezawodność systemu.

Protokół

Dane obrazowe do tego badania zostały zebrane z środowisk zasilania z odpowiednimi uprawnieniami. Wszystkie zdjęcia zostały zanonimizowane bez zachowania danych osobowych. Badanie koncentruje się na wykrywaniu środków ochrony osobistej, a nie na identyfikacji osób. Ponieważ badania obejmują wyłącznie rozwój algorytmów z wykorzystaniem anonimowych danych, nie było wymagane zatwierdzenie etyczne.

Poniższy protokół szczegółowo opisuje kompleksową procedurę projektowania, szkolenia i oceny lekkiego, wysokowydajnego i z natury interpretowalnego modelu wykrywania obiektów, nazwanego WTLS-YOLOv11n, do wykrywania środków ochrony osobistej (PPE). Oprogramowanie użyte w tym badaniu jest wymienione w Tabeli Materiałów.

Ogólne ramy architektoniczne

Proponowany model WTLS-YOLOv11n opiera się na bazie YOLOv11n. Podstawowa metodologia polega na systematycznej wymianie lub ulepszaniu kluczowych modułów w kręgosłupie i głowie w celu poprawy wydajności, efektywności i interpretowalności.

Proponowany model WTLS-YOLOv11n opiera się na bazie YOLOv11n. Podstawowa metodologia polega na systematycznej wymianie lub ulepszaniu kluczowych modułów w kręgosłupie i głowie w celu poprawy wydajności, efektywności i interpretowalności. Ogólny paradygmat architektoniczny YOLOv11n, składający się z kręgosłupa, szyi i głowy, został zachowany w proponowanym modelu. W szkieletze konkretne moduły C3K2 zostały zastąpione proponowanymi modułami C3K2-WTConv, aby usprawnić wyodrębnianie cech. W głowicy oryginalna głowica detekcyjna została zastąpiona proponowaną Lightweight Shared Composite Detection Head (LSCD), aby zmniejszyć złożoność modelu. Kompletna architektura proponowanego modelu WTLS-YOLOv11n, w porównaniu z bazą, została zilustrowana na Rysunku 1.

Projekt modułu C3K2-WTConv

Moduł ten został zaprojektowany jako zastępstwo standardowych modułów konwolucyjnych w kręgosłupie YOLOv11n. Jego projekt opiera się na dwóch głównych celach: (a) efektywnym rozszerzeniu pola recepcyjnego modelu do rejestrowania wieloskalowych informacji kontekstowych bez znaczącego zwiększania liczby parametrów czy złożoności obliczeniowej, oraz (b) nauki bardziej odpornych i z natury interpretowalnych reprezentacji cech poprzez jawne dekomponowanie map cech do domeny częstotliwości.

Projekt warstwy rdzeniowej WTConv

Podstawowa warstwa WTConv (Wavelet Transform Convolution) została zaprojektowana do implementacji 2D dyskretnej transformacji falkowej Haara. Proces ten realizowany jest za pomocą zestawu specyficznych jąder falkowych:

Jądra falkowe: Transformacja jest realizowana za pomocą czterech stałych, nieustalonych głęboko-splotowych jąder (F_LL, F_LH, F_HL, F_HH), które odpowiadają funkcjom bazowym falki Haara. Te jądra odpowiadają za rozkład mapy cech wejściowych na jej niskoczęstotliwościowe i wysokie komponenty.

Dekompozycja i próbkowanie w dóle: Te jądra są stosowane do mapy cech wejściowych (X) z krokiem 2. Ta pojedyncza operacja efektywnie wykonuje zarówno dekompozycję cech, jak i przestrzenne próbkowanie w dół, dzieląc dane wejściowe na cztery odrębne podpasma.

Fizyczna interpretacja składowych wyjściowych

Cztery podpasma cech generowane przez rozkład falkowy mają jasną interpretację fizyczną. Jak pokazano na Rysunku 2, warstwa WTConv rekurencyjnie rozkłada wejście na następujące składowe:

Składowa niskiej częstotliwości (LL): Ta składowa zachowuje ogólną strukturę, kontur oraz inne globalne informacje o celu przy połowie rozdzielczości przestrzennej. Stanowi podstawę modelu do zrozumienia "kształtu" celu.

Składowe wysokiej częstotliwości (LH, HL, HH): Te trzy komponenty rejestrują drobnoziarniste detale, takie jak poziome, pionowe i diagonalne krawędzie oraz tekstury. Pozwalają modelu skupić się na "szczegółach" celu.

Integracja ze strukturą modułu C3K2

Zaprojektowana warstwa WTConv jest płynnie zintegrowana ze strukturą wąskiego gardła C3K2 w YOLOv11n.

Strategia zastępstwa: W oryginalnym module C3K2 standardowa warstwa splotowa 3x3 zostaje zastąpiona warstwą WTConv. To podejście zachowuje efektywny mechanizm ponownego wykorzystania cech architektury C3K2, jednocześnie wprowadzając zalety transformacji falkowej, co skutkuje ostatecznym modułem C3K2-WTConv (szczegółowa struktura pokazana na Rysunku 3).

Kaskadowa ekspansja pola recepcyjnego: Proces WTConv może być rekurencyjnie stosowany do niskoczęstotliwościowego (LL) wyjścia poprzedniego stopnia. Ten mechanizm dekompozycji kaskadowej pozwala modelowi analizować cechy na wykładniczo rosnącym polu recepcyjnym przy minimalnym narzutzie obliczeniowym, tworząc tym samym wydajną, wieloskalową ścieżkę dekompozycji częstotliwościowej.

Konstrukcja lekkiej wspólnej głowicy wykrywającej kompozytów (LSCD)

Moduł ten został zaprojektowany tak, aby zastąpić oryginalną głowicę detekcyjną YOLOv11n, z głównym celem drastycznego zmniejszenia złożoności modelu i narzutu obliczeniowego dla efektywnego wdrożenia na urządzeniach brzegowych o ograniczonych zasobach. Projekt odpowiada na istotną redundancję parametrów występującą w standardowych głowicach detekcji wieloskalowych (szczegółowa struktura pokazana na Rysunku 4.

Uzasadnienie i cele projektowe

Niezależne rozgałęzienia predykcyjne dla każdej skali cech (P3-P5) w oryginalnej głowicy YOLOv11 prowadzą do wysokiej liczby parametrów. LSCD wprowadza hybrydową strategię dzielenia parametrów, aby osiągnąć wyższą efektywność parametrów przy jednoczesnym zachowaniu kluczowych możliwości fuzji cech w wieloskalowych systemach.

Współdzielenie parametrów i mechanizm fuzji cech

Sednem LSCD jest dwustopniowy pipeline przetwarzania cech:

Specyficzne dla skali preprocessing: Dla każdej mapy cech wejściowych z gryfu (P3, P4, P5) stosuje się niewspółdzieloną konwolucję 1x1, po której następuje warstwa Normalizacji Grupy (GN). Ten pierwszy krok pozwala sieci nauczyć się transformacji kanałów specyficznych dla skali, zapewniając zachowanie unikalnych cech każdego poziomu cech przed fuzją.

Efektywna fuzja w skali międzyskalowej: Po wstępnym przetwarzaniu stosuje się serię współdzielonych modułów 3x3 Conwolution-GN, które wykonują fuzję cech podstawowych na różnych skalach. Dzieląc się wagami, te moduły uczą się uogólnionego wzorca fuzji cech, który jest głównym źródłem redukcji parametrów. Taki projekt zmusza model do nauki bardziej odpornych i uniwersalnych reprezentacji fuzji.

Dynamiczna adaptacja skali i optymalizacja rozgałęzień

Aby zrekompensować potencjalną utratę informacji wynikającą z dzielenia się wagą oraz poprawić dokładność predykcji, wprowadzono dwa dodatkowe mechanizmy:

Warstwa skalowa, którą można nauczyć: Dla każdej skali detekcji dodana jest warstwa skalowa. Ta warstwa wprowadza skalar możliwy do uczenia na skalę, który dynamicznie ponownie waży połączone cechy, pozwalając modelu adaptacyjnie podkreślać lub tłumić cechy w zależności od rozmiarów obiektów docelowych występujących na tej skali.

Zoptymalizowana gałąź klasyfikacji: Gąź klasyfikacji jest ulepszona poprzez wykorzystanie funkcji aktywacji Softmax do rozkładu prawdopodobieństwa oraz włączenie warstwy Group Normalization (GN). Stabilizuje to trening zadania klasyfikacyjnego i zwiększa odporność predykcji pewności, techniki udowodnionej jako skuteczna w architekturach takich jak FCOS.

Ulepszony projekt funkcji strat (MPDIoU)

Funkcja strat została przeprojektowana, aby szczególnie rozwiązać wyzwania związane z dokładną regresją w ramach ramek ograniczających dla małych, zagraconych i nieregularnie ukształtowanych celów, co jest powszechne w scenariuszach wykrywania środków ochrony osobistej.

Motywacja i ograniczenia tradycyjnej utraty IoU

Standardowe straty wynikające z IoU cierpią w tym kontekście na kilka istotnych wad:

Gradienty zanikania: Gdy przewidywane i podstawowe pola nie nakładają się, IoU wynosi zero, a gradient strat znika, co zatrzymuje proces uczenia.

Nieczułość na wyrównanie: Wiele konfiguracji skrzynek ograniczających może dać ten sam wynik IoU, przez co funkcja straty jest niewrażliwa na jakość wyrównania (np. odchylenie punktu środkowego vs. niedopasowanie kształtu).

Słaba wydajność na małych obiektach: Dla małych celów nawet drobne odchylenia pikseli mogą być znaczące, ale często skutkują znikomymi zmianami wartości IoU, co prowadzi do nieprecyzyjnej lokalizacji.

Przyjęcie strat IoU z minimalnej odległości punktowej (MPDIoU)

Aby przezwyciężyć wspomniane ograniczenia, protokół zastępuje standardową stratę stratą przez Minimalną Odległość Punktową IoU (MPDIoU). MPDIoU wzmacnia standardową metrykę IoU, wprowadzając karę, która bezpośrednio karze odległość między przewidywaną a prawdziwą polą rzeczy, nawet jeśli się nie pokrywają.

Mechanizm podstawowy: Termin karny wyprowadzony jest z euklidesowej odległości między odpowiadającymi punktami narożnymi przewidywanego pudełka (pred) a podstawowego pudełka (gt). Konkretnie, kwadratowe odległości dla lewych górnych rogów ) oraz dolnych prawych rogów () są obliczane:

   (1)
   (2)

Aby kara była niezmienna względem skali, odległość ta jest normalizowana przez wymiary najmniejszego otaczającego pudełka, które obejmuje zarówno przewidywaną, jak i podstawową skrzynkę. Niech w i h będą odpowiednio szerokością i wysokością tego otaczającego pudełka. Metryka MPDIoU jest wtedy formułowana jako:

   (3)

Ostatecznie funkcja strat MPDIoU (L_MPDIoU) definiowana jest jako:

L_MPDIoU = 1 - MPDIoU (4)

Kluczowe zalety: Ten geometryczny termin karny bezpośrednio rozwiązuje wspomniane kwestie: i) zapewniając znaczący, niezerowy gradient nawet wtedy, gdy pola się nie nakładają, zapobiegając tym samym zanikaniu gradientu i zapewniając ciągłą optymalizację modelu, ii) oferując zwiększoną czułość na odchylenia pozycji, rozmiaru i proporcji obrazu, co jest kluczowe dla precyzyjnej lokalizacji małych i różnorodnych elementów PPE, iii) dostarczanie bardziej stabilnych i spójnych sygnałów gradientu podczas całego treningu, co sprzyja szybszej konwergencji i skutkuje lepszą dokładnością lokalizacji.

Zbiory danych i konfiguracja eksperymentalna

Samodzielnie zbudowany zbiór danych wykrywania środków ochrony osobistej

Utworzyliśmy zestaw danych wykrywania PPE zawierający 5 000 obrazów o wysokiej rozdzielczości z operacji linii przesyłowych, opatrzonych adnotacjami LabelImg i przekonwertowanych do formatu YOLO TXT. Zbiór danych obejmuje pięć kategorii: hełmy ochronne (1 245 przypadków), uprzęże bezpieczeństwa (1 128 przypadków), opaski na ramiona (892 przypadki), status pracy na wysokości (1 056 przypadków) oraz stan na poziomie ziemi (1 124 przypadki). Dane dzielą się na zestawy treningowe (4000 obrazów), walidację (500 obrazów) oraz testowe (500 obrazów). Zdjęcia przedstawiają trudne warunki, w tym ekstremalne oświetlenie, silne zasłony (23% przy >50% pokrycia) oraz złożone tła przemysłowe. Podczas szkolenia stosowano standardowe techniki augmentacji (losowe flipowanie, rotacja, drganie kolorów, mozaika).

Zbiór danych VOC PASCAL do testów uogólniających

Aby ocenić zdolność modelu do uogólnienia poza scenariusze zasilania, wykorzystaliśmy zbiór danych PASCAL VOC, który łączy VOC2007 i VOC2012, tworząc łącznie 21 503 obrazy. Zgodnie ze standardową praktyką wykorzystaliśmy 11 540 obrazów z VOC2012 do treningu i walidacji oraz 9 963 obrazy z VOC2007 do testów. Zbiór danych VOC zawiera 20 kategorii obiektów w różnych rzeczywistych scenariuszach. Chociaż konkretne obiekty różnią się od naszych kategorii PPE, wyzwania detekcyjne (zmienność skali, zasłona, złożone tła) są podobne, co czyni go odpowiednim do oceny ogólnych możliwości wykrywania i przenośności modelu.

Szczegóły implementacji

Protokół ten określa procedurę trenowania i oceny modelu. Zakłada się, że użytkownik ma dostęp do kodu źródłowego, odpowiedniego środowiska Pythona oraz przygotowanych zbiorów danych.

Przygotowanie systemu i środowiska

Do zapewnienia wystarczającej ilości pamięci do treningu użyto stacji roboczej wyposażonej w kartę NVIDIA o pojemności co najmniej 24 GB VRAM, aby zapewnić odpowiednią pamięć do treningu (np. NVIDIA GeForce RTX 4090). Na stacji roboczej zainstalowano ramy PyTorch do głębokiego uczenia (wersja 1.12.0 lub wyższa) wraz z odpowiadającym mu zestawem narzędzi CUDA. Instalację zweryfikowano, otwierając terminal i wykonując polecenie "python -c 'import torch; print(torch.cuda.is_available())'", który miał zwrócić "True". Wymagane pakiety Pythona instalowano przez przejście do katalogu głównego projektu i wykonanie polecenia "install -r requirements.txt". To polecenie automatycznie instalowało zależności takie jak numpy, opencv-python, pyyaml, tensorboard i torchvision. Przygotowanie zestawu danych zostało zweryfikowane, aby upewnić się, że obrazy treningowe znajdują się w /data/train/images, a pliki adnotacji w formacie /data/train/label/ w formacie YOLO (szerokość klasy x_center y_center). Ten sam proces weryfikacji zastosowano do zbiorów danych walidacyjnych (/data/val/) i testowych (/data/test/).

Konfiguracja treningowa

Plik konfiguracyjny config/wtls_yolov11n.yaml został otwarty za pomocą edytora tekstu do ustawienia parametrów treningowych. Ścieżki danych konfigurowano przez lokalizowanie parametru 'path' i ustawienie go w katalogu głównym zbioru danych, natomiast parametry 'train', 'val' i 'test' były weryfikowane tak, aby wskazywać na właściwe podkatalogi. Parametr 'nc' (liczba klas) został potwierdzony jako zgodny z zestawem danych, który został ustawiony na 5 dla wykrywania PPE. Hiperparametry treningowe konfigurowano z liczbą epoch ustawioną na 300 dla pełnego treningu oraz rozmiarem partii na 16, z założeniem, że wartość tę można dostosować w zależności od dostępności pamięci GPU i zmniejszyć do 8 w przypadku błędów braku pamięci. Rozmiar obrazu wejściowego (imgsz) został ustawiony na 640, a optymalizator został potwierdzony jako SGD z początkową częstotliwością uczenia (lr0) 0,01. Spadek masy został potwierdzony na poziomie 0,0005, a pęd ustawiono na 0,937. Techniki augmentacji danych zostały włączone przy użyciu domyślnych skonfigurowanych ustawień, które obejmowały mozaikową poprawę (mozaika: 1.0), losowe przewrócenie poziome z prawdopodobieństwem 50% oraz drganie kolorów z parametrami HSV_H: 0.015, HSV_S: 0.7 oraz HSV_V : 0.4. Parametry wykorzystania sprzętu konfigurowano z liczbą pracowników ustawioną na 8 dla wątków CPU używanych do ładowania danych, a parametr urządzenia ustawiono na 0, aby używać pierwszego GPU, z opcją ustawienia go na "0,1" do treningu wieloGPU, jeśli zajdzie taka potrzeba.

Wykonanie treningu modelu

Trening modelu był inicjowany z linii poleceń poprzez wykonanie polecenia "python train.py --cfg config/wtls_yolov11n.yaml --weights ''--data data.yaml", gdzie parametr --cfg określał plik konfiguracyjny modelu, parameter --weights był ustawiony na pusty ciąg do trenowania od zera (alternatywnie yolov11n.pt mógł być używany do uczenia transferowego), a parametr --data określał konfigurację zbioru danych. Podczas treningu obserwowano wskaźniki zbieżności, które śledziły wydajność modelu. W pierwszych 50 epokach zaobserwowano gwałtowny spadek strat, a box_loss spadło z około 1,5 do 0,8. Między epokami 50 a 150 zaobserwowano stałą poprawę, box_loss spadło z około 0,8 do 0,5. W epokach 150–300 faza precyzyjnego dostrojenia miała miejsce przy stabilizacji box_loss w okolicach 0,4 do 0,5. Oczekiwano, że metryka walidacji mAP@0,5 osiągnie ponad 85% do epoki 200. Zapisywanie punktów kontrolnych zostało zweryfikowane, aby zapewnić, że trening automatycznie zapisuje punkty kontrolne co 10 epok do wyników katalogu/treningu/exp/wag/. Potwierdzono obecność last.pt (najnowszy punkt kontrolny) i best.pt (najwyższy punkt kontrolny mAP), przy czym każdy plik punktu kontrolnego miał mieć rozmiar około 5 do 6 MB. Postępy treningu można opcjonalnie monitorować za pomocą TensorBoard, otwierając nowy terminal i wykonując polecenie "tensorboard --logdir runs/train", a następnie przeglądając przeglądarkę, aby http://localhost:6006 wyświetlać wykresy krzywych strat, harmonogramu uczenia i trendów mAP. Typowe problemy rozwiązywano poprzez procedury rozwiązywania problemów, gdzie błędy CUDA związane z pamięcią rozwiązywano przez zmniejszenie rozmiaru partii do 8 lub 4, straty NaN przez zmniejszenie szybkości uczenia do 0,005, a plateau mAP poniżej 80% badane przez weryfikację poprawności adnotacji i zwiększenie epok treningowych do 400.

Protokół oceny modelu

Przeprowadzono wieloaspektową procedurę ewaluacji, aby kompleksowo zweryfikować skuteczność, efektywność i interpretowalność proponowanego modelu.

Ilościowa ocena wydajności

Metryki wydajności

Oceń dokładność modelu za pomocą średniej średniej precyzji (mAP) przy progu IoU 0,5 (mAP@0,5), precyzji i przypomnienia. Oceń efektywność modelu, mierząc łączną liczbę parametrów (M) i operacji zmiennoprzecinkowych (FLOPs, G). Mierz prędkość wnioskowania w klatkach na sekundę (FPS) zarówno na GPU klasy serwerowej, jak i na urządzeniu brzegowym. Do testów na urządzeniach na krawędzi ustaw tryb zasilania na maksymalną wydajność i rozgrzej model 100 fałszywymi wnioskami przed nagraniem FPS powyżej 500 zdjęć testowych.

Porównanie z najnowocześniejszymi modelami: porównaj proponowany model WTLS-YOLOv11n z jego bezpośrednią bazą (YOLOv11n) oraz różnorodną gamą detektorów, w tym głównodostępnych modeli YOLO opartych na CNN (YOLOv5n, YOLOv8n, YOLOv9), detektorem dwustopniowym (Faster R-CNN) oraz detektorem opartym na transformatorze (RT-DETR). Wytrenuj wszystkie modele dla 300 epok, używając ich zalecanych domyślnych hiperparametrów. Zapisz wszystkie metryki zdefiniowane w sekcji Metryki Wydajności dla każdego modelu zarówno na samodzielnie zbudowanym zbiorze danych PPE, jak i zbiorze danych PASCAL VOC. Do oceny VOC trenuj na połączonych zestawach VOC2012 trainval i VOC2007 trainval, a następnie testuj na VOC2007 zestawie testowym zgodnie ze standardowym protokołem.

Badania ablacji: Przeprowadz systematyczne badanie ablacji, aby rozłożyć indywidualne wkłady proponowanych składników.

Analiza skuteczności komponentów: Zaczynając od bazowego modelu YOLOv11n, stopniowo integruj moduł C3K2-WTConv, głowicę LSCD oraz straty MPDIoU. Dla każdej konfiguracji przetrenuj model na 300 epok, używając identycznych hiperparametrów (rozmiar partii 16, szybkość uczenia 0,01, optymalizator SGD). Zapisz zmiany w mAP, precyzji, przywołaniu, parametrach, FLOP i FPS, aby zweryfikować skuteczność każdego komponentu. Oblicz procentowe poprawy względem poziomu wyjściowego dla każdego wskaźnika.

Analiza rozmieszczenia: Aby określić optymalne rozmieszczenie modułu C3K2-WTConv, integruj go z różnymi częściami architektury sieci. Przetestuj trzy konfiguracje: (i) integracja tylko z kręgosłupem, (ii) integracja wyłącznie z gryfem oraz (iii) pełna integracja zarówno kręgosłupa, jak i gryfu. Trenuj każdą konfigurację przez 300 epok i porównaj uzyskane wyniki mAP@0,5, aby określić najskuteczniejszą strategię integracji. Wybierz konfigurację optymalną dla wszystkich kolejnych eksperymentów.

Jakościowa ocena wyników

Wizualizacja wyników detekcji: Wybierz 12-15 reprezentatywnych obrazów z zestawu testowego, które przedstawiają wymagające rzeczywiste scenariusze, w tym silne podświetlenie, silne zasłonięcie obiektów, złożone tła oraz nietypowe kąty kamery. Dla każdego modelu porównawczego (bazowy, YOLOv5n, YOLOv8n, YOLOv9s i WTLS-YOLOv11n) wykonaj wnioskowanie na tych obrazach z użyciem progu ufności 0,25 i progu IoU 0,45. Generuj i renderuj wyjścia detekcji (ramki ograniczające z etykietami klas i wskaźnikami zaufania) na tych obrazach. Ułóż wizualizacje w formacie siatki, gdzie wiersze reprezentują różne scenariusze, a kolumny różne modele.

Analiza odporności: Porównaj wizualnie wynikły wyświetlone z różnych modeli. Oceń odporność i przewagę proponowanego modelu, licząc i oznaczając przypadki fałszywie negatywnych wyników (przegapionych obiektów), fałszywie pozytywnych (nieprawidłowe detekcje) oraz podwójnych detekcji (wiele okienek dla jednego obiektu z IoU > 0,7 między przewidywaniami). Użyj czerwonych kółek, aby podkreślić problematyczne wykrycia na ilustracji obrazu. Oblicz wskaźniki fałszywie negatywnych i fałszywie pozytywnych wyników dla każdego modelu na wybranych obrazach testowych. Wyodrębnij i porównaj średnie wyniki zaufania dla prawdziwie pozytywnych wykryć w różnych modelach.

Analiza interpretowalności

Aby zweryfikować wrodzoną interpretowalność oferowaną przez moduł C3K2-WTConv, wykonano procedurę wizualizacji wybranych obrazów wejściowych. Wytrenowany model WTLS-YOLOv11n został załadowany, a na module C3K2-WTConv na czwartej warstwie szkieletu zarejestrowano hak do przodu. Na obrazie wejściowym wykonywano propagację do przodu, a tensor cech wyjściowych był rejestrowany. Z rejestrowanego tensora cech kształtu [partia, kanały, wysokość, szerokość] oddzielano kanały odpowiadające różnym składowym częstotliwości. Pierwsze 25% kanałów oznaczono jako komponenty niskoczęstotliwościowe (LL), a pozostałe 75% jako komponenty wysokich częstotliwości (LH, HL, HH). Dla każdego typu komponentu częstotliwościowego obliczono średnią ze wszystkich kanałów w tym składzie, aby stworzyć mapy aktywacji pojedynczego kanału. Norma L2 była stosowana w wymiarach przestrzennych, gdy było to konieczne, aby podkreślić silne aktywacje. Mapy aktywacyjne zostały znormalizowane do zasięgu [0, 1], a następnie zastosowano mapę kolorową (np. 'odrzutową' mapę kolorów). Mapy cieplne zostały zmienione tak, aby odpowiadały oryginalnej rozdzielczości obrazu wejściowego za pomocą interpolacji biliniowej. Mapa ciepła o niskich częstotliwościach i mapa ciepła o wysokiej częstotliwości zostały nałożone na oryginalny obraz z 40% przezroczystością, aby stworzyć interpretowalne wizualizacje pokazujące, gdzie model koncentruje się na cechach konstrukcyjnych i teksturalnych.

Aby rygorystycznie potwierdzić, że decyzje detekcyjne opierają się na cechach w dziedzinie częstotliwości, przeprowadzono analizę ilościową. Z zestawu testowego wybrano podzbiór od 200 do 300 obrazów, które zawierały udane wykrycia (wynik ufności powyżej 0,5). Ten podzbiór został zapewniony, aby reprezentować różnorodne scenariusze, aby uniknąć błędu próbkowania. Dla każdego obrazu w podzbiorze przeprowadzano propagację do przodu, a wyjście modułu C3K2-WTConv na czwartej warstwie szkieletowej było wyodrębniane. Tensor cech był podzielony na komponenty niskoczęstotliwościowe (LL, pierwsze 25% kanałów) i wysokie częstotliwości (HF, pozostałe 75% kanałów). Dla każdego obrazu obliczono średnią bezwzględną siłę aktywacji na podstawie wymiarów przestrzennych (wysokość i szerokość) dla obu składowych częstotliwości. Siła LL została obliczona jako średnia wartości bezwzględnej cech LL we wszystkich pozycjach przestrzennych, a siła HF jako średnia wartości bezwzględnej cech HF we wszystkich pozycjach przestrzennych. Wartości te były rejestrowane wraz z maksymalnym wskaźnikiem pewności wykrywania dla danego obrazu. Na podstawie zebranych danych (LL_strength, HF_strength, confidence_score) ze wszystkich obrazów obliczono współczynniki korelacji Pearsona. Obliczono korelację między siłą LL a oceną pewności, a także korelację między siłą HF a oceną pewności. Do uzyskania zarówno współczynników korelacji (r), jak i wartości p, użyto oprogramowania statystycznego lub funkcji scipy.stats.pearsonr w Pythonie. Istotność statystyczna oceniano przy użyciu progu wartości p 0,05, gdzie wartość p mniejsza niż 0,05 wskazywała, że korelacja jest istotna statystycznie. Porównano wielkość współczynników korelacji, aby ustalić, która składowa częstotliwości ma silniejsze powiązanie z pewnością wykrywalności. Następujące wskaźniki zostały zapisane w formacie strukturalnym: współczynnik korelacji LL (rLL) i wartość p (pLL), współczynnik korelacji HF (rHF) oraz wartość p (pHF), średnia siła aktywacji (średnia LL, średnia HF) oraz wielkość próby (liczba analizowanych obrazów). Oczekiwano wynikami, że cechy niskoczęstotliwościowe wykazują silniejszą dodatnią korelację z wynikami ufności (rLL większą niż 0,60, p mniej niż 0,001) w porównaniu z cechami o wysokiej częstotliwości (rHF około 0,40 do 0,50, p poniżej 0,01), co wskazuje, że decyzje wykrywania były w dużej mierze podejmowane przez informacje strukturalne zebrane w składzie LL.

Ta analiza ilościowa ustanowiła interpretowalność wykraczającą poza ograniczenia wizualizacji jakościowej. Połączenie analizy korelacyjnej (wykazującej statystyczne powiązania) oraz wizualizacji w dziedzinie częstotliwości (wykazującej uwagę przestrzenną) dostarczyło rygorystycznych dowodów empirycznych, że podejmowanie decyzji modelu rzeczywiście opierało się na niskoczęstotliwościowych cechach strukturalnych, zgodnie z zamierzeniem projektu.

Oczekiwane wyniki: Cechy niskoczęstotliwościowe powinny wykazywać silniejszą dodatnią korelację z wynikami ufności (r_LL > 0,60, p < 0,001) w porównaniu z cechami o wysokiej częstotliwości (r_HF≈ 0,40-0,50, p < 0,01), co wskazuje, że decyzje wykrywające są w dużej mierze podejmowane przez informacje strukturalne zebrane w komponentie LL.

Ta analiza ilościowa ustanawia interpretowalność wykraczającą poza wizualizację jakościową. Połączenie analizy korelacji (wykazującej statystyczne powiązania) oraz wizualizacji w dziedzinie częstotliwości (wykazującej uwagę przestrzenną) dostarcza rygorystycznych dowodów empirycznych, że podejmowanie decyzji modelu rzeczywiście opiera się na niskoczęstotliwościowych cechach strukturalnych, zgodnie z zamierzeniem projektu.

Wyniki

Aby ocenić wydajność proponowanego modelu WTLS-YOLOv11n, przeprowadziliśmy eksperymenty na naszym samodzielnie zbudowanym zbiorze danych PPE oraz zbiorze danych PASCAL VOC 2007+2012. Wszystkie wskaźniki są raportowane na odpowiednich zestawach testowych, chyba że zaznaczono inaczej.

Porównanie z nowoczesnymi modelami

Porównaliśmy WTLS-YOLOv11n z powszechnymi detektorami obiektów w trzech paradygmatach architektonicznych: modelach YOLO opartych na C...

Dyskusja

Wyniki eksperymentalne pokazują, że WTLS-YOLOv11n osiąga 90,1% mAP, jednocześnie obniżając parametry o 11,5% w porównaniu do wartości wyjściowej YOLOv11n. Ta poprawa zarówno dokładności, jak i efektywności wynika z synergicznej integracji trzech komponentów: ekstrakcji cech opartej na falkach, lekkiego projektu głowicy detekcyjnej oraz lepszej straty lokalizacji.

Badanie ablacji ujawnia, że moduł C3K2-WTConv zapewnia największy indywidualny wzrost wydajności, zwiększając mAP z 86,3% do 89,1%. ...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Zestaw narzędzi CUDA	NVIDIA Corporation	CUDA Toolkit wersja 11.7
Ramy Deep Learning	Fundacja PyTorch	PyTorch Wersja 1.12.0
Jednostka przetwarzania grafiki	NVIDIA Corporation	GeForce RTX 4090
NumPy	Deweloperzy NumPy	NumPy
OpenCV	Zespół OpenCV	OpenCV-Python
System operacyjny	Canonical Ltd.	Ubuntu 22.04 LTS (albo określ swój system operacyjny)
Python	Python Software Foundation	Python Wersja 3.8 lub wyższa
TensorBoard	Autorzy TensorFlow	TensorBoard
Torchvision	Fundacja PyTorch	Torchvision