Współpraca cyber-fizyczna wspierana przez wyjaśnialną sztuczną inteligencję na potrzeby zrównoważonej produkcji w Przemysle 5.0

Podsumowanie

Niniejsze badanie przedstawia ramy współpracy cyber-fizycznej w kontekście Przemysłu 5.0, oparte na wyjaśnialnej sztucznej inteligencji (XAI), które wykorzystują model CNN-transformer oraz metodę SHAP do wykrywania anomalii akustycznych w przemyśle przy użyciu zbioru danych MIMII. Integracja z obliczeniami krawędziowymi (edge computing) wspiera interpretowalne, zorientowane na człowieka utrzymanie predykcyjne.

Streszczenie

W niniejszym badaniu przedstawiamy innowacyjne podejście do zrównoważonej produkcji części przemysłowych z wykorzystaniem systemu współpracy cyberfizycznej opartego na wyjaśnialnej sztucznej inteligencji (XAI) dla Przemysłu 5.0. Stwierdzono, że obecne cyberfizyczne systemy ludzkie (CPHS) integrują AI w ograniczonym stopniu i często brakuje im wyjaśnialności. W związku z tym istnieje potrzeba poprawy ich skalowalności i elastyczności, zgodnie z zasadami Przemysłu 5.0: odpornością, długoterminową żywotnością i orientacją na człowieka. Aby wyeliminować te niedociągnięcia, wprowadzamy architekturę integrującą głębokie uczenie i wyjaśnialną AI w ekosystemie systemu cyberfizycznego (CPS), aby umożliwić inteligentne i wyjaśnialne podejmowanie decyzji. W szczególności wykorzystujemy zbiór danych Malfunctioning Industrial Machine Investigation and Inspection (MIMII) do wykrywania usterek maszyn na podstawie sygnałów akustycznych. Sygnały audio poddawane są transformacji spektralnej w celu wygenerowania obrazów spektrogramów, które są następnie przetwarzane przez konwolucyjną sieć neuronową (CNN) w celu ekstrakcji cech przestrzennych oraz przez koder transformera dla cech czasowych. Aby zwiększyć przejrzystość i ułatwić współpracę z człowiekiem w pętli (human-in-the-loop), podejście oparte na Shapley additive explanations (SHAP) pomaga operatorom zrozumieć proces podejmowania decyzji przez system, wyróżniając cechy wejściowe wpływające na przewidywania modelu. Ponadto framework ten został zastosowany w systemie cyberfizycznym opartym na przetwarzaniu brzegowym (edge computing), aby osiągnąć niskie opóźnienia i niskie zużycie energii przy jednoczesnym zapewnieniu szybkich odpowiedzi, co przyczynia się do zapewnienia zrównoważonego środowiska produkcyjnego. Wyniki eksperymentalne pokazują, że proponowana architektura CNN-Transformer osiąga dokładność na poziomie 98,5% i przewyższa istniejące systemy CPHS, zachowując niskie opóźnienia. Wykorzystanie wyjaśnialnej AI w takim systemie współpracy cyberfizycznej znacznie zwiększa zaufanie operatora i umożliwia płynną współpracę człowieka z maszyną.

Wprowadzenie

Przejście od Przemysłu 4.0, który kładł nacisk na technologię, mechanizację i komunikację, do nowego modelu Przemysłu 5.0, łączącego postęp technologiczny z adaptacyjnością, zrównoważonym rozwojem i orientacją na człowieka, wpłynęło na dynamiczną ewolucję systemów przemysłowych^1,2. Komisja Europejska definiuje Przemysł 5.0 jako paradygmat skoncentrowany nie tylko na wydajności i efektywności, ale także na trzech filarach: antropocentryzmie, zrównoważonym rozwoju i odporności. Warto zauważyć, że ostatnie badania wskazały na rolę systemów AI, współpracy człowieka z maszyną oraz zrównoważonej produkcji jako głównych motorów napędowych środowisk Przemysłu 5.0^3,4. Tradycyjne metody utrzymania ruchu nie są już wystarczające w tym ewoluującym środowisku przemysłowym. Aby zapewnić odporność w złożonych, niestabilnych kontekstach, utrzymanie ruchu musi ewoluować w stronę formy bardziej adaptacyjnej i systemowej⁵. Od 2011 roku Przemysł 4.0 był dominującym modelem transformacji przemysłowej w Europie, zachęcając firmy do cyfrowej transformacji w celu usprawnienia operacji i maksymalizacji dostępnych zasobów⁴. Zwiększanie wydajności bez eliminacji pracy ludzkiej w produkcji, przy jednoczesnej ochronie zdrowia i bezpieczeństwa pracowników, jest zatem niezbędne. Z tego powodu przedsiębiorstwa i naukowcy zaczęli definiować zasady paradygmatu Przemysłu 5.0^5,6,7, częściowo motywowani japońską koncepcją Społeczeństwa 5.0^8,9,10,11. Mimo zwiększonego nacisku na zrównoważone utrzymanie ruchu w najnowszej literaturze, większość istniejących ocen systematycznych pozostaje fragmentaryczna lub specyficzna dla danej dziedziny, brakuje kompleksowych ram integrujących odporność, zrównoważony rozwój i AI. Na przykład autorzy badają praktyki zrównoważonego utrzymania ruchu dla konkretnych systemów lub strategii, w tym zrównoważone całkowite utrzymanie produkcyjne (STPM), podczas gdy badacze rozważają włączenie tematów zrównoważonego rozwoju do technik utrzymania ruchu^12,13,14. Autor przeprowadził kompleksową ocenę kryteriów przyjęcia zrównoważonego rozwoju i wyróżnił czynniki technologiczne, które pozwalają produkcji wywierać pozytywny, zrównoważony wpływ¹⁵. Niemniej jednak w ramach paradygmatu Przemysłu 5.0 zrównoważony rozwój, odporność i podejmowanie decyzji w oparciu o AI nie są w pełni zintegrowane w żadnej z tych prac. W rezultacie kwestie zrównoważonego rozwoju są często traktowane w oddzielnych metodach utrzymania ruchu. Metoda SHAP wyróżnia się na tle innych technik wyjaśnialnej sztucznej inteligencji (XAI) dzięki teoretycznie uzasadnionej metodzie przypisywania cech^16,17,18.

Podejmowanie decyzji w oparciu o dane jest możliwe dzięki AI, jednak dokładne modele często wymagają dużych zbiorów danych. Konwencjonalne techniki uczenia maszynowego (ML), takie jak drzewa decyzyjne, regresja logistyczna i regresja liniowa, często wykazują niską skuteczność w sytuacjach wysoce nieliniowych, ponieważ zakładają stosunkowo proste rozkłady danych¹⁹. Głębokie sieci neuronowe (DNN) omijają te ograniczenia, ucząc się złożonych reprezentacji cech z masowych zbiorów danych²⁰. Według badań²¹, głębsze sieci często radzą sobie lepiej niż struktury płytkie w złożonych zadaniach decyzyjnych, jednak ich rosnąca głębokość i złożoność parametrów sprawiają, że model staje się mniej interpretowalny²².

Cyberfizyczny system (CPS) jest kluczową technologią umożliwiającą produkcję w ramach Przemysłu 5.0, ponieważ łączy w sobie rozproszoną inteligencję, komputery wbudowane, procesy fizyczne i komunikację. Aby umożliwić elastyczne, inteligentne i działające w czasie rzeczywistym operacje przemysłowe, nowoczesne systemy CPS szybko integrują obliczenia krawędziowe (edge computing), sztuczną inteligencję krawędziową (edge AI) oraz ekologiczny Internet Rzeczy (G-IoT)^23,24. Zrównoważony rozwój i odporność zostały podkreślone w niedawnych badaniach nad Utrzymaniem 4.0 i inteligentnym utrzymaniem ruchu. Podczas gdy wcześniejsze prace badały znaczenie technologii Utrzymania 4.0 w zrównoważonej produkcji i proponowały modele ramowe dla zrównoważonego utrzymania, studia bibliometryczne i systematyczne oceniały technologie inteligentnego utrzymania ruchu^25,26,27,28. Dalsze badania analizowały integrację zrównoważonego utrzymania ruchu w środowiskach Przemysłu 4.0 oraz systemach produkcji zorientowanych na zrównoważony rozwój^29,30,31,32. Koncepcja Operatora 4.0³³, zorientowane na człowieka ramy Przemysłu 5.0³⁴ oraz perspektywy społeczno-ekonomiczne³⁵ przyciągnęły znaczną uwagę do utrzymania ruchu zorientowanego na człowieka. Dodatkowo, w ostatnich badaniach podkreślono postępy w zakresie cyfrowego utrzymania ruchu³⁶, utrzymania predykcyjnego i preskryptywnego^37,38 oraz strategii zrównoważonego utrzymania ruchu^39,40. Pomimo tych postępów, badania pozostają rozproszone i niewiele z nich oferuje spójny paradygmat integrujący wyjaśnialną sztuczną inteligencję, zrównoważony rozwój, odporność i zorientowaną na człowieka współpracę cyberfizyczną. Systemy cyberfizyczne (CPS) nie osiągnęły pełnej autonomii mimo ich rosnącego wdrożenia, a paradygmat Przemysłu 5.0 nie promuje takiego rozwiązania. Przemysł 5.0 kładzie natomiast większy nacisk na nadzór człowieka, współpracę i podejmowanie decyzji. Poprzez włączenie ludzkiego myślenia i współpracy do procesów cyberfizycznych, systemy cyber-ludzkie, takie jak CPS z człowiekiem w pętli (HiLCPSs)⁴¹, CPS zorientowane na człowieka (HCPSs)^42,43 oraz cyberfizyczne systemy ludzkie (CPHSs)⁴⁴, rozszerzają tradycyjne systemy CPS. Integracja ta poprawia adaptacyjność, przejrzystość, bezpieczeństwo i odporność, umożliwiając współpracę w czasie rzeczywistym między inteligentnymi systemami a ludzkimi operatorami^45,46.

Wykrywanie anomalii dźwiękowych w przemyśle zostało znacznie usprawnione dzięki nowym architekturom, w tym Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer oraz uczeniu samosuperwizowanemu; jednak ich integracja z wyjaśnialnymi systemami cyberfizycznymi dla Przemysłu 5.0 pozostaje ograniczona. Bez połączenia wyjaśnialności, wdrożenia krawędziowego oraz wsparcia decyzji z udziałem człowieka (human-in-the-loop) w ramach jednego systemu, obecne badania koncentrują się głównie na dokładności klasyfikacji lub na interpretowalności opartej na metodach XAI post hoc. Niniejsze badanie proponuje nowatorską architekturę współpracy cyberfizycznej CNN-Transformer z obsługą wyjaśnialnej sztucznej inteligencji (Explainable AI), która łączy obliczenia krawędziowe, modelowanie zależności czasowych, wyjaśnialność opartą na SHAP, uczenie cech przestrzennych oraz wsparcie decyzji skoncentrowane na człowieku, aby umożliwić zrównoważoną produkcję w ramach Przemysłu 5.0 i przezwyciężyć te ograniczenia.

W związku z tym nadal istnieje znaczący deficyt badawczy. Obecne techniki wykrywania anomalii akustycznych oparte na sieciach CNN/Transformer stawiają na wydajność klasyfikacji, lecz brakuje im współpracy cyber-fizycznej oraz wyjaśnialności. Chociaż ramy Przemysłu 5.0 oferują koncepcyjne modele skoncentrowane na człowieku, nie integrują one wyjaśnialnego głębokiego uczenia, inteligencji krawędziowej oraz wspomagania decyzji przez operatora w jednym systemie, natomiast techniki konserwacji predykcyjnej oparte na XAI zwiększają przejrzystość, lecz działają niezależnie od architektur CPHS. Dlatego wciąż brakuje jednolitego systemu cyber-fizycznego z udziałem człowieka w ramach Przemysłu 5.0, który integrowałby precyzyjne wykrywanie anomalii słuchowych, wyjaśnialność opartą na SHAP, wdrożenie z wykorzystaniem urządzeń krawędziowych oraz współpracę z człowiekiem w pętli sterowania.

W niniejszej pracy zaproponowano nowy paradygmat współpracy cyberfizycznej oparty na modelu CNN-Transformer z wykorzystaniem wyjaśnialnej sztucznej inteligencji (Explainable AI) dla Przemysłu 5.0, mający na celu pokonanie tych ograniczeń. Sugerowana architektura łączy w ramach jednego systemu CPHS wdrożenie obliczeń krawędziowych (edge computing), ekstrakcję cech przestrzennych opartą na CNN, uczenie zależności czasowych w oparciu o Transformer, wyjaśnialność opartą na metodzie SHAP oraz wsparcie decyzji z udziałem człowieka (human-in-the-loop). W przeciwieństwie do obecnych metod, które traktują te elementy niezależnie, proponowane rozwiązanie oferuje zintegrowane podejście, które jednocześnie zwiększa wydajność wykrywania anomalii, przejrzystość modelu, efektywność operacyjną oraz współpracę zorientowaną na człowieka w celu zapewnienia zrównoważonej produkcji.

Głównym celem niniejszego badania jest stworzenie cyber-fizycznego systemu ludzkiego (CPHS) opartego na wyjaśnialnej sztucznej inteligencji (XAI) dla zrównoważonej produkcji w ramach Przemysłu 5.0, poprzez połączenie wyjaśnialności opartej na metodzie SHAP, przetwarzania krawędziowego (edge computing) oraz wspierania decyzji z udziałem człowieka (human-in-the-loop) z hybrydowym podejściem do detekcji anomalii akustycznych opartym na architekturze CNN-Transformer. W szczególności proponowany schemat ma na celu zwiększenie dokładności wykrywania anomalii przy jednoczesnym zapewnieniu jasnych i zrozumiałych prognoz, ułatwienie efektywnego wdrożenia na krawędzi sieci oraz zachęcanie do wspólnego podejmowania decyzji przez systemy inteligentne i operatorów ludzkich. Poprzez jednoczesne osiągnięcie wysokiej wydajności detekcji, wyjaśnialności, niskich opóźnień operacyjnych oraz zorientowanej na człowieka współpracy cyber-fizycznej, ta zintegrowana architektura rozwiązuje niedoskonałości obecnych systemów detekcji anomalii akustycznych, konserwacji predykcyjnej opartej na XAI oraz struktur CPHS.

Zaproponowana architektura przedstawia zintegrowany system cyberfizyczny z udziałem człowieka (CPHS) oparty na wyjaśnialnej sztucznej inteligencji (Explainable AI) dla Przemysłu 5.0, w przeciwieństwie do obecnych technik wykrywania anomalii akustycznych, które koncentrują się głównie na dokładności klasyfikacji. W ramach jednej architektury łączy ona ekstrakcję cech przestrzennych opartą na sieciach CNN, modelowanie czasowe oparte na Transformerach, wyjaśnialność opartą na SHAP, przetwarzanie krawędziowe (edge computing) oraz wsparcie decyzji z udziałem człowieka (human-in-the-loop). Zaproponowana architektura rozwiązuje kluczowe problemy przejrzystości, wsparcia operatora i współpracy cyberfizycznej poprzez połączenie precyzyjnego wykrywania anomalii z zrozumiałym procesem podejmowania decyzji i wdrożeniem krawędziowym w czasie rzeczywistym. Głównym wkładem naukowym niniejszej pracy jest integracja na poziomie systemowym, która odróżnia proponowane podejście od wcześniejszych badań skupiających się wyłącznie na wykrywaniu anomalii, wyjaśnialnej sztucznej inteligencji lub samych ramach Przemysłu 5.0.

Protokół

Sugerowana metodologia wykorzystuje systemowe podejście do cyberfizycznych systemów ludzkich (CPHS) w ramach Przemysłu 5.0, które łączy wyjaśnialne głębokie uczenie z ramami współpracy cyberfizycznej opartymi na przetwarzaniu brzegowym (edge computing) w celu wspierania zrównoważonych procesów produkcyjnych. W pierwszej kolejności problem zostaje zdefiniowany poprzez wskazanie pewnych ograniczeń obecnych rozwiązań CPHS, takich jak brak inteligencji opartej na AI, brak wyjaśnialności oraz brak współpracy skoncentrowanej na człowieku. Aby sprostać tym wyzwaniom, proponowane rozwiązanie wykorzystuje zbiór danych MIMII do monitorowania stanu maszyn przemysłowych przy użyciu przetwarzania sygnałów akustycznych.

Zaproponowany schemat rozpoczyna się od wprowadzenia wygenerowanych spektrogramów do modelu CNN, który wyodrębnia cechy przestrzenne poprzez rozpoznawanie istotnych wzorców częstotliwości powiązanych z różnymi stanami maszyn. Wyekstrahowane cechy przestrzenne zostaną przekształcone w sekwencje i wprowadzone do modułu kodującego transformera w celu uchwycenia zależności czasowych za pomocą mechanizmu self-attention. Przekształcona reprezentacja cech jest następnie przekazywana do w pełni połączonego modułu klasyfikatora w celu zaklasyfikowania stanów maszyn jako normalne lub nieprawidłowe. Ponadto, aby zapewnić przejrzystość i ułatwić podejmowanie decyzji zorientowanych na człowieka, zastosowano podejście do wyjaśnialności SHAP, aby wyjaśnić przewidywania poprzez wybór istotnych obszarów czasowo-częstotliwościowych w wyjściu modelu. Zaprojektowany model zostanie zaimplementowany w środowisku CPS z obsługą brzegu sieci (edge-enabled), co umożliwi wnioskowanie w czasie rzeczywistym przy niskim opóźnieniu obliczeniowym i niskim zużyciu energii. Dodatkowo zintegrowany zostanie schemat human-in-the-loop, aby umożliwić operatorom weryfikację wyników przy użyciu rezultatów wyjaśnialności. Wydajność jest walidowana za pomocą dokładności (accuracy), precyzji (precision), pełności (recall) i miary F1-score, a także innych metryk na poziomie systemu, takich jak opóźnienie i efektywność energetyczna.

Zaproponowany schemat stanowi mechanizm CPHS oparty na XAI dla zrównoważonej produkcji w kontekście Przemysłu 5.0, a jego przebieg przedstawiono jako potok procesowy – od pozyskiwania danych po inteligentne podejmowanie decyzji i ich realizację, co pokazano na Rysunku 1. W początkowej fazie procedury pozyskiwania danych sygnały dźwiękowe są zbierane z maszyn przemysłowych, takich jak silniki, pompy i łożyska, z wykorzystaniem zbiorów danych, w tym MIMII. Uzyskane w ten sposób sygnały danych są przekazywane do kolejnego etapu, zwanego wstępnym przetwarzaniem danych, gdzie podlegają filtrowaniu, normalizacji i segmentacji. Na warstwie reprezentacji cech posegmentowane sygnały danych są ostatecznie konwertowane na spektrogram przy użyciu krótkoczasowej transformaty Fouriera (STFT).

Następnie warstwa modelu AI wykorzystuje obrazy spektrogramów do ekstrakcji cech za pomocą modułu CNN, identyfikując wzorce przestrzenne i anomalie. Następnie wyekstrahowane cechy są przekształcane i wprowadzane do koderu transformera, który uczy się zależności czasowych i relacji długodystansowych poprzez mechanizmy self-attention. Wynikowe wektory cech są klasyfikowane jako normalne lub abnormalne przy użyciu warstwy klasyfikacji. Aby zapewnić przejrzystość procesu predykcji, warstwa wyjaśnialności wykorzystuje SHAP do wyróżnienia istotnych obszarów czasowo-częstotliwościowych na spektrogramie.

Dodatkowo istnieje proces z udziałem człowieka (human-in-the-loop), w którym operatorzy interpretują wyniki modelu i dostarczają na ich podstawie informacji zwrotnych. W warstwie wdrożeniowej model działa na infrastrukturze CPHS opartej na krawędzi (edge-based), co zapewnia szybką inferencję i niski pobór mocy, z opcjonalnym interfejsem łączącym z systemami chmurowymi w celu realizacji wymagań dotyczących przechowywania danych lub zaawansowanej analityki. W całości struktura ta zapewnia dokładne wykrywanie usterek, wyjaśnialność oraz efektywne działanie w czasie rzeczywistym, zgodnie z wymogami Przemysłu 5.0.

Definicja problemu i analiza wymagań

Cyberfizyczne systemy ludzkie (CPHS) w środowiskach Przemysłu 5.0 obiecują inteligencję, zrównoważony rozwój i koncentrację na człowieku. Niemniej jednak, współczesne ramy budowy CPHS są ograniczane przez brak zaawansowanych możliwości opartych na AI, wyjaśnialności oraz odpowiedniego wsparcia dla współpracy człowieka z maszyną. W rzeczywistości konwencjonalne CPHS opierają się na modelach regułowych lub nieinterpretowalnych, co utrudnia adaptację do zmieniających się warunków przemysłowych i ogranicza zaufanie operatorów do automatyzacji. Co więcej, konwencjonalne CPHS nie potrafią efektywnie analizować wysoce złożonych danych, takich jak przemysłowe sygnały akustyczne zawierające komponenty zarówno przestrzenne (tj. częstotliwościowe), jak i zależne od czasu, które są istotne dla konserwacji predykcyjnej. W związku z tym konieczne jest stworzenie ram, które umożliwią wykrywanie anomalii maszyn z wysoką precyzją, dostarczanie wyjaśnień oraz działanie na krawędzi sieci (edge computing), co w ten sposób umożliwi funkcjonowanie CPS.

Tutaj x(t) jest sygnałem wejściowym akustycznym, S(f,t) jest reprezentacją spektrogramową sygnału,   jest etykietą a  θ jest zestawem parametrów architektury CNN-Transformer. Symbole użyte w kolejnych równaniach są wprowadzane bezpośrednio po ich pierwszym wystąpieniu, aby zachować poprawność matematyczną.

Z matematycznego punktu widzenia zadanie to można sformalizować jako problem uczenia nadzorowanego. Niech sygnał akustyczny przemysłowy będzie oznaczony jako x(t). STFT sygnału x(t) oblicza się zgodnie z wzorem:

   (1)

gdzie ω(.) jest funkcją okna, a f jest częstotliwością. Wygenerowany spektrogram  służy jako dane wejściowe dla algorytmu głębokiego uczenia. Celem jest wytrenowanie funkcji odwzorowania

    (2)

gdzie  to etykieta klasy (normalna lub nieprawidłowa), S to wejściowy spektrogram, y to przewidywana etykieta wyjściowa, a  θ to zbiór parametrów możliwych do wyuczenia w architekturze CNN-Transformer. Problem optymalizacji sformułowano jako minimalizację straty klasyfikacji:

  (3)

z zastrzeżeniem ograniczeń dotyczących minimalnej latencji , efektywności energetycznej oraz interpretowalności, gdzie wyjaśnienie ∅(SHAP) oddaje znaczenie cech w procesie predykcji,

   (4)

gdzie  to wkład każdej poszczególnej cechy. Zgodnie z powyższym, wymagania projektowe obejmują następujące elementy: (i) niezawodną detekcję anomalii opartą na hybrydowym głębokim uczeniu, (ii) interpretowalne wyniki umożliwiające interwencję człowieka oraz (iii) implementację w ramach CPS wzmocnionego krawędziowo.

Pozyskiwanie i wstępne przetwarzanie zbioru danych

W związku z tym, aby ocenić proponowaną strukturę CPHS opartą na wyjaśnialnej sztucznej inteligencji (Explainable AI), wybrano zbiór danych MIMII¹³. Zbiór ten jest powszechnie stosowanym wzorcem do wykrywania anomalii w maszynach przemysłowych przy użyciu sygnałów akustycznych. Baza ta zawiera nagrania dźwiękowe różnych maszyn, takich jak prowadnice przesuwne, wentylatory, pompy i zawory, w normalnych oraz awaryjnych warunkach pracy. Dla każdej maszyny nagrania różnią się w zależności od ustawień i środowiska akustycznego. Dzięki temu zbiór ten nadaje się do trenowania i oceny modeli w rzeczywistych warunkach przemysłowych.

Podczas gdy zbiór danych MIMII jest powszechnie wykorzystywany w badaniach nad nienadzorowanym wykrywaniem anomalii, które podczas treningu opierają się wyłącznie na próbkach normalnych, zawiera on jawne adnotacje zarówno dla normalnych, jak i anomalnych stanów maszyn. Problem sformułowano jako nadzorowane zadanie klasyfikacji binarnej, aby przetestować zdolność zaproponowanej architektury CNN-Transformer opartej na wyjaśnialnej sztucznej inteligencji (Explainable AI) do rozróżniania zdrowych stanów maszyn od uszkodzonych. W szczególności zastosowano oficjalne etykiety MIMII, przypisując etykietę klasy 0 do próbek normalnych oraz etykietę klasy 1 do próbek anomalnych.

Tabela 1 przedstawia szczegółowy opis zbioru danych. W niniejszych badaniach rozważono około 12 000 nagrań sygnałów akustycznych, obejmujących zarówno prawidłową, jak i wadliwą pracę maszyn. Zgodnie z wymogami, wszystkie nagrania w tej studyjnej analizie zostały zarejestrowane z częstotliwością 16 kHz i trwają 10 s. Chociaż zbiór danych zawiera około 12 000 nagrań, wybrano zrównoważony pod względem klas podzbiór 2 000 nagrań testowych wyłącznie w celu wizualizacji macierzy pomyłek. Wszystkie raportowane metryki wydajności obliczono przy użyciu pełnego zestawu testowego (około 2 400 nagrań). Ponadto próbki treningowe i testowe zostały rozdzielone w stosunku 80:20 na potrzeby trenowania modelu. Baza ta jest dobrze dostosowana do zastosowań w Przemysle 5.0, ponieważ uwzględnia warunki hałasu w czasie rzeczywistym. Rozkład nagrań wykorzystanych w tej pracy przedstawiono w Tabeli 2. Z tego zbioru danych wybrano około 12 000 nagrań obejmujących wszystkie typy maszyn i warunki stosunku sygnału do szumu (SNR) dla eksperymentów nad nadzorowaną klasyfikacją binarną z podziałem na zbiór treningowy i testowy w stosunku 80:20; tabela ta przedstawia typy maszyn przemysłowych, odpowiadające im identyfikatory maszyn, całkowitą liczbę prawidłowych i anomalnych nagrań akustycznych, warunki SNR oraz eksperymentalny podział na zbiór treningowy/testowy zastosowany w nadzorowanej klasyfikacji binarnej.

Eksperyment przeprowadzono z wykorzystaniem zbioru danych MIMII (Malfunctioning Industrial Machine Investigation and Inspection) w wersji 1.0, który obejmuje cztery typy maszyn przemysłowych: wentylatory, pompy, zawory i szyny prowadzące. Dane zostały zebrane z różnych identyfikatorów maszyn (ID00–ID06, w zależności od typu maszyny) oraz w różnych warunkach. Baza danych MIMII zawiera dane pozyskane przy stosunkach sygnału do szumu (SNR) wynoszących −6 dB, 0 dB oraz +6 dB. Dane normalne odpowiadają sprawnemu stanowi maszyny przemysłowej, natomiast dane anomalne odpowiadają stanowi wadliwemu. Klasy zostały oznaczone na podstawie adnotacji w bazie danych, gdzie dane normalne oznaczono jako klasa 0, a dane anomalne jako klasa 1.

Rzetelna procedura oceny wymagała, aby podział na zbiory treningowy i testowy nastąpił na poziomie oryginalnych nagrań audio przed jakimikolwiek etapami dzielenia, augmentacji lub tworzenia spektrogramów. W rezultacie segmenty audio z tego samego nagrania nie mogły pojawić się jednocześnie w zbiorze treningowym i testowym. W eksperymencie oceniającym wykorzystano nagrania o różnych stosunkach sygnału do szumu (−6 dB, 0 dB i +6 dB), co umożliwiło ocenę proponowanego modelu w różnych warunkach przemysłowych.

Aby zapobiec wyciekowi danych, podział na zbiór treningowy i testowy przeprowadzono w oparciu o oryginalne pliki audio, przed jakimkolwiek segmentowaniem lub generowaniem spektrogramów. Segmenty z tego samego 10 s nagrania audio przypisano wyłącznie do zbioru treningowego lub testowego, tak aby żadne segmenty nie występowały w obu zbiorach jednocześnie. Następnie spektrogramy zostały wygenerowane i rozszerzone oddzielnie dla każdego zbioru danych. W ten sposób uniknięto problemu wycieku danych, co zapobiegło zbyt optymistycznej ocenie wydajności.

Przetwarzanie wstępne zbioru danych

Surowe sygnały akustyczne z zestawu danych MIMII są następnie przetwarzane w celu poprawy jakości sygnału i umożliwienia skutecznej ekstrakcji cech. Sygnał wejściowy jest oznaczony jako x(t), gdzie t oznacza czas. Pierwszym etapem jest filtrowanie szumów, podczas którego szumy tła są usuwane za pomocą funkcji filtrującej w następujący sposób:

   (5)

gdzie ∗ reprezentuje proces splotu, a h(t) jest odpowiedzią impulsową filtra. Proces ten zwiększa klarowność sygnału akustycznego i minimalizuje skutki szumów, które często występują w środowiskach przemysłowych. Normalizacja sygnału jest stosowana w celu zapewnienia, aby amplitudy wszystkich sygnałów audio były porównywalne przed wprowadzeniem ich do modelu głębokiego uczenia. Sygnał znormalizowany, oznaczony jako x_n(t), jest obliczany jako:

   (6)

gdzie μ oraz σ to odpowiednio wartość średnia i odchylenie standardowe sygnału wejściowego. Dzięki tej procedurze wszystkie sygnały wejściowe mają zagwarantowaną wartość średnią równą zero oraz jednostkową wariancję. Na koniec, w celu przetwarzania, znormalizowany sygnał wejściowy zostaje podzielony na wiele małych fragmentów. Przyjmując, że długość całego sygnału wynosi T, zostaje on rozbity na N nakładających się ramek o długości L przy użyciu funkcji przesuwnego okna:

   (7)

gdzie H to wielkość skoku (hop size). Spektrogram można zdefiniować za pomocą poniższego wzoru:

   (8)

Spektrogramy uzyskane w ten sposób są wprowadzane do frameworka opartego na sieci CNN-transformer w celu wyodrębnienia cech przestrzennych i czasowych, co umożliwia skuteczną detekcję anomalii. Rysunek 2 przedstawia potok przetwarzania wstępnego.

Rysunek 2 przedstawia pionowy potok przetwarzania wstępnego, który można zastosować do danych akustycznych pozyskanych w przemyśle. W pierwszej kolejności surowe sygnały audio są wyodrębniane z zestawu danych MIMII i przekazywane do etapu usuwania szumów w celu redukcji zakłóceń. Następnie sygnał jest normalizowany, aby wyeliminować niespójności amplitudy i zapewnić jego jednolitość. Sygnał jest później dzielony na mniejsze, nakładające się sekcje. Po segmentacji do danych stosowane są transformacje STFT, aby przekształcić sygnały z dziedziny czasu w sygnały czasowo-częstotliwościowe. Następnie, w ramach generowania spektrogramu sygnału, obliczane jest widmo mocy. W ten sposób produktem końcowym procesu będą przetworzone wstępnie spektrogramy, które zostaną wykorzystane w proponowanym modelu CNN-transformer.

Generowanie spektrogramu

Po normalizacji i segmentacji danych sygnały akustyczne są przekształcane w reprezentację czasowo-częstotliwościową przy użyciu krótkoterminowej transformaty Fouriera (STFT). Powstający spektrogram stanowi graficzną reprezentację zmian w składzie częstotliwości w okresie analizy. W warunkach przemysłowych usterki maszyn zazwyczaj objawiają się jako wzorce częstotliwości, co sprawia, że spektrogramy są bardziej użyteczne w wykrywaniu anomalii maszynowych.

W rezultacie przetworzone dane są konwertowane na obrazy spektrogramów, aby odróżnić przypadki prawidłowego i nieprawidłowego działania maszyn. Dane audio zostaną przekształcone w wiele spektrogramów, co umożliwi modelowi uczenia się analizę lokalnych komponentów częstotliwości oraz zmian czasowych w procesie pracy maszyny. Obrazy te służą jako dane wejściowe dla modelu CNN-transformer, w którym sieć CNN obsługuje wzorce przestrzenne (częstotliwościowe), natomiast transformery odpowiadają za relacje czasowe.

Algorytm 1: Generowanie spektrogramu z sygnałów akustycznych

Wejście: Surowy sygnał audio x(t)

Wynik: Spektrogram S(t, f)

Krok 1: Załadowanie sygnału audio  x(t)

Krok 2: Zastosuj filtrowanie szumów

Krok 3: Normalizacja sygnału x_n(t)

Krok 4: Segmentacja sygnału na klatki:

dla k = 1 do N

koniec pętli

Krok 5: Zastosuj funkcję okna w(t) do każdego segmentu

Krok 6: Obliczenie STFT:

  (9)

Krok 7: Oblicz wartość amplitudy:

   (10)

Krok 8: Zapisz spektrogram S(t, f)

Krok 9: Zwrócenie zbioru danych spektrogramu 

Proces generowania spektrogramów rozpoczyna się od pozyskania oryginalnego sygnału audio, po czym następują etapy przetwarzania wstępnego, takie jak redukcja szumów i normalizacja sygnału, aby zapewnić jego integralność i jakość. Następnie znormalizowany sygnał audio jest dzielony na wiele nachodzących na siebie okien, aby uchwycić charakterystykę czasową zarówno okresów długoterminowych, jak i krótkoterminowych. Aby zapobiec wyciekowi widma, każdy z fragmentów jest mnożony przez funkcję okna przed przekazaniem do krótkoczasowej transformaty Fouriera (STFT). Następnie przetworzony sygnał jest reprezentowany jako funkcja o wartościach zespolonych w dziedzinie częstotliwości, a następnie podnosi się do kwadratu wartości ich amplitud. W ten sposób energia częstotliwości w danym czasie jest reprezentowana przez spektrogramy. Na koniec są one zapisywane jako dane w formie obrazów i przekazywane do sieci neuronowej w celu przeprowadzenia treningu.

Ekstrakcja cech przestrzennych przy użyciu CNN

Po procesie tworzenia spektrogramów uzyskane obrazy czasowo-częstotliwościowe są przyjmowane jako dane wejściowe i przekazywane do konwolucyjnej sieci neuronowej (CNN). Przyjmując spektrogram wejściowy jako , gdzie H oznacza domenę częstotliwości, a W domenę czasu. Celem zastosowania sieci CNN w tym przypadku jest nauczenie się dyskryminatywnych cech przestrzennych ze spektrogramu wejściowego. Cechy te pomogą odróżnić normalne od nieprawidłowego zachowania maszyn w środowisku przemysłowym.

Podstawową operacją wykonywaną przez splotową sieć neuronową (CNN) jest splot. Splot z określonym filtrem  definiuje się jako:

   (11)

Opisana powyżej operacja umożliwia sieci neuronowej identyfikację lokalnych cech przestrzennych, takich jak krawędzie, częstotliwości i zawartość harmoniczna, w spektrogramie. Odbywa się to poprzez wielokrotne operacje filtrowania, które generują różne reprezentacje cech, tworząc kilka map cech. Po splotach następuje nieliniowa funkcja aktywacji, jak pokazano poniżej:

  (12)

Ta nieliniowość umożliwia sieci wychwytywanie i reprezentowanie złożonych zależności między zmiennymi. Kolejnym etapem w konwolucyjnej sieci neuronowej jest zastosowanie operacji poolingu. Powszechnie stosowana technika max poolingu jest wyrażona matematycznie w następujący sposób:

   (13)

gdzie Ω oznacza okno poolingu. Pooling pomaga w osiągnięciu niezmienniczości translacyjnej i zachowaniu jedynie istotnych informacji przy jednoczesnym odrzuceniu redundancji. Wykorzystując splotową sieć neuronową, można hierarchicznie wyodrębnić cechy wyższego poziomu – od zmiennych niskopoziomowych, takich jak częstotliwości, aż po złożone zachowania maszyn. W konsekwencji mapy cech mogą być wykorzystane do przedstawienia końcowego wyniku sieci:

   (14)

gdzie reprezentuje wyuczalne parametry sieci CNN. Mapy cech zawierają bogate informacje przestrzenne i są przekształcane w sekwencje, aby służyć jako wejścia dla koderach transformera w kolejnej fazie. Opisany powyżej proces ekstrakcji cech przestrzennych jest kluczowy dla umożliwienia modelowi wykrywania drobnych anomalii w przemysłowych sygnałach akustycznych.

Rycina 3 przedstawia sposób horyzontalnej ekstrakcji cech przestrzennych z wejściowego spektrogramu przy użyciu modelu CNN. Proces rozpoczyna się od spektrogramu wejściowego, który koduje właściwości czasowo-częstotliwościowe sygnału audio w formie obrazowej. Spektrogram wejściowy jest następnie przekazywany do warstwy splotowej, w której różne rodzaje filtrów ekstrahują cechy przestrzenne, takie jak pasma częstotliwości, krawędzie i tekstury, generując w ten sposób mapy cech. Następnie wyekstrahowane mapy cech przechodzą przez nieliniową funkcję aktywacji — jednostkę liniową z prostowaniem (ReLU) — co pozwala sieci neuronowej wykrywać zależności w danych wejściowych. Mapy cech są następnie przekazywane do warstwy poolingu, w której rozmiar mapy zostaje zredukowany przy zachowaniu jej najważniejszych charakterystyk. Ten proces warstw splotowych, aktywacji i poolingu powtarza się wielokrotnie, tworząc hierarchię reprezentacji cech, która zaczyna się od prostych elementów i ewoluuje w stronę bardziej złożonych cech związanych z pracą maszyn.

Modelowanie czasowe z wykorzystaniem koder transformer

Po wyekstrahowaniu cech przestrzennych za pomocą CNN, kolejnym krokiem jest wyprowadzenie map cech wysokiego poziomu, które przechwytują wzorce oparte na częstotliwościach wyuczone ze spektrogramu. Powstałe mapy cech są następnie spłaszczane i przekształcane w sekwencje w celu uchwycenia informacji czasowych w sygnale akustycznym. Przy założeniu, że mapy cech są reprezentowane przez , gdzie H', W', i C to odpowiednio wysokość, szerokość i liczba kanałów, wyprowadzana jest następująca sekwencja:

    (15)

gdzie T oznacza długość sekwencji, a d jest wymiarem cechy. Następnie Transformer wykorzystuje powyższą sekwencję do modelowania długoterminowych zależności przy użyciu mechanizmu self-attention. Model transformer, w przeciwieństwie do konwencjonalnych modeli rekurencyjnych, przetwarza każdy element sekwencji równolegle i wykorzystuje wagi uwagi do określenia względnej istotności każdego fragmentu. Mechanizm uwagi działa poprzez wykorzystanie wektorów Zapytania Q (Query), Klucza K (Key) i Wartości V (Value) generowanych dla każdego wejścia x_t zgodnie z:

   (16)

podczas gdy W_Q, W_K, W_V są wagami trenowalnymi. Podobieństwa między elementami są wyznaczane za pomocą:

   (17)

d_k to istotny wymiar wektorów. Ta procedura ułatwia modelowi naukę zależności z odległych kroków czasowych w sygnale i pozwala skupić się wyłącznie na istotnych segmentach czasowych. Aby zwiększyć zdolność sieci do uczenia się, zastosowano mechanizm uwagi wielogłowicowej (multihead attention), który polega na równoległym uczeniu się z wejścia przez kilka głowic uwagi:

  (18)

Każda głowica odpowiada za odmienne cechy sekwencji wejściowej w dziedzinie czasu. Następnie zastosowano sieci neuronowe z przesuwniem w przód oraz połączenia rezydualne:

   (19)

Wynikowa zakodowana sekwencja rejestruje zarówno cechy przestrzenne, jak i czasowe danych wejściowych. Sekwencja ta jest przesyłana do warstwy klasyfikatora w celu wykrycia anomalii.

Rysunek 4 przedstawia ogólny proces modelowania czasowego z wykorzystaniem koderen transformer na cechach wyekstrahowanych z CNN. Najpierw wykorzystuje się mapy cech wyekstrahowane z CNN, które zawierają informacje przestrzenne ze spektrogramu. Mapy cech są spłaszczane do postaci sekwencji, w której każdy element odpowiada określonej znacznikowi czasu. Następnie sekwencja przechodzi przez transformację liniową, która odwzorowuje dane na wektory o określonym wymiarze. Ponieważ modele transformer nie posiadają wrodzonej zdolności do przechwytywania zależności czasowych, do wektorów zanurzeń dodawane jest kodowanie pozycyjne w celu zachowania struktury czasowej sekwencji. Na koniec sekwencja przechodzi przez koder transformer, składający się ze stosu wielu warstw, w których zastosowano mechanizm wielogłowicowej samouwag (multi-head self-attention), aby umożliwić modelowi naukę powiązań między znacznikami czasu w sekwencji. Sieć neuronowa typu feed-forward dodatkowo udoskonala te zanurzenia, podczas gdy połączenia rezydualne zapewniają efektywną propagację gradientów. Proces ten jest powtarzany w kolejnych warstwach stosu kodera transformer, które przechwytują progresywnie bardziej złożone interakcje czasowe. Ostatecznie zanurzenia sekwencji są łączone w reprezentację o stałej długości poprzez pooling (np. average pooling lub token klasyfikacji (CLS)), co daje globalną reprezentację cech czasowych.

Warstwa klasyfikacji

Po kodowaniu czasowym za pomocą koder-transformera (transformer encoder), wyjściem będzie sekwencja zakodowanych wektorów, z których każdy zawiera cechy związane zarówno z przestrzennym, jak i czasowym aspektem sygnału wejściowego. Pierwszym krokiem w kierunku klasyfikacji na podstawie zakodowanych danych wyjściowych jest zagregowanie wszystkich tych cech w jeden wektor. Osiąga się toy poprzez zastosowanie uśredniania (mean pooling) sekwencji wektorów cech lub poprzez wykorzystanie tzw. „tokenu klasyfikacyjnego” (classification token). Przyjmijmy, że wyjściem Transformera jest , gdzie każdy . Zagregowana cecha h jest obliczana jako:

   (20)

Następnie zagregowany wektor cech h reprezentuje dane wejściowe w formie skondensowanej i służy jako wejście klasyfikatora. Część klasyfikacyjna składa się z jednej lub więcej warstw gęstych, które przekształcają wyuczoną reprezentację w przestrzeń wyjściową. Warstwa gęsta realizuje przekształcenie zdefiniowane w następujący sposób:

   (21)

gdzie o to wyjście (logity), b to wektor obciążenia, a W to macierz wag. Te ostatnie stanowią nieznormowane wyniki klas. Aby wprowadzić nieliniowość do modelu, często stosuje się funkcje aktywacji, takie jak ReLU. Na koniec do logitów stosowana jest funkcja aktywacji softmax w celu uzyskania prawdopodobieństwa dla każdej klasy:

   (22)

gdzie C oznacza liczbę klas (C = 2; normalna i nieprawidłowa). Predykcja klasy będzie oparta na maksymalnej wartości prawdopodobieństwa. Podczas trenowania optymalne wartości parametrów modelu są uzyskiwane poprzez minimalizację funkcji straty entropii krzyżowej między etykietami rzeczywistymi a przewidywanymi, co pozwala na dokładną klasyfikację stanów maszyn. Podsumowując, warstwa klasyfikacji pełni kluczową funkcję w przekształcaniu wyekstrahowanych cech czasowych, uzyskanych przy użyciu architektury Transformer, w praktyczne decyzje. Dzięki odpowiedniemu rozróżnianiu między zdrowymi a uszkodzonymi stanami maszyn, w paradygmacie Industry 5.0 możliwe staje się wykrywanie anomalii i inteligentne podejmowanie decyzji.

Rycina 5 przedstawia zasadę działania warstwy klasyfikacji, która następuje po enkoderze transformera. Proces rozpoczyna się od wyjściowej zakodowanej sekwencji, w której każdy wektor zawiera informacje czasowe wyuczone z danych wejściowych. Wektory te są łączone w jeden wektor, znany jako globalny wektor cech. Następnie globalny wektor cech jest przekazywany przez kilka gęstych warstw sieci neuronowej. W każdej gęstej warstwie wykonywane są operacje mnożenia macierzy w celu stworzenia kombinacji liniowych danych wejściowych. Po tym etapie można zastosować nieliniową funkcję aktywacji, taką jak ReLU, aby zwiększyć elastyczność w uczeniu granic decyzyjnych. Na końcu ostatniej gęstej warstwy znajdują się wyniki logitów dla każdej klasy. Wyniki logitów te mogą zostać wykorzystane w funkcji Softmax do obliczenia wyników prawdopodobieństwa dla każdej klasy. Wyniki prawdopodobieństwa te służą do określenia, czy dane wejściowe należą do Klasy 0 (Normalna) czy Klasy 1 (Nieprawidłowa).

Wyjaśnialność z wykorzystaniem SHAP

Po zaklasyfikowaniu sygnałów wejściowych przez model, generowane są predykcje określające, czy maszyna pracuje prawidłowo, czy w sposób nieprawidłowy. Niemniej jednak w środowisku Przemysłu 5.0 samo tworzenie predykcji jest niewystarczające; system musi również zapewnić przejrzystość i wyjaśnialność, aby wspierać proces podejmowania decyzji przez człowieka. Poniższy schemat wykorzystuje SHAP – model oparty na teorii gier, który kwantyfikuje znaczenie każdej cechy w określaniu predykcji. W ten sposób SHAP przypisuje wagi cechom, co pozwala ocenić względną istotność różnych sekcji spektrogramu wejściowego dla końcowej predykcji.

Matematyczna formulacja SHAP opiera się na dekompozycji modelu f(x):

   (23)

gdzie ∅₀ jest wartością bazową (średnim wynikiem modelu), ∅_i jest efektem i-tej cechy, a M to liczba cech wejściowych. Na potrzeby niniejszego badania cechami są przedziały czasowo-częstotliwościowe ze spektrogramu. Wartości SHAP są dodatnie, jeśli przyczyniają się do prawdopodobieństwa wystąpienia stanu nieprawidłowego, a ujemne w przeciwnym razie. Ta formulacja gwarantuje unikalne, lokalnie spójne wyjaśnienie dla każdej predykcji. Metodę SHAP można zastosować do wytrenowanego modelu CNN-transformer, aby uzyskać wyjaśnienie oparte na istotności cech. Reprezentacja wizualna wskaże najważniejsze przedziały czasowo-częstotliwościowe w spektrogramie, które wpływają na proces podejmowania decyzji. Na przykład nieprawidłowa praca urządzenia może skutkować wystąpieniem określonych pasm częstotliwości o wysokiej energii, które framework SHAP zidentyfikuje jako istotne czynniki wpływające na proces decyzyjny.

Dodatkowo, SHAP może sprzyjać współpracy między ludźmi a maszynami w środowisku cyber-fizycznym. Wynika to z faktu, że przewidywania mogą być wyjaśnione za pomocą intuicyjnych wizualizacji, co pozwala operatorom i systemom decyzyjnym weryfikować prognozy, analizować problem i podejmować odpowiednie kroki. Nie tylko zwiększa to zaufanie, ale także sprawia, że procesy produkcyjne oparte na AI są niezawodne i rozliczalne. Dzięki integracji algorytmów głębokiego uczenia, spełniających aktualne standardy wydajności, z SHAP, który zapewnia wyjaśnialność, proponowana architektura spełnia wymagania Przemysłu 5.0.

Algorytm 2: Wyjaśnialność predykcji modelu w oparciu o SHAP

Dane wejściowe: Wytrenowany model f(x), wejściowy spektrogram S

Wynik: wartości SHAP  oraz mapa objaśnień

Krok 1: Wprowadzenie spektrogramu S do wytrenowanego modelu

Krok 2: Obliczenie prognozy: y = f(S)

Krok 3: Inicjalizacja wyjaśniacza SHAP zorientowanego na głębokie uczenie

Krok 4: Oblicz wartości SHAP:

Krok 5: Dla każdej cechy i w S:

Obliczenie wkładu 

Krok 6: Wygeneruj mapę wyjaśnień:

Wyróżnij obszary o wysokim 

Krok 7: Wizualizacja istotności cech (mapa ciepła)

Krok 8: Zwrócenie wartości SHAP i mapy wyjaśnień

Algorytm wyjaśnialności oparty na metodzie SHAP rozpoczyna pracę od pobrania przetworzonego obrazu spektrogramu jako danych wejściowych i wprowadzenia go do przeszkolonej architektury CNN-transformer w celu dokonania predykcji (np. normalny lub nieprawidłowy stan maszyny). Po uzyskaniu predykcji za pomocą przeszkolonej architektury, metoda SHAP jest wykorzystywana do interpretacji modelu. W szczególności obliczane są wartości SHAP (ϕ) dla każdej cechy wejściowej, aby ustalić, które komponenty czasowo-częstotliwościowe sygnału wejściowego mają największy wpływ na predykcję. Aby obliczyć te wartości, należy porównać wyniki modelu dla danych wejściowych z określonymi cechami oraz bez nich.

Po obliczeniu wartości SHAP dla każdej cechy, jej wpływ na prognozę można ocenić na podstawie znaku i wielkości wartości SHAP. Na przykład cechy o wyższych wartościach SHAP z większym prawdopodobieństwem wpływają na wynik, a znak dodatni lub ujemny wskazuje, że dana cecha przesuwa prognozę odpowiednio w stronę klasy prawidłowej lub nieprawidłowej. Na podstawie uzyskanych wyników można stworzyć mapę wyjaśnień w formie mapy ciepła.

Na koniec algorytm generuje zarówno wartości SHAP, jak i wizualizacje, co pozwala zrozumieć, w jaki sposób ludzie mogą analizować decyzje modelu. Technika ta zwiększa przejrzystość procesu i umożliwia zaangażowanie człowieka w podejmowanie decyzji, zapewniając tym samym zarówno dokładność przewidywań algorytmu, jak i jego niezawodność w przemyśle opartym na AI. W celu zwiększenia wiarygodności analizy wyjaśnialności wybrano reprezentatywne próbki testowe z dokładnie zdiagnozowanych anomalnych przypadków dla różnych typów maszyn. Podczas gdy globalna analiza istotności cech SHAP została przeprowadzona poprzez agregację wartości SHAP w całym zestawie danych testowych w celu zidentyfikowania spójnie wpływowych lokalizacji czasowo-częstotliwościowych, dla tych reprezentatywnych przypadków wygenerowano lokalne wyjaśnienia SHAP. Bez konieczności wprowadzania adnotacji eksperckich, ta zintegrowana analiza lokalna i globalna oferuje wiarygodną interpretację przewidywań modelu.

Integracja CPS z obsługą krawędziową

Proponowane rozwiązanie jest wykorzystywane w ramach CPS z obsługą krawędziową, którego celem jest osiągnięcie wydajności, zrównoważenia oraz operacji przemysłowych w czasie rzeczywistym. Po przeszkoleniu modelu, transformator CNN zostanie wdrożony za pomocą podejścia obliczeń krawędziowych. Wspomniana warstwa obliczeń krawędziowych znajduje się w pobliżu urządzeń przemysłowego Internetu Rzeczy (IIoT), w tym czujników i maszyn. Zamiast przesyłać wszystkie zebrane dane do chmury, urządzenie krawędziowe wykonuje wnioskowanie na przychodzącym sygnale akustycznym bez konieczności jego wcześniejszego transferu. Dzięki temu system może niemal natychmiast wykryć nieprawidłowości w działaniu maszyn i podjąć niezbędne kroki, zanim sytuacja ulegnie dalszemu pogorszeniu. Inną zaletą tego podejścia z obsługą krawędziową jest poprawiona latencja i wydajność, ponieważ dane są analizowane w pobliżu miejsca ich generowania. Innymi słowy, w przeciwieństwie do podejścia chmurowego, gdzie czas wnioskowania T_inf

   (24)

Opóźnienie, w ujęciu ogólnym, zostanie znacznie zredukowane dzięki zmniejszeniu T_{communication}. Inną korzyścią jest zmniejszone zużycie przepustowości oraz energii wydatkowanej podczas ciągłej transmisji danych. System ten jest zatem skalowalny i zrównoważony w przypadku dużych zakładów przemysłowych z licznymi podłączonymi urządzeniami. Ponadto CPS umożliwia interakcję z warstwą fizyczną (maszynami), AI (warstwą obliczeniową) oraz warstwą ludzką.

Współpraca z człowiekiem w pętli (human-in-the-loop)

Kluczowym elementem sugerowanego systemu CPS w ramach Przemysłu 5.0, który obejmuje aktywny udział operatorów ludzkich w procesie podejmowania decyzji obok modeli AI, jest współpraca typu human-in-the-loop. Mianowicie, zgodnie z zaprojektowaną strukturą, system nie staje się autonomiczną „czarną skrzynką”, lecz umożliwia operatorom interakcję z nim oraz obserwację wyjaśnialnych wyników predykcji w formie objaśnień SHAP. Przedmiotowe predykcje odnoszą się do wyników (normalny/nienormalny), którym towarzyszą wizualizacje fragmentów spektrogramów wykorzystanych do ich sporządzenia.

Taka interakcja pomaga operatorom lepiej zrozumieć, w jaki sposób dokładnie tworzona jest prognoza oraz które czynniki mają na nią wpływ. Udział człowieka polega na weryfikacji wyników systemu i umożliwieniu operatorom ich zmiany w razie potrzeby, w oparciu o ich profesjonalny osąd. Współpraca z operatorami sprawia, że system jest bardziej godny zaufania, wydajny, bezpieczny i niezawodny, co pomaga zapobiegać błędom.

Wyniki

Przedstawiony system współpracy cyber-fizycznej zintegrowany z wyjaśnialną sztuczną inteligencją (Explainable AI) został przetestowany eksperymentalnie na około 12 000 nagrań audio z zestawu danych MIMII Dataset, który zawiera zarówno normalne, jak i anormalne stany pracy maszyn. Zbiór treningowy składał się z około 9 600 rekordów danych, natomiast zbiór testowy obejmował około 2 400 próbek audio. Na podstawie uzyskanych wyników zaproponowany model CNN-transformer osiągnął dokładność klasyfikacji na poziomie 98,5% dla zbioru testowego, 0,97–0,98. Wyniki te odnoszą się do danych przedstawionych w Tabeli 3, macierzy pomyłek oraz analizy stabilności statystycznej. Integracja enkodera transformer zwiększa możliwości modelowania czasowego architektury, podczas gdy CNN wyodrębnia dyskryminacyjne cechy przestrzenne ze spektrogramu wejściowego.

Oprócz wydajności klasyfikacji oceniono inne charakterystyki systemowe. Po pierwsze, opóźnienie wnioskowania dla implementacji opartej na brzegu sieci nie przekroczało 20 ms, co umożliwiło wykrywanie anomalii w czasie rzeczywistym. Po drugie, przedstawiony system pomógł poprawić efektywność energetyczną poprzez zmniejszenie wymagań komunikacyjnych. Wreszcie, zaproponowany model Wyjaśnialnej Sztucznej Inteligencji (Explainable AI) zapewnia interpretowalność SHAP, co ułatwia analizę modelu z perspektywy eksperta dziedzinowego. Dane MIMII zostały przekształcone w spektrogramy za pomocą krótkoczasowej transformaty Fouriera (STFT), przy użyciu rozmiaru okna 1024, rozmiaru przesunięcia (hop size) 512 oraz rozmiaru szybkiej transformaty Fouriera FFT wynoszącego 1024. Powstałe logarytmiczne spektrogramy Mel zostały zmienione na rozmiar 224 × 224 piksele, a następnie poddano je normalizacji z-score. W celu zwiększenia odporności wytrenowanego modelu zastosowano metody augmentacji danych, w tym maskowanie czasu, maskowanie częstotliwości oraz dodanie szumu Gaussa. Architektura CNN składała się z czterech warstw splotowych z odpowiednio 32, 64, 128 i 256 filtrami, a także zawierała warstwy normalizacji wsadowej (batch normalization), ReLU i max pooling. Wyekstrahowane mapy cech przekształcono w sekwencje i wykorzystano jako dane wejściowe dla koderu transformera, który składał się z czterech warstw kodujących, ośmiu głowic uwagi, 256-wymiarowego zanurzenia (embedding) oraz 1024-wymiarowej warstwy przejścia w przód (feed-forward). Zastosowano prawdopodobieństwo dropout wynoszące 0,3, aby zminimalizować przeuczenie. Do trenowania użyto optymalizatora Adam z szybkością uczenia 0,0001 i spadkiem wag (weight decay) 1 x 10⁻⁵. Liczba epok oraz rozmiar partii (batch size) w treningu wynosiły odpowiednio 100 i 32. Ziarno losowości (random seed) ustawiono na 42, aby zachować powtarzalność eksperymentów. W celu weryfikacji statystycznej poprawności wyników zastosowano następujące metody: wszystkie eksperymenty przeprowadzono niezależnie 10 razy z różnymi ziarnami losowości i różnym przetasowaniem danych. Obliczono wartości średnie i odchylenia standardowe dla Accuracy, Precision, Recall, F1-score, pola pod krzywą charakterystyki operacyjnej odbiornika (ROC-AUC) oraz pola pod krzywą precyzji i pełności (PR-AUC). Ponadto obliczono 95% przedziały ufności, aby oszacować niepewność wydajności. Na koniec przeprowadzono sparowany test t, porównując wyniki naszego podejścia CNN-transformer z najlepiej działającym modelem bazowym. Zastosowano metodę wczesnego zatrzymania (early stopping), przyjmując parametr cierpliwości (patience) wynoszący 10 epok. Tabela 4 przedstawia konfigurację środowiska i hiperparametrów, a Tabela 5 zawiera szczegóły dotyczące środowiska symulacyjnego.

Eksperyment oceniający w niniejszej pracy został przeprowadzony z wykorzystaniem zbioru danych MIMII, który obejmuje różne warunki pracy maszyn oraz scenariusze usterek akustycznych. Chociaż wyniki uzyskane za pomocą proponowanego modelu potwierdzają jego skuteczność, konieczna jest dalsza walidacja na różnych przemysłowych zbiorach danych i w różnych środowiskach produkcyjnych.

Zaproponowana struktura została zaimplementowana na platformie obliczeń krawędziowych (edge computing) wyposażonej w procesor wielordzeniowy, 16 GB pamięci systemowej oraz akcelerator krawędziowy z jednostką przetwarzania graficznego (GPU), aby zapewnić możliwość wnioskowania i wyjaśnialności w czasie rzeczywistym. Przemysłowe czujniki akustyczne przesyłały strumienie audio do bramy krawędziowej za pośrednictwem warstwy komunikacyjnej IIoT. Węzły krawędziowe były wykorzystywane do wykonywania takich zadań jak tworzenie spektrogramów, wnioskowanie o anomaliach oraz generowanie wyjaśnień SHAP, podczas gdy serwer chmurowy służył do długoterminowego przechowywania danych i aktualizacji modelu. Taka konfiguracja nie tylko zmniejsza zapotrzebowanie na komunikację, ale także umożliwia interakcję w czasie rzeczywistym pomiędzy urządzeniami pomiarowymi, modułami AI a operatorami w systemach cyberfizycznych.

Przedstawione powyżej podejście oparte na modelu CNN-transformer porównano z kilkoma istniejącymi metodami, w tym z konwencjonalnymi modelami ML, takimi jak maszyna wektorów nośnych (SVM) i las losowy, modelami CNN bez transformera oraz metodami opartymi na długiej krótkotrwałej pamięci (LSTM). Podczas gdy tradycyjne modele ML nie osiągają satysfakcjonujących wyników ze względu na brak zdolności do przetwarzania korelacji przestrzennych i czasowych w danych, modele CNN mogą efektywnie przetwarzać cechy przestrzenne, natomiast modele LSTM potrafią obsługiwać aspekty czasowe sygnałów akustycznych. Niemniej jednak te pierwsze ustępują tym drugim pod względem kosztów obliczeniowych i możliwości przetwarzania równoległego.

Aby zapewnić sprawiedłe porównanie proponowanego modelu CNN-transformer z modelami bazowymi, pierwszy z nich był trenowany i oceniany przy użyciu tego samego podziału zbioru danych MIMII (80% trening i 20% testowanie), tych samych kroków przetwarzania wstępnego, procesu tworzenia spektrogramów oraz miar ewaluacyjnych. W metodzie SVM zastosowano jądro funkcji radialnej (RBF), z parametrami C = 10 oraz γ = 0,01. Metoda lasu losowego obejmowała 200 drzew o maksymalnej głębokości 20. W przypadku sieci CNN wykorzystano cztery warstwy splotowe (32, 64, 128 i 256 filtrów), po których następowały warstwy w pełni połączone, bez modułu Transformer. Wreszcie, w metodzie LSTM zastosowano dwie skumulowane warstwy LSTM z 128 jednostkami ukrytymi i współczynnikiem dropout wynoszącym 0,3.

Przeciwnie, zastosowanie architektury CNN-transformer pozwala na osiągnięcie najlepszych wyników dzięki efektywnemu wykorzystaniu zarówno przestrzennych, jak i czasowych właściwości sygnałów akustycznych. Ponadto, wykorzystanie obliczeń krawędziowych (edge computing) pozwala na redukcję kosztów obliczeniowych, poprawę opóźnień oraz oszczędność energii. Dodatkowo, wyjaśnialność predykcji zaimplementowana przy użyciu SHAP może być uznana za kolejną zaletę, która odróżnia proponowaną metodę od istniejących technik.

Mimo niedawnych osiągnięć w opracowywaniu nowych modeli do detekcji anomalii akustycznych, takich jak Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer oraz modele oparte na uczeniu samonadzorowanym, w niniejszym badaniu nie przeprowadzono eksperymentalnego porównania tych architektur. W przyszłości planuje się wykorzystać modele te jako punkty odniesienia do oceny proponowanej struktury.

Do oceny wydajności zaproponowanego modelu wykorzystuje się metryki, takie jak dokładność (accuracy), precyzja (precision), pełność (recall) oraz wynik F1 (F1-score). Podczas gdy precyzja mierzy stosunek wyników prawdziwie dodatnich do całkowitej liczby wyników prawdziwie dodatnich i fałszywie dodatnich, dokładność ocenia ogólną poprawność przewidywań. Pełność dostarcza szacunki zdolności modelu do prognozowania anomalii w danym systemie. Jest to kluczowe, ponieważ brak prognozy wystąpienia defektu mógłby doprowadzić do awarii systemu. Poniżej przedstawiono matematyczny sposób obliczania tych metryk:

   (25)

   (26)

   (27)

   (28)

Poza nimi, podczas oceny rzeczywistej wydajności sugerowanego modelu CPS opartego na przetwarzaniu krawędziowym, bierze się pod uwagę dodatkowe wskaźniki związane z wydajnością systemu, takie jak opóźnienia, wykorzystanie energii oraz skalowalność.

Poza standardowymi technikami pomiaru wydajności istnieje wiele innych miar, które mogą pomóc w ocenie proponowanego rozwiązania z bardziej holistycznej perspektywy, szczególnie biorąc pod uwagę jego zastosowanie w rzeczywistych przypadkach badań danych niezbalansowanych i strumieniowych. Na przykład zdolność algorytmu do rozróżniania dwóch grup w oparciu o różne progi jest mierzona polem pod krzywą charakterystyki operacyjnej odbiornika (ROC-AUC). Ze względu na odporność i separowalność, wartość ROC-AUC powinna być wysoka. Ponadto w przypadku wykrywania anomalii istotna jest metryka pola pod krzywą precyzji i pełności (PR-AUC), ponieważ klasy anormalne są rzadkie.

Ważnym miernikiem, który należy wziąć pod uwagę, jest współczynnik korelacji Matthewsa (MCC). Uwzględnia on wszystkie cztery elementy macierzy pomyłek i zapewnia dokładną ocenę, nawet w przypadku niezrównoważenia klas. Miernik ten oblicza się w następujący sposób:

   (29)

Wartości MCC mieszczą się w zakresie od -1 do +1, gdzie +1 oznacza idealną predykcję. Innym miernikiem, który można by zastosować, jest swoistość (True Negative Rate), która byłaby przydatna w zastosowaniach przemysłowych do oceny, czy występują jakiekolwiek fałszywie dodatnie wyniki predykcji:

    (30)

Aby upewnić się, że nie występowała niespójność między macierzą błędów a metrykami wydajności, wszystkie kryteria oceny obliczono na podstawie końcowego zbioru testowego. W poniższych równaniach zastosowano oznaczenia: prawdziwie dodatnie (TP), prawdziwie ujemne (TN), fałszywie dodatnie (FP) oraz fałszywie ujemne (FN). Dokładność, precyzja, czułość, swoistość, wskaźnik F1 oraz MCC obliczono zgodnie z równaniami (25)–(30). Dodatkowo, ROC-AUC oraz PR-AUC obliczono na podstawie wyjść prawdopodobieństwa modelu CNN-transformer poprzez niezależną ocenę progu.

Kluczowe wskaźniki do rozważenia na poziomie systemowym obejmują opóźnienie (latency), przepustowość oraz koszt obliczeniowy. Opóźnienie to czas wymagany do dokonania predykcji. Przepustowość określa liczbę próbek danych przetwarzanych na sekundę. Koszt obliczeniowy, reprezentujący efektywność energetyczną, jest istotny dla zapewnienia wydajności obliczeniowej. Ponadto, przy ocenie modelu można wziąć pod uwagę wskaźniki wyjaśnialności, takie jak spójność SHAP oraz stabilność istotności cech.

Z wyników przedstawionych w Tabeli 3 dla zbioru danych MIMII jasno wynika, że zaproponowany model CNN-transformer przewyższa wszystkie pozostałe metody uczenia maszynowego i głębokiego uczenia. Wydajność modeli SVM oraz lasów losowych jest akceptowalna, choć ograniczona, przy dokładnościach wynoszących odpowiednio 88,6% i 91,2%. Można to wyjaśnić niezdolnością tych modeli do ekstrakcji złożonych cech czasowych i przestrzennych z sygnałów akustycznych. Z kolei model LSTM przewyższa SVM i lasy losowe, osiągając dokładność 94,5% dzięki modelowaniu danych szeregów czasowych. Niemniej jednak zaproponowane podejście CNN-transformer wykazuje najlepsze wyniki, z poprawioną dokładnością (98,5%), precyzją (98,06%), czułością (99,02%) i wynikiem F1 (98,54%). Zatem sugerowany algorytm potrafi precyzyjnie klasyfikować normalny i nieprawidłowy stan maszyn. Poprawiona swoistość (97,96%) dowodzi skuteczności tego podejścia w redukowaniu wyników fałszywie dodatnich, co ma kluczowe znaczenie dla przemysłu. Należy zauważyć, że wydajność modelu CNN-transformer wynika z połączenia CNN i Transformera, gdzie pierwszy ekstrahuje cechy dyskryminacyjne, a drugi przechwytuje relacje czasowe w długich sekwencjach.

Krzywa ROC na Rysunku 6 przedstawia porównanie wydajności metod SVM, lasów losowych (random forest), LSTM oraz proponowanego podejścia CNN-transformer w zakresie ich zdolności klasyfikacyjnych dla zbioru danych MIMII. Jak pokazano na Rysunku 6, najwyższą wartość pola pod krzywą (AUC) odnotowano dla sugerowanego modelu CNN-transformer, która wyniosła 0,994. Jest oczywiste, że proponowana metoda zapewnia lepszą zdolność dyskryminacyjną w rozróżnianiu kategorii normalnej i anormalnej. Z drugiej strony, LSTM daje nieco niższe wyniki niż sugerowane podejście CNN-transformer; jego AUC wynosi około 0,97. Zarówno lasy losowe, jak i SVM mają stosunkowo niskie wartości AUC, odpowiednio około 0,958 i 0,913. Wynika to z niezdolności obu tych podejść do uczenia się złożonych wzorców akustycznych z dostarczonych danych.

W detekcji anomalii, gdzie liczba próbek anormalnych jest niewielka, krzywa precyzji i pełności (PR) zapewnia lepszą analizę. Na krzywej PR model CNN-transformer osiąga najwyższą średnią precyzję (AP), wynoszącą około 0,97–0,98, co sugeruje lepszą zdolność wykrywania instancji anormalnych przy mniejszej liczbie fałszywych alarmów, jak pokazano na Rysunku 7. Z kolei klasyfikator LSTM zajmuje drugie miejsce, z AP w zakresie od 0,92 do 0,94. Z kolei klasyfikatory lasu losowego oraz SVM zajmują odpowiednio trzecie i czwarte miejsce, z wartościami AP wynoszącymi 0,88 i 0,84. Zaproponowany hybrydowy klasyfikator osiąga wyższą dokładność na wszystkich poziomach pełności, co jest istotne w praktycznych zastosowaniach przemysłowych, ponieważ wymagają one zarówno wysokiej precyzji, jak i niskiego poziomu fałszywych alarmów.

Model CNN-transformer został porównany z istniejącymi modelami na zbiorze danych MIMII przy użyciu zaawansowanych metryk wydajności przedstawionych w Tabeli 6. Wartość ROC-AUC wskazuje na zdolność dyskryminacyjną modelu pomiędzy dwiema klasami w różnych progach. Klasyfikatory SVM i las losowy osiągnęły wartości ROC-AUC odpowiednio 0,913 i 0,958, podczas gdy model LSTM uzyskał ROC-AUC na poziomie 0,970, a CNN 0,98. Zaproponowany framework CNN-transformer osiągnął najwyższą wartość ROC-AUC wynoszącą 0,994, co wykazuje lepszą dyskryminację między normalnym a nieprawidłowym stanem maszyn. Podobnie wartości PR-AUC wskazują, że zaproponowany model potrafi skutecznie radzić sobie z niezrównoważeniem klas, co jest kluczowym czynnikiem w detekcji anomalii. Zaproponowany model CNN-transformer osiągnął najwyższą wartość PR-AUC (średnia precyzja) wynoszącą 0,982, a następnie CNN (0,950), LSTM (0,912), las losowy (0,891) oraz SVM (0,765), co wskazuje na lepszą wydajność w zakresie precyzji i pełności (precision-recall) w detekcji akustycznych anomalii przemysłowych. Ponadto współczynnik korelacji Matthewsa (MCC), który mierzy zrównoważenie wydajności modelu, jest wskazany przez stosunkowo wysoką wartość 0,97 dla zaproponowanego modelu. Natomiast wcześniejsze metody, takie jak SVM (0,73) i las losowy (0,78), charakteryzowały się niższą dokładnością predykcyjną.

Aby przetestować stabilność przedstawionego podejścia, ten sam eksperyment przeprowadzono 10 razy, stosując różne ziarna inicjalizacyjne i schematy przetasowania danych. Wyniki dla architektury CNN-transformer przedstawione w Tabeli 7 były następujące: accuracy = 98,50% ± 0,19%, precision = 98,06% ± 0,23%, recall = 99,02% ± 0,22% oraz F1-score = 98,54% ± 0,24%. Stosunkowo małe odchylenie standardowe wskazuje na stabilność modelu. Dla wszystkich miar ewaluacyjnych obliczono 95% przedziały ufności. Ustalono, że przedział ufności dla metryki accuracy wynosił [98,1%, 98,9%], co wskazuje, że model stale osiąga dobre wyniki. Wąskie przedziały ufności wyznaczono również dla ROC-AUC, PR-AUC oraz MCC. Sparowany test t porównujący proponowany model CNN-transformer z najlepiej działającym modelem bazowym (LSTM) dał wartość p < 0,05, co wskazuje, że zaobserwowany wzrost wydajności jest istotny i nie wynika z przypadku.

Aby sprawdzić odporność zaproponowanej architektury CNN-transformer, eksperymenty powtórzono 10 razy, stosując różne ziarna inicjalizacji losowej oraz konfiguracje tasowania, co przedstawiono na Rysunku 8. Średnia dokładność (accuracy), precyzja (precision), czułość (recall) oraz wynik F1 (F1-score) uzyskane przez model wynosiły odpowiednio 98,50% ± 0,19%, 98,06% ± 0,23%, 99,02% ± 0,22% oraz 98,54% ± 0,24%. Analiza wykresów pudełkowych wykazała minimalne wariacje w metrykach wydajności modelu, co wskazuje na jego stabilność i odporność. Zatem zaproponowane podejście wykazuje wysoką stabilność w wielu eksperymentach, bez znaczących odchyleń, co świadczy o dobrych zdolnościach generalizacji modelu.

Dodatkowo przeprowadzono test statystyczny na podstawie wyników wielokrotnych powtórzeń eksperymentu. Niskie odchylenia standardowe we wszystkich miernikach ewaluacyjnych sugerują niewielką podatność na zmiany wynikające z losowości lub procesu uczenia. Potwierdza to, że proponowany model CNN-transformer może zapewnić stabilną i spójną wydajność w rzeczywistych cyber-fizycznych systemach produkcyjnych.

Mapa ciepła SHAP pozwala ocenić znaczenie obszarów czasowo-częstotliwościowych w spektrogramie dla przewidywania, czy stan maszyny jest prawidłowy, czy nieprawidłowy. Wartości SHAP wskazują wkład każdego predyktora w końcową prognozę.

Na mapie cieplnej wartości SHAP przedstawionej na Ryc. 9A, dodatnie wartości SHAP (np. od +0,6 do +1,2) reprezentują wkład w klasyfikację jako nieprawidłowość, natomiast ujemne wartości SHAP (tj. od −0,3 do −0,8) reprezentują wkład w kategorię normalną. Najwyższe wartości SHAP odnotowano w średnim zakresie częstotliwości (koszyki częstotliwości 40–80) w ramach czasowych 50–100. Regiony te stanowią kluczowe obszary, w których w pomiarach akustycznych wykrywane są krytyczne sygnały uszkodzeń. Co więcej, pasmo niskich częstotliwości (mniej niż 20 koszyków) wykazuje wartości SHAP bliskie zeru (−0,1 do +0,1), co wskazuje na pomijalny wpływ na proces podejmowania decyzji przez model. Świadczy to o tym, że model ignoruje szum tła nieistotny dla przewidywania usterek. Spójność czasowa wysokich wartości SHAP w określonych pasmach czasowych podkreśla również zdolność modułu Transformer do wychwytywania dalekosiężnych zależności w sygnałach akustycznych. Podsumowując, mapa cieplna SHAP wyraźnie pokazuje, że model CNN-transformer skupia się na unikalnych pasmach czasowo-częstotliwościowych o wysokiej mocy dyskryminacyjnej. Zwiększa to interpretowalność modelu i pomaga operatorowi w wizualnym wykrywaniu usterek.

Wykazano, że metoda SHAP jest wykorzystywana wyłącznie jako technika interpretowalności i nie stanowi części procesu trenowania modelu CNN-transformer. Dokładność klasyfikacji jest determinowana wyłącznie przez parametry wyuczone przez komponenty CNN i Transformer. Metoda SHAP jest stosowana po etapie wnioskowania modelu w celu interpretacji przewidywań poprzez identyfikację najbardziej wpływowych okien czasowo-częstotliwościowych, które kierują predykcje w stronę kategorii normalnej lub abnormalnej. W związku z tym SHAP zwiększa przejrzystość i zrozumienie dla człowieka, nie wpływając na dokładność klasyfikacji. Wartości SHAP dostarczane przez proponowany schemat umożliwiają przejrzystą wizualizację, która pomoże operatorom konserwacji weryfikować przewidywania modelu poprzez porównanie wykrytych obszarów z rzeczywistym zachowaniem maszyny i dokumentacją serwisową. Dzięki temu współpraca ludzi z maszynami podczas działań w zakresie konserwacji predykcyjnej będzie łatwiejsza.

Aby ocenić poziom wyjaśnialności, przeprowadzono globalną analizę SHAP w celu określenia istotności cech, co zilustrowano na Rysunku 9B. Wyniki pokazują, że niektóre komponenty średnioczęstotliwościowe odgrywają istotną rolę w detekcji anomalii. Ponadto studium przypadku przedstawione na Rysunku 9C wykazuje, że SHAP prawidłowo identyfikuje obszary istotne dla usterek w spektrogramach maszyn wykazujących nieprawidłowości. Badanie obejmowało jakościczną analizę przypadków z wykorzystaniem próbek danych anomalnych dla pomp i zaworów z zestawu danych MIMII. W przypadku uszkodzonych pomp SHAP zidentyfikował zakresy częstotliwości 2–4 kHz związane z kawitacją i zużyciem. W przypadku uszkodzonych zaworów aktywacja SHAP dominowała w obszarach z powtarzającymi się sygnałami harmonicznymi wskazującymi na wyciek. W reprezentatywnych próbkach testowych wizualizacje SHAP niezawodnie zidentyfikowały dyskryminacyjne strefy czasowo-częstotliwościowe powiązane z anomalnymi stanami maszyn. Poprzez wyróżnienie regionów widmowych, które w największym stopniu przyczyniają się do każdej predykcji, wyjaśnienia te rzucają światło na sposób podejmowania decyzji przez model. Analiza SHAP została przedstawiona jako narzędzie interpretacyjne do zrozumienia zachowania modelu, a nie jako zweryfikowana przez ekspertów weryfikacja usterek, ponieważ formalna walidacja przez specjalistów ds. utrzymania ruchu wykraczała poza zakres niniejszego badania.

Macierz pomyłek obrazuje, jak dobrze zaproponowany model CNN-transformer radzi sobie z klasyfikacją zestawu danych MIMII przedstawionego na Rysunku 10. Ogólnie 960 próbek normalnych zostało poprawnie zidentyfikowanych jako normalne (prawdziwie ujemne), natomiast 20 próbek normalnych błędnie zidentyfikowano jako abnormalne (fałszywie dodatnie). Ponadto, spośród wszystkich próbek, 1010 próbek abnormalnych zostało wykrytych jako takie (prawdziwie dodatnie), podczas gdy 10 próbek abnormalnych zidentyfikowano jako normalne (fałszywie ujemne).

W ten sposób osiągnięto wysoką wydajność detekcji, szczególnie w przypadku próbek anomalnych, które są kluczowe w utrzymaniu predykcyjnym. Jak pokazano na Rysunku 10, błąd typu False Negative (fałszywie ujemny) występuje bardzo rzadko (10 próbek) – jest to kwestia kluczowa dla zapewnienia bezpieczeństwa i niezawodności w każdym przemyśle. Z drugiej strony, błąd typu False Positive (fałszywie dodatni) występuje nieco częściej (20 próbek), ale nadal pozostaje na stosunkowo niskim poziomie. Macierz pomyłek przedstawiona na Rysunku 10 została wygenerowana przy użyciu zbalansowanego podzbioru 2 000 nagrań testowych (równa liczba próbek normalnych i anomalnych), aby zapewnić przejrzystą wizualizację wydajności klasyfikatora. Wszystkie raportowane metryki oceny, w tym dokładność (accuracy), precyzja (precision), czułość (recall), swoistość (specificity) oraz wskaźnik F1 (F1-score), zostały obliczone przy użyciu pełnego zestawu testowego (około 2 400 nagrań).

Biorąc pod uwagę macierz pomyłek przedstawioną w Rysunek 10 oraz w Tabela 8 (TN = 960, FP = 20, TP = 1010, FN = 10), można przeprowadzić następujące obliczenia: dokładność (Accuracy) = (TP + TN) / (TP + TN + FP + FN) = 98,50%, precyzja (Precision) = TP/(TP + FP) = 98,06%, czułość (Recall) = TP/(TP + FN) = 99,02%, swoistość (Specificity) = TN / (TN + FP) = 97,96%, wskaźnik F1 (F1-score) = 98,54% oraz MCC = 0,97. Ponadto wartości ROC-AUC i PR-AUC wynosiły odpowiednio 0,994 i 0,982. Macierz pomyłek przedstawiona w Rycina 10 zostało wygenerowane wyłącznie w celach wizualizacyjnych przy użyciu zrównoważonego, reprezentatywnego podzbioru 2000 nagrań z danych testowych. Wszystkie ilościowe wskaźniki wydajności raportowane w niniejszej pracy zostały obliczone z wykorzystaniem pełnego zbioru testowego (około 2400 nagrań). Ogólnie wyniki wykazują, że proponowana architektura CNN-transformer osiąga dokładność klasyfikacji na poziomie 98,5%, co jest zgodne z wynikami raportowanymi w Tabela 8 or analiza ablacyjna.

W celu weryfikacji skuteczności implementacji opartej na brzegu sieci (edge-based) przeprowadzono dodatkowe pomiary. Średnia latencja wnioskowania proponowanego modelu wynosi 18,7 ms/sample, a model może przetwarzać około 53 próbek na sekundę, co przedstawiono w Tabeli 9. Pobór mocy podczas wnioskowania wyniósł 8,9 W, co przekłada się na szacowane zużycie energii na poziomie 0,167 J/prediction. Aby ocenić wpływ proponowanego podejścia na zrównoważony rozwój w Tabeli 10, uwzględniono narzut komunikacyjny, zużycie energii oraz wykorzystanie zasobów. Ponieważ proces wnioskowania odbywa się lokalnie w węzłach brzegowych, do środowiska chmurowego przesyłane są jedynie podsumowujące dane diagnostyczne. Wyniki eksperymentalne wykazały 73% spadek ilości przesyłanych danych w porównaniu z tradycyjnymi systemami CPS opartymi na chmurze. Dodatkowo lokalne wnioskowanie zmniejszyło zużycie energii o 32%, natomiast czas komunikacji skrócił się z 75 ms do 20 ms.

Badanie ablacyjne

Zbiór danych MIMII poddano badaniu ablacyjnemu w celu oceny wpływu każdego komponentu architektury CPHS opartej na wyjaśnialnej sztucznej inteligencji (explainable AI). Niniejsze badanie ablacyjne analizuje efekty zastosowania sieci CNN do nauki cech przestrzennych, koderów transformera do nauki cech czasowych oraz samego algorytmu wyjaśnialności SHAP. Rozważono kilka modyfikacji proponowanego modelu, mianowicie: (i) wersję opartą wyłącznie na CNN, (ii) wersję opartą wyłącznie na Transformerze, (iii) model z połączonymi sieciami CNN i Transformerem, ale bez algorytmu SHAP, oraz (iv) pełny proponowany model z połączonymi sieciami CNN i Transformerem wraz z SHAP. Do ewaluacji wykorzystano powszechne metryki, takie jak dokładność (accuracy), precyzja (precision), czułość (recall) oraz wynik F1 (F1-score).

Wyniki tej analizy ablacyjnej demonstrują znaczenie każdego elementu w strukturze przedstawionej w Tabeli 11. Model oparty wyłącznie na CNN osiąga dokładność 93,8%, co wskazuje, że ekstrakcja cech przestrzennych ze spektrogramów jest skuteczna, jednak nie pozwala ona na uchwycenie zależności czasowych w sygnałach akustycznych. To samo dotyczy modelu opartego wyłącznie na Transformerze, który osiąga nieco niższą dokładność (92,6%), ponieważ ekstrahuje cechy czasowe, pomijając informacje przestrzenne. Ostatecznie zaproponowany model CNN-transformer uzyskał dokładność 98,5%, precyzję 98,06%, czułość 99,02% oraz wynik F1 na poziomie 98,54%, co jest zgodne z wynikami głównego eksperymentu. Ponieważ metoda SHAP jest wykorzystywana wyłącznie do interpretacji post hoc, a nie do trenowania modelu, dokładność klasyfikacji jest taka sama jak w przypadku wytrenowanego modelu CNN-transformer. SHAP służy następnie do tworzenia wyjaśnień atrybucji cech. Poprawiona czułość (99,02%) wskazuje, że model skutecznie wykrywa nieprawidłowe stany maszyn, zapewniając, że żadna uszkodzona część nie zostanie pominięta, co jest niezbędne do wdrożenia systemu konserwacji predykcyjnej.

DOSTĘPNOŚĆ DANYCH:

Zbiór danych Malfunctioning Industrial Machine Investigation and Inspection (MIMII) wykorzystany w niniejszym badaniu jest publicznie dostępny w oficjalnym repozytorium Zenodo. Eksperymenty przeprowadzono z wykorzystaniem publicznie dostępnych nagrań audio i adnotacji dostarczonych przez autorów zbioru danych. Dostęp do zbioru danych znajduje się pod adresem https://zenodo.org/records/3384388. Kod implementacyjny towarzyszący niniejszemu badaniu jest publicznie dostępny w repozytorium Zenodo pod adresem https://zenodo.org/records/21405292. Repozytorium zawiera kod implementacyjny dla proponowanego frameworka, w tym potok wstępnego przetwarzania danych, architekturę modelu, przepływ pracy treningowej, skrypty ewaluacyjne, pliki konfiguracyjne oraz pomocnicze narzędzia ułatwiające zrozumienie i niezależne odtworzenie proponowanej metodologii. Zbiór danych MIMII nie jest redystrybuowany wraz z kodem implementacyjnym i powinien zostać pobrany oddzielnie z jego oficjalnego repozytorium.

Rycina 1: Architektura proponowanego rozwiązania. Projekt architektoniczny wyjaśnialnego systemu cyber-fizycznego człowieka opartego na AI, łączący wstępne przetwarzanie, uczenie przestrzenne oparte na CNN, modelowanie czasowe oparte na transformerach, wyjaśnialność SHAP oraz obliczenia krawędziowe (edge computing) dla zrównoważonej produkcji. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.

Rycina 2: Schemat przetwarzania wstępnego. Schemat przetwarzania wstępnego sygnału akustycznego obejmujący usuwanie szumów, normalizację, segmentację, transformację STFT i ekstrakcję spektrogramu. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 3: Ekstrakcja cech przestrzennych przy użyciu CNN. Architektura ekstrakcji cech przestrzennych przez sieci CNN z wykorzystaniem spektrogramów poprzez proces splotu, aktywacji i poolingu. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 4: Modelowanie czasowe z wykorzystaniem koderów transformera. Architektura kodera transformera służąca do przechwytywania zależności czasowych i długodystansowych poprzez reprezentację sekwencji spektrogramów. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 5: Warstwa klasyfikacyjna. Warstwa klasyfikatora, która mapuje zakodowane cechy czasowe na wartości prawdopodobieństwa w celu prognozowania stanu maszyny. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 6: Wynik krzywej ROC. Porównanie krzywych ROC dla algorytmów SVM, random forest, LSTM, CNN oraz proponowanego algorytmu CNN-transformer na zbiorze danych MIMII. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 7: Wynik krzywej precyzji i pełności. Porównanie krzywych precyzji i pełności (precision-recall curve), reprezentujące efektywność wykrywania anomalii za pomocą różnych metod uczenia maszynowego i głębokiego uczenia. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 8: Analiza stabilności wydajności w wielu uruchomieniach. Wykres pudełkowy przedstawiający stabilność wyników dokładności (Accuracy), precyzji (Precision), pełności (Recall) oraz wyniku F1 (F1-score) uzyskanych w dziesięciu niezależnych eksperymentach przeprowadzonych z zastosowaniem zaproponowanej architektury CNN-transformer. Niewielkie wahania wskazują na stabilność i odporność modelu. Prosimy kliknąć tutaj, aby wyświetlić większą wersję tej ryciny.

Rycina 9: Analiza wyjaśnialności oparta na metodzie SHAP dla proponowanego systemu detekcji anomalii. (A) Analiza wyjaśnialności oparta na metodzie SHAP. Mapa ciepła z wykorzystaniem metody SHAP pokazująca najbardziej istotne strefy czasowo-częstotliwościowe prowadzące do identyfikacji anomalnego zachowania. (B) Analiza ważności cech z wykorzystaniem globalnego podejścia SHAP w celu identyfikacji najbardziej wpływowych cech. (C) Wizualizacja wyjaśnialności SHAP dla maszyny wykazującej nieprawidłowości. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 10: Macierz pomyłek dla zbioru danych MIMII. Macierz pomyłek przedstawia wydajność klasyfikacji proponowanego algorytmu CNN-transformer. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Parametr	Opis
Nazwa zbioru danych	Zbiór danych MIMII (Malfunctioning Industrial Machine Investigation and Inspection)
Typy urządzeń	Zawory, pompy, wentylatory, prowadnice przesuwne
Łączna liczba wykorzystanych próbek	Około 12 000 nagrań audio
Klasy	Normalne, abnormalne
Częstotliwość próbkowania	16 kHz
Czas trwania na próbkę	10 sekund
Format audio	WAV
Reprezentacja cech	Obrazy spektrogramów oparte na STFT
Etapy wstępnego przetwarzania	filtrowanie szumów, normalizacja, segmentacja, transformacja STFT
Przypisywanie etykiet	Nagrania prawidłowe oznaczono jako klasa 0; nagrania nieprawidłowe oznaczono jako klasa 1 zgodnie z adnotacjami MIMII
Podział na zbiór treningowy i testowy	80% trening (≈9 600 próbek), 20% testowanie (≈2400 próbek)
Strategia partycjonowania danych	Podział na poziomie plików audio wykonany przed segmentacją w celu zapobiegania wyciekowi danych
Warunki hałasu przemysłowego	Realistyczne przemysłowe środowiska akustyczne zawarte w nagraniach MIMII
Dziedzina zastosowania	Konserwacja predykcyjna i detekcja anomalii maszynowych
Cel w ramach Przemysłu 5.0	Wyjaśnialna, zorientowana na człowieka i zrównoważona detekcja błędów

Tabela 1: Opis zestawu danych. Opis zestawu danych MIMII pod kątem typu maszyny, rozkładu próbek, charakterystyki sygnału, reprezentacji cech oraz aspektów zastosowania.

Typ maszyny	Identyfikatory maszyn	Nagrania normalne	Nagrania anomalne	Warunki SNR (dB)	Podział eksperymentalny
Wentylator	ID00–ID06	8,400	1,600	−12 do −9	80% trening / 20% testowanie
Przekładnia	ID00–ID06	7,124	1,147	−17 do −15	80% trening / 20% testowanie
Pompa	ID00–ID06	7,200	1,800	−18 do −9	80% trening / 20% testowanie
Prowadnica liniowa	ID00–ID05	7,000	1,800	−14 do −12	80% trening / 20% testowanie
Zawór	ID00–ID05	7,000	1,800	−12 do −9	80% trening / 20% testowanie

Tabela 2: Opis zbioru danych MIMII wykorzystanego w niniejszym badaniu. Typy maszyn przemysłowych, identyfikatory maszyn, liczba nagrań normalnych i anomalnych, warunki SNR oraz podział na zbiór treningowy i testowy użyty do nadzorowanej klasyfikacji binarnej.

Model	Dokładność (%)	Precyzja (%)	Czułość (%)	Wskaźnik F1 (%)	Swoistość (%)
SVM (maszyna wektorów nośnych)	88.6	86.9	85.4	86.1	90.2
Losowy Las (RF)	91.2	89.8	88.5	89.1	92.6
LSTM (długa krótko- i długoterminowa pamięć)	94.5	93.2	92.8	93	95.1
CNN (Splotowa Sieć Neuronowa)	96.3	95.4	94.9	95.1	96.8
CNN–Transformer (proponowany)	98.5	98.06	99.02	98.54	97.96

Tabela 3: Wyniki klasyfikacji dla zbioru danych MIMII. Porównanie wydajności klasyfikatorów uczenia maszynowego i głębokiego uczenia z wykorzystaniem dokładności, precyzji, czułości, wyniku F1 oraz swoistości.

Parametr	Wartość
Zbiór danych	Zbiór danych MIMII
Całkowita liczba próbek	~12,000
Podział zbioru treningowego i testowego	80% / 20%
Typ wejścia	Obrazy spektrogramów
Warstwy CNN	3–5 warstw splotowych
Warstwy transformera	2–4 warstwy kodera
Wielkość partii	32
Szybkość uczenia	0.001
Optymalizator	Adam
Epoki	100
Sprzęt	Urządzenie brzegowe + GPU (do trenowania)
Długość okna STFT	1024
Wielkość skoku	512
Rozmiar FFT	1024
Rozdzielczość spektrogramu	224 × 224
Normalizacja	wynik Z
Augmentacja danych	maskowanie czasowe, maskowanie częstotliwościowe, szum Gaussa
Warstwy CNN	4
Filtry CNN	32, 64, 128, 256
Warstwy Transformera	4
Głowice uwagi	8
Wymiar osadzenia	256
Wymiar sieci sprzężeń w przód	1024
Dropout	0.3
Ziarno losowości	42
Cierpliwość wczesnego zatrzymania (Early Stopping Patience)	10

Tabela 4: Konfiguracja środowiska i hiperparametrów. Parametry treningu i eksperymentów wykorzystane do implementacji proponowanej architektury CNN-transformer.

Komponent	Specyfikacja
Język programowania	Python
Ramy teoretyczne	TensorFlow / PyTorch
Procesor	Intel i7 / Ryzen 7
GPU	NVIDIA GTX 1660 / seria RTX
Urządzenie brzegowe	Raspberry Pi / NVIDIA Jetson
Wizualizacja	Matplotlib, SHAP
Urządzenie brzegowe	NVIDIA Jetson Xavier NX
procesor (CPU)	6-rdzeniowy ARM v8.2
pamięć RAM	16 GB
System operacyjny	Ubuntu 20.04
Środowisko głębokiego uczenia	TensorFlow/PyTorch
Rozmiar zbioru danych	12 000 próbek MIMII
Łączność	Ethernet/Wi-Fi
Parametry modelu	8,4 mln
Rozmiar modelu	32,7 MB
Ramy teoretyczne	PyTorch + TensorRT
Wielkość serii	1
Kwantyzacja	FP16
Pruning	Nie
Średnia latencja	17,8 ms
Mediana opóźnienia	17,2 ms
Opóźnienie na poziomie 95. percentyla	19,6 ms
Przepustowość	56 próbek/s
Wykorzystanie pamięci	1,4 GB
Zużycie energii	11,3 W

Tabela 5: Środowisko symulacyjne. Sprzęt i oprogramowanie wykorzystane do trenowania, wdrażania i oceny proponowanego modelu.

Model	ROC-AUC	PR-AUC	MCC
SVM (maszyna wektorów wspierających)	0.913	0.765	0.73
لاسowy (RF)	0.958	0.891	0.78
LSTM (długo-krótkotrwała pamięć)	0.97	0.912	0.86
CNN	0.98	0.95	0.9
CNN–Transformer (proponowany)	0.994	0.982	0.97

Tabela 6: Porównanie wyników eksperymentalnych dla ROC-AUC, PR-AUC i MCC. Porównanie różnych modeli w oparciu o miary ROC-AUC, PR-AUC oraz współczynnik korelacji Matthewsa.

Metryka	Średnia (%) + Odchylenie standardowe (%)	95% przedział ufności
Dokładność	98.50 ± 0.19	[98.1, 98.9]
Precyzja	98.06 ± 0.23	[98.0, 98.2]
Czułość (Recall)	99.22 ± 0.22	[98.8, 99.4]
miara F1	98.54 ± 0.24	[98.1, 98.9]
ROC-AUC	0.984	0.004
AUC-PR	0.982	0.005
MCC	0.97	0.007

Tabela 7: Wynik wielokrotnej analizy statystycznej. Statystyki odporności dla proponowanej architektury CNN-transformer w 10 eksperymentach, obejmujące średnią, odchylenie standardowe, 95% przedział ufności oraz istotność dla różnych miar wydajności.

Metryka	Wartość
Dokładność	98.50%
Precyzja	98.06%
Czułość	99.02%
Swoistość	97.96%
Wskaźnik F1	98.54%
MCC	0.97
ROC-AUC	0.994
PR-AUC	0.982

Tabela 8: Końcowy zbiór testowy macierzy błędów. Macierz błędów zbioru testowego dla proponowanej architektury, przedstawiająca klasyfikację stanów normalnych i nieprawidłowych maszyn, na podstawie której wyznaczono metryki oceny.

Metryka	Wdrożenie w chmurze	Wdrożenie krawędziowe
Opóźnienie wnioskowania (ms)	85.6	18.7
Przepustowość (próbki/s)	22	53
Wykorzystanie sieci (MB/min)	120	18
Energia na jedną prognozę (J)	0.52	0.17
Możliwość analizy w czasie rzeczywistym	Umiarkowany	Wysoki

Tabela 9: Wynik opóźnienia wnioskowania. Wydajność opóźnień wdrożenia krawędziowego frameworka CPHS z obsługą wyjaśnialnej sztucznej inteligencji (Explainable AI), obejmująca czas przetwarzania, przepustowość, zużycie pamięci oraz inne charakterystyki czasu rzeczywistego.

Metryka	CPS w chmurze	Proponowany system CPHS z obsługą krawędziową (Edge-enabled)	Udoskonalenie
Przesył danych na godzinę	100%	35%	Redukcja o 65%
Opóźnienia w komunikacji	75 ms	20 ms	Redukcja o 73,3%
Zużycie energii	100%	68%	Redukcja o 32%
Szacowana emisja dwutlenku węgla	100%	70%	Redukcja o 30%

Tabela 10: Ocena zrównoważenia CPHS obsługującego krawędź. Pomiary narzutu komunikacyjnego, zużycia energii, wykorzystania zasobów i opóźnień są wykorzystywane do oceny zrównoważenia CPHS obsługującego krawędź.

Wariant modelu	Dokładność (%)	Precyzja (%)	Czułość (%)	Wynik F1 (%)
Tylko CNN	93.8	92.5	94.2	93.3
Tylko Transformer	92.6	91.2	93.5	92.3
CNN + Transformer	98.5	98.06	99.02	98.54

Tabela 11: Wynik badania ablacyjnego. Wynik badania ablacyjnego podkreślający wpływ modułów CNN, Transformer i SHAP na wydajność proponowanego modelu.

Dyskusja

Wyniki eksperymentalne wykazują, że proponowana architektura CNN-transformer przewyższa poszczególne algorytmy dzięki efektywnej integracji uczenia cech przestrzennych i czasowych. Zgodnie z badaniem ablacyjnym, choć sieć CNN wyodrębnia dyskryminacyjne cechy oparte na częstotliwości ze spektrogramów, enkoder transformera poprawia wydajność modelu poprzez przechwytywanie długodystansowych zależności czasowych w sygnałach akustycznych. Co więcej, macierz pomyłek wykazuje bardzo niewielką liczbę wyników fałszywie negatywnych, co oznacza, że proponowany model potrafi skutecznie identyfikować anomalie maszyn. Taka architektura doprowadziła do poprawy wyników klasyfikacji, przy dokładności wynoszącej 98.5% i czułości na poziomie 99.02%. Wynik ten jest kluczowy w przemysłowych systemach wykrywania usterek, ponieważ model nie powinien pominąć żadnej uszkodzonej maszyny. Wyniki eksperymentalne wykazały, że proponowany framework CNN–Transformer z obsługą XAI skutecznie łączy wysoką dokładność wykrywania anomalii, interpretowalność oraz implementację krawędziową w czasie rzeczywistym. Połączenie dwóch modułów umożliwia jednoczesną ekstrakcję cech przestrzennych i czasowych z danych akustycznych, podczas gdy wyjaśnienia SHAP zwiększają wyjaśnialność i niezawodność. Wyniki te są zgodne z zasadami Przemysłu 5.0, które kładą nacisk na podejmowanie decyzji zorientowane na człowieka, zrównoważony rozwój oraz synergię między domeną cybernetyczną a fizyczną. Niemniej jednak, wymagana jest bardziej szczegółowa ocena z wykorzystaniem innych zestawów danych przemysłowych oraz praktyczne wdrożenie, aby oszacować zdolność do generalizacji proponowanego podejścia.

Wdrożenie metody SHAP w celu zapewnienia wyjaśnialności nie tylko poprawia wydajność systemu, ale także znacząco zwiększa zrozumienie podstawowej logiki modelu. Koncentruje się ona szczególnie na pasmach czasowo-częstotliwościowych, które są istotne dla podejmowanych decyzji. Jest to kluczowe w scenariuszach Przemysłu 5.0, w których ludzie i systemy AI muszą darzyć się wzajemnym zaufaniem. Z map ciepła SHAP wynika jednoznacznie, że model zidentyfikował określone pasma częstotliwości powiązane z usterkami, zapewniając tym samym zgodność z rzeczywistością. Nowatorstwo niniejszego badania nie opiera się jedynie na zastosowaniu sieci CNN-transformer lub samej metody SHAP, z których obie były wspomniane w istniejącej literaturze naukowej. Wynika ono raczej z ich zintegrowanego zastosowania w strukturze cyberfizycznej współpracy Przemysłu 5.0, dzięki czemu jednocześnie rozwiązują one problemy związane z wyjaśnialnością, zrównoważonym rozwojem, inteligencją brzegową oraz wsparciem decyzji zorientowanym na człowieka. Chociaż proponowana struktura czerpie z idei Przemysłu 5.0, takich jak współpraca zorientowana na człowieka, wyjaśnialność, odporność i zrównoważone przetwarzanie brzegowe, obecne badanie ocenia jej wydajność techniczną wyłącznie pod kątem dokładności detekcji anomalii, opóźnienia, zużycia energii i interpretowalności. Bezpośrednia ocena aspektów zorientowanych na człowieka, takich jak zaufanie operatora, obciążenie poznawcze, jakość decyzji i akceptacja, wykraczała poza zakres obecnego projektu badawczego. Przyszłe badania będą obejmować eksperymenty z udziałem człowieka w pętli (human-in-the-loop), aby zmierzyć skuteczność wspólnego podejmowania decyzji w proponowanej strukturze. Z punktu widzenia teoretycznego badanie to wnosi cenny wkład w rozwój hybrydowych modeli głębokiego uczenia, wykazując skuteczność łączenia splotowych sieci neuronowych i struktur Transformer w przetwarzaniu przemysłowych danych czasowo-przestrzennych. W rzeczywistości praca ta ulepsza podejścia CPS i CPHS poprzez implementację koncepcji wyjaśnialnej AI w całym procesie podejmowania decyzji. Co więcej, zastosowanie techniki SHAP jako narzędzia do pomiaru wkładu różnych cech czasowo-częstotliwościowych dostarcza dowodów na teoretyczne podstawy systemów opartych na wyjaśnialnej AI. Ogólnie rzecz biorąc, takie podejście toruje drogę do nowego paradygmatu, w którym modele głębokiego uczenia stają się nie tylko bardziej dokładne, ale mogą być również interpretowane przez ludzi, co jest zgodne z ideą Przemysłu 5.0.

W ujęciu praktycznym proponowany system stanowi doskonałe rozwiązanie do przemysłowego wykrywania anomalii w czasie rzeczywistym oraz konserwacji predykcyjnej. Dzięki zastosowaniu architektur CPHS na brzegu sieci (edge computing), system umożliwia terminowe przetwarzanie sygnałów akustycznych i jest odpowiedni do wdrożenia w inteligentnych zakładach produkcyjnych. Wysoki poziom czułości (99,02%) zmniejsza prawdopodobieństwo pominięcia usterek, zwiększając tym samym bezpieczeństwo operacyjne i zapobiegając nieoczekiwanym awariom maszyn. Ponadto wykorzystanie objaśnień opartych na metodzie SHAP pozwala ludziom zrozumieć wyniki modelu, co jest szczególnie istotne w sytuacjach krytycznych, w których konieczny jest udział człowieka w pętli decyzyjnej. Wyniki z wdrożenia eksperymentalnego wyraźnie wykazują przewagę obliczeń krawędziowych nad tradycyjnymi obliczeniami w chmurze. Wynika to z faktu, że wnioskowanie wykonywane na brzegu sieci minimalizuje opóźnienia i poprawia wydajność dzięki wyższej przepustowości. Dodatkowo ograniczenie zużycia energii na jedną predykcję pomoże w osiągnięciu celów zrównoważonej produkcji zgodnie ze standardami Industry 5.0. Mimo tych zachęcających wyników, opisane podejście posiada jednak kilka ograniczeń. Po pierwsze, framework został zwalidowany głównie na zbiorze danych MIMII; choć jest on dość obszerny, może nie obejmować wszystkich możliwych scenariuszy, jakie mogą wystąpić w rzeczywistym środowisku przemysłowym i w przypadku różnych rodzajów maszyn. Drugim ograniczeniem jest fakt, że zastosowanie SHAP w celu zapewnienia wyjaśnialności zwiększa złożoność obliczeniową, co może być problematyczne podczas wdrażania frameworka w środowiskach krawędziowych o bardzo ograniczonych zasobach. Wreszcie, obecny model ogranicza się wyłącznie do sygnałów akustycznych, podczas gdy systemy przemysłowe wymagają przetwarzania multimodalnego, obejmującego na przykład wibracje i temperaturę.

Mimo że wykorzystanie zbioru danych MIMII zapewnia rzeczywiste scenariusze awarii w akustyce przemysłowej, walidacja na innych zbiorach referencyjnych, takich jak ToyADMOS, dane DCASE do wykrywania anomalii przemysłowych, dane łożysk IMS oraz dane o uszkodzeniach łożysk CWRU, może dodatkowo poprawić zdolność do generalizacji proponowanego frameworka. W przyszłych pracach planujemy przeprowadzić walidacje międzydomenowe w odniesieniu do typów maszyn, metod pomiarowych i warunków produkcyjnych, aby zapewnić generalizację frameworka współpracy cyber-fizycznej opartej na wyjaśnialnej sztucznej inteligencji (Explainable AI). Innym ograniczeniem obecnych badań jest brak eksperymentów porównawczych z niedawno opracowanymi systemami wykrywania anomalii akustycznych, takimi jak Vision Transformers, Audio Spectrogram Transformers, Conformers oraz nowatorskie techniki uczenia samosuperwizowanego. Chociaż model CNN-transformer wykazał silne wyniki i interpretowalność, zostaną przeprowadzone dalsze badania w celu porównania go z tymi zaawansowanymi technologiami. Kolejną wadą obecnych badań jest to, że ocena cech Przemysłu 5.0, takich jak odporność i zrównoważony rozwój, została przeprowadzona pośrednio za pomocą metryk na poziomie systemu, w tym opóźnień wnioskowania i zużycia energii. W obecnych badaniach nie przeprowadzono bardziej szczegółowej oceny odporności na awarie komunikacji i czujników oraz zrównoważonego rozwoju pod kątem śladu węglowego i wykorzystania zasobów. Czynniki te powinny zostać ocenione w przyszłych badaniach.

Należy jednak zauważyć, że opisany w niniejszych badaniach paradygmat współpracy z człowiekiem w pętli (human-in-the-loop) ma charakter teoretyczny i ma na celu zilustrowanie wykorzystania wyników wyjaśnialnej sztucznej inteligencji (XAI) do podejmowania decyzji w cyberfizycznych systemach Przemysłu 5.0 wspieranych przez operatora. Walidacja eksperymentalna z udziałem operatorów, analiza użyteczności, czasu reakcji oraz ocena ekspercka wykraczają poza zakres niniejszych badań. W pracy tej przedstawiono nowy model współpracy cyberfizycznej oparty na wyjaśnialnej sztucznej inteligencji dla zrównoważonej produkcji w środowiskach Przemysłu 5.0. W opracowanym systemie zastosowano hybrydową architekturę CNN-transformer, aby efektywnie uczyć się właściwości przestrzennych i czasowych spektrogramów akustycznych, co umożliwia wykrywanie anomalii w maszynach przemysłowych. Proponowany model działa w czterech krokach: wstępne przetwarzanie danych akustycznych na spektrogramy, uczenie właściwości przestrzennych za pomocą CNN, uczenie zależności czasowych za pomocą koderów transformer oraz klasyfikacja. Wyniki uzyskane za pomocą proponowanej metody na zbiorze danych MIMII wykazują, że sugerowany model przewyższył modele bazowe, osiągając dokładność 98,5% i czułość (recall) na poziomie 99,02%. Ponadto włączenie wyjaśnialności zwiększa przejrzystość systemu. Chociaż zaproponowane ramy współpracy cyberfizycznej wspomaganej przez wyjaśnialną sztuczną inteligencję sprawdziły się na benchmarkowym zbiorze danych MIMII, badania są obecnie ograniczone do walidacji eksperymentalnej. Ramy te wymagają wciąż oceny w warunkach wielkoskalowej produkcji w środowisku przemysłowym, w którym maszyny są heterogeniczne, warunki zmienne, a wdrożenie ma charakter długoterminowy. Dodatkowo w przyszłych pracach powinny zostać uwzględnione porównania z architekturami takimi jak ViT, AST, Conformer oraz modelami uczenia samosuperwizowanego. Innymi słowy, choć ramy te wykazują, że integracja wyjaśnialnej sztucznej inteligencji, współpracy cyberfizycznej i współpracy z człowiekiem w pętli jest możliwa, przed ich wdrożeniem na skalę przemysłową konieczna jest dalsza walidacja. Przyszłe prace będą dalej badać zaproponowane ramy na różnych benchmarkowych zbiorach danych do diagnozowania usterek w przemyśle oraz w produkcji międzydomenowej, wykazując ich odporność, przenaszalność i przydatność w ekosystemach zrównoważonej produkcji. Przyszła walidacja obejmie eksperymenty skoncentrowane na operatorze, benchmark odporności w zakłócających warunkach przemysłowych oraz ocenę cyklu życia związaną ze zrównoważonym rozwojem.

W celu zapewnienia powtarzalności, niniejsza praca zawiera szczegółowe informacje na temat wstępnego przetwarzania danych, strategii podziału, ustawień generowania spektrogramów, architektury modelu CNN-transformer, optymalizatora, hiperparametrów oraz metryk służących do pomiaru wydajności modelu. Przed rozpoczęciem eksperymentów ustawiono ziarna generatora liczb pseudolosowych. Aby zapewnić replikowalność, eksperymenty przeprowadzono na publicznie dostępnym zbiorze danych MIMII (Malfunctioning Industrial Machine Investigation and Inspection). Link do zbioru danych jest następujący: DOI: 10.5281/zenodo.3384388. Kod implementacyjny towarzyszący tej pracy został udostępniony publicznie w repozytorium Zenodo: https://zenodo.org/records/21405292. Sygnały audio zostały próbkowane z częstotliwością 16 kHz i przekształcone w log-spektrogramy Mel przy użyciu STFT z rozmiarem okna 1024, długością przesunięcia (hop length) 512 i rozmiarem FFT 1024. Zaproponowana architektura CNN-transformer składała się z czterech warstw konwolucyjnych (z 32, 64, 128 i 256 filtrami), po których następował koder transformer z czterema warstwami, ośmioma głowicami uwagi, wymiarem zanurzenia (embedding dimension) 256 i wymiarem sieci przejścia w przód (feed-forward dimension) 1024. Proces uczenia obejmował optymalizację Adam z szybkością uczenia 0.0001, rozmiarem partii (batch size) 32 oraz 100 epokami. Algorytmy 1 i 2 opisują etap wstępnego przetwarzania danych oraz procedurę wyjaśnialności. Przedstawiono pełny algorytm, w tym szczegóły implementacji.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Skala wsparcia społecznego	Opublikowana skala akademicka; opracowana pierwotnie przez Parka, a następnie zrewidowana i uzupełniona przez Kima	wersja 25-elementowa; 5-stopniowa skala Likerta; brak komercyjnego numeru katalogowego	Pomiar postrzeganego wsparcia społecznego wśród przyszłych nauczycieli edukacji wczesnoszkolnej w zakresie wsparcia emocjonalnego, informacyjnego, materialnego oraz oceniającego. Ogólny współczynnik Cronbacha’s alpha = 0,96.
Skala poczucia własnej skuteczności nauczycieli	Opublikowana skala akademicka; opracowana pierwotnie przez Enochsa i Riggsa; wersja badania zaadaptowana dla języka chińskiego	wersja 25-elementowa; 5-stopniowa skala odpowiedzi Likerta; brak komercyjnego numeru katalogowego	Ocenia skuteczność nauczycieli w chińskim kontekście kształcenia przyszłych nauczycieli edukacji przedszkolnej w zakresie ogólnego poczucia własnej skuteczności nauczyciela oraz osobistego poczucia własnej skuteczności nauczyciela. Ogólny współczynnik Cronbacha’s alpha = 0,96.
Skala Interakcji Nauczyciel-Dziecko	Opublikowana skala akademicka; opracowana przez Lee i zweryfikowana przez panel ekspertów badania pod kątem zastosowania w Chinach	wersja 30-elementowa; 5-stopniowa skala Likerta; brak numeru katalogowego producenta	Ocenia samo-sprawozdawane kompetencje w interakcjach nauczyciel-dziecko, a nie obserwowaną jakość interakcji w klasie. Obejmuje interakcję emocjonalną, interakcję werbalną oraz interakcję behawioralną; ogólny współczynnik Cronbacha’s alpha = 0,94.
Kwestionariusz informacji demograficznych	Zespół badawczy, współpraca Sichuan University of Arts and Science / Daegu University	Sekcja niestandardowego kwestionariusza badania; brak komercyjnego numeru katalogowego	Zebrano charakterystykę uczestników, obejmującą płeć, wykształcenie, kategorię zawodową, miejsce stażu, czas trwania stażu, rodzaj stażu oraz typ przedszkola.
Informacje dla uczestnika i skrypt świadomej zgody	Zespół badawczy; zatwierdzony przez Komitet Etyki Badań Uniwersytetu w Daegu	Numer zgody komisji etycznej: XXX; lokalny rejestr zatwierdzeń do weryfikacji	Stosowane przed rozprowadzeniem kwestionariusza w celu wyjaśnienia celu badania oraz treści ankiety i uzyskania świadomej zgody od uczestników będących studentami kierunków przygotowujących do zawodu nauczyciela edukacji wczesnoszkolnej.
Pakiet kwestionariusza badania pilotażowego	Zespół badawczy i panel ekspertów	Wersja pilotażowa użyta 1 czerwca–5, 2024; brak komercyjnego numeru katalogowego	Przeprowadzono badanie pilotażowe w celu oceny jasności i odpowiedniości Skali Postrzegania Zawodu (Professional Perceptions Scale), Skali Wsparcia Społecznego (Social Support Scale), Skali Poczucia Własnej Skuteczności Nauczyciela (Teacher Self-Efficacy Scale), Skali Interakcji Nauczyciel-Dziecko (Teacher-Child Interaction Scale) oraz pozycji demograficznych na grupie 50 studentów kierunku pedagogika wczesnoszkolna i przedszkolna.
Procedura przeglądu przez panel ekspertów	Zespół badawczy; panel ekspertów składający się z dwóch profesorów edukacji wczesnodziecięcej, jednego dyrektora przedszkola, trzech opiekunów staży oraz zespołu badawczego	Przegląd treści oparty na konsensusie; brak komercyjnego numeru modelu	Służy do weryfikacji pozycji skali pod kątem wieloznaczności, stopnia dopasowania, klarowności semantycznej, odpowiedniości rozwojowej oraz relewantności kulturowej przed przeprowadzeniem formalnego badania.
Drukowane formularze kwestionariuszy do wypełniania na miejscu	Zespół badawczy; lokalne instytucjonalne materiały ankietowe	Papierowe kwestionariusze ankiet; brak komercyjnego numeru katalogowego	Wykorzystano do przeprowadzania ankiet w miejscu badań. W końcowej próbie uzyskano 336 prawidłowo wypełnionych ankiet stacjonarnych przed ich połączeniem z ankietami online.
WeChat	Tencent	aplikacja mobilna WeChat; wersję należy zweryfikować w zapisach urządzenia/aplikacji z czerwca–Lipiec 2024	Wykorzystano jako kanał dystrybucji online do przeprowadzenia ankiety; za pośrednictwem drogi online/WeChat zebrano 27 wypełnionych kwestionariuszy online.
Procedura rekrutacji telefonicznej i osobistej	Zespół badawczy	Znormalizowana procedura rekrutacji; brak komercyjnego numeru katalogowego	Służy do kontaktowania się z instytucjami/uczestnikami, wyjaśnienia celu badania oraz treści ankiety, a także do uzyskania świadomej zgody przed przeprowadzeniem kwestionariusza.
SPSS Statistics	IBM	Wersja 27.0	Stosowane do statystyki opisowej, współczynników korelacji Pearsona, alfy Cronbacha’analiza rzetelności alfa Cronbacha, sprawdzanie normalności rozkładu za pomocą skośności i kurtozy oraz test Harmana’jednoczynnikowy test obciążenia metodą wspólną.
SPSS Amos	IBM	Wersja 26.0	Stosowane do analizy czynnikowej potwierdzającej, modelowania równań strukturalnych, testowania niezmienniczości pomiarowej w wielu grupach, testowania efektów pośrednich metodą bootstrap oraz porównywania alternatywnych modeli.
Microsoft Excel	Microsoft	Microsoft 365 Excel lub lokalnie zainstalowana wersja programu Excel; przed przesłaniem należy zweryfikować dokładną wersję lokalną (build)	Zalecane/stosowane jako środowisko robocze do organizacji zakodowanych danych z ankiet, słownika danych, tabel uzupełniających oraz tabeli materiałów JoVE. Dokładna wersja lokalna powinna zostać zweryfikowana przez autorów.
Kryteria indeksów dopasowania w modelowaniu równań strukturalnych	Opublikowane wytyczne metodologiczne; w manuskrypcie przywołano referencje do Schreiber i wsp. oraz Kline	Brak komercyjnego numeru katalogowego; kryteria zastosowane w planie analizy statystycznej	Definiuje i raportuje wskaźniki dopasowania modelu, w tym statystykę chi-kwadrat, chi-kwadrat podzielony przez stopnie swobody, indeks Tuckera-Lewisa, wskaźnik porównawczego dopasowania (CFI), skorygowany wskaźnik dobroci dopasowania (AGFI), przyrostowy wskaźnik dopasowania (IFI), pierwiastkowy średni błąd kwadratowy przybliżenia (RMSEA) oraz standaryzowany pierwiastkowy średni błąd kwadratowy residuum (SRMR).
Procedura testowania mediacji metodą bootstrapową	SPSS Amos / plan analizy statystycznej zespołu badawczego	5 000 próbek bootstrapowych; 95% przedziały ufności skorygowane o obciążenie	Wykorzystano do badania powiązań pośrednich poprzez poczucie skuteczności nauczycieli. Efekty pośrednie uznano za istotne, gdy 95-procentowy przedział ufności skorygowany o obciążenie nie obejmował zera.
Procedura badania niezmienniczości pomiaru	SPSS Amos / plan analizy statystycznej zespołu badawczego	Wielogrupowa analiza czynnikowa potwierdzająca; ΔCFI &< 0,010 oraz ΔRMSEA (pierwiastkowy średni błąd kwadratowy przybliżenia) &kryteria < 0,015	Wykorzystano do oceny niezmienności konfiguracyjnej, metrycznej i skalarniej w zależności od płci, rodzaju programu, czasu trwania stażu oraz instytucji przed interpretacją połączonych szacunków SEM.