La méthodologie proposée utilise une approche systémique de type système cyber-physique humain (CPHS) propre à l'Industrie 5.0, combinant un apprentissage profond explicatif et un cadre de collaboration cyber-physique rendu possible par l'informatique en périphérie, afin de soutenir les processus de fabrication durables. Premièrement, le problème est abordé en reconnaissant certaines limites des solutions CPHS actuelles, telles qu'un manque d'intelligence alimentée par l'intelligence artificielle, d'explicabilité et de collaboration centrée sur l'humain. Pour relever ces défis, la solution proposée s'appuie sur le jeu de données MIMII pour la surveillance de l'état des machines industrielles à l'aide du traitement des signaux acoustiques.
Le cadre proposé commence par l'entrée des spectrogrammes générés dans un modèle de CNN qui extrait des caractéristiques spatiales en reconnaissant des motifs fréquentiels significatifs associés à différents états de la machine. Les caractéristiques spatiales extraites seront converties en séquences puis transmises à un module encodeur de type transformeur afin de capturer les dépendances temporelles par auto-attention. La représentation des caractéristiques transformée est ensuite transmise à un module classificateur entièrement connecté pour classer les états de la machine comme normaux ou anormaux. De plus, afin d'assurer la transparence et de faciliter une prise de décision centrée sur l'humain, l'approche explicative SHAP est utilisée pour expliquer les prédictions en sélectionnant les régions temps-fréquence significatives dans la sortie du modèle. Le modèle conçu sera implémenté dans un environnement CPS doté de capacités de calcul en périphérie, permettant une inférence en temps réel avec une faible latence computationnelle et une consommation d'énergie réduite. En outre, un schéma incluant l'humain dans la boucle sera intégré afin de permettre aux opérateurs humains de valider les résultats à l'aide des informations explicatives. Les performances sont validées à l'aide de l'exactitude, de la précision, du rappel et du score F1, ainsi que d'autres métriques au niveau du système telles que la latence et l'efficacité énergétique.
Le cadre proposé est un mécanisme CPHS piloté par l'IA explicable (XAI) pour une fabrication durable dans le contexte de l'industrie 5.0, et son flux de travail est présenté sous forme de pipeline allant de l'acquisition des données à la prise de décision et à l'exécution intelligentes, comme illustré dans la Figure 1. Dans la phase initiale du processus d'acquisition des données, des signaux sonores sont collectés à partir de machines dans des industries telles que les moteurs, les pompes et les roulements, à l'aide de jeux de données incluant MIMII. Les signaux de données ainsi obtenus sont transmis à l'étape suivante, appelée prétraitement des données, où ils subissent un filtrage, une normalisation et une segmentation. Les signaux de données segmentés sont finalement convertis en spectrogramme à l'aide de la transformée de Fourier à court terme (STFT) au niveau de la couche de représentation des caractéristiques.
Ensuite, la couche du modèle d'intelligence artificielle utilise les images de spectrogramme pour extraire des caractéristiques au moyen du module CNN, identifiant ainsi les motifs spatiaux et les anomalies. Puis, les caractéristiques extraites sont remodelées et transmises à l'encodeur de transformeur, qui apprend les dépendances temporelles et les relations à longue portée grâce à des mécanismes d'auto-attention. Les vecteurs de caractéristiques obtenus sont classés comme normaux ou anormaux à l’aide de la couche de classification. Afin d’assurer la transparence du processus de prédiction, la couche d’explicabilité utilise SHAP pour mettre en évidence les régions temps-fréquence significatives dans le spectrogramme.
En outre, un processus impliquant l'intervention humaine est mis en œuvre, dans lequel des opérateurs interprètent les résultats du modèle et fournissent un retour. Dans la couche de déploiement, le modèle s'exécute sur une infrastructure CPHS basée sur l'informatique en périphérie, garantissant une inférence rapide et une faible consommation d'énergie, tout en pouvant éventuellement interagir avec des systèmes cloud pour répondre aux besoins de stockage ou d'analyses avancées. Dans son ensemble, le cadre garantit une détection précise des défauts, une explicabilité et un fonctionnement en temps réel efficace, conformément aux exigences de l'industrie 5.0.
Définition du problème et analyse des exigences
Les systèmes cyber-physiques humains (CPHS) dans les environnements de l'industrie 5.0 promettent intelligence, durabilité et centrage sur l'humain. Cependant, les cadres contemporains de conception des CPHS souffrent d'un manque de fonctionnalités avancées activées par l'intelligence artificielle, d'explicabilité et d'un soutien adéquat à la collaboration homme-machine. En effet, les CPHS conventionnels reposent sur des modèles basés sur des règles ou non interprétables, ce qui entrave leur adaptation aux conditions industrielles changeantes et limite la confiance des opérateurs dans l'automatisation. De plus, les CPHS conventionnels ne parviennent pas à analyser efficacement des données hautement complexes, telles que les signaux acoustiques industriels contenant à la fois des composantes spatiales (c'est-à-dire la fréquence) et temporelles, qui sont essentielles pour la maintenance prédictive. Il est donc nécessaire de concevoir un cadre capable de détecter les anomalies des machines avec une grande précision, de fournir des explications et de fonctionner en périphérie (edge), permettant ainsi les systèmes cyber-physiques (CPS).
Ici, x(t) est le signal acoustique d'entrée, S(f,t) est la représentation spectrogramme du signal,
est l'étiquette et θ est l'ensemble des paramètres de l'architecture CNN-Transformer. Les symboles utilisés dans les équations suivantes sont introduits juste après leur première apparition afin de préserver la rigueur mathématique.
Du point de vue mathématique, la tâche peut être formalisée comme un problème d'apprentissage supervisé. Soit x(t) le signal acoustique industriel. La TFD de x(t) est calculée selon la formule suivante :
(1)
où ω(.) est la fonction fenêtre et f est la fréquence. Le spectrogramme généré
sert d'entrée à l'algorithme d'apprentissage profond. L'objectif est d'entraîner la fonction de correspondance
(2)
où
est l'étiquette de classe (normale ou anormale), et où S est l'entrée spectrogramme, y est l'étiquette de sortie prédite et θ est l'ensemble des paramètres apprenables de l'architecture CNN-Transformer. Le problème d'optimisation est formulé comme la minimisation de la perte de classification :
(3)
sous réserve des contraintes de latence minimale
, d'efficacité énergétique
et d'interprétabilité, où l'explication ∅(SHAP) reflète l'importance des caractéristiques dans le processus de prédiction,
(4)
où
représente la contribution de chaque caractéristique individuelle. Conformément à ce qui précède, les exigences de conception comprennent les éléments suivants : (i) une détection fiable des anomalies basée sur un apprentissage profond hybride, (ii) des sorties interprétables permettant une intervention humaine, et (iii) une mise en œuvre dans un cadre de CPS renforcé par le calcul en périphérie.
Acquisition et prétraitement des données
À cet égard, afin d'évaluer le cadre CPHS proposé basé sur l'intelligence artificielle explicative, le jeu de données MIMII13 a été sélectionné. Ce jeu de données constitue une référence largement utilisée pour la détection d'anomalies dans les machines industrielles à l'aide de signaux acoustiques. Cette base de données contient des enregistrements sonores de diverses machines, telles que des rails coulissants, des ventilateurs, des pompes et des vannes, fonctionnant dans des conditions normales ainsi que défectueuses. Pour chaque machine, les enregistrements varient selon différents paramètres et environnements bruités. Cela le rend adapté à l'entraînement et à l'évaluation de modèles dans des conditions industrielles en temps réel.
Alors que le jeu de données MIMII est largement utilisé dans les études de détection d'anomalies non supervisées qui s'appuient uniquement sur des échantillons normaux pendant l'entraînement, il inclut des annotations explicites des états normaux et anormaux des machines. Le problème est formulé comme une tâche de classification binaire supervisée afin d'évaluer la capacité de l'architecture CNN-Transformeur basée sur une IA explicable proposée à distinguer les états sains des états défectueux des machines. Plus précisément, les étiquettes officielles MIMII sont utilisées, attribuant l'étiquette de classe 0 aux échantillons normaux et l'étiquette de classe 1 aux échantillons anormaux.
Tableau 1 présente les détails de la description du jeu de données. Environ 12 000 enregistrements de signaux acoustiques sont pris en compte dans la présente recherche, incluant à la fois des fonctionnements normaux et défectueux des machines. Conformément aux exigences, tous les enregistrements de cette étude ont été capturés à 16 kHz et ont une durée de 10 s. Bien que le jeu de données contienne environ 12 000 enregistrements, un sous-ensemble équilibré en classes de 2 000 enregistrements de test a été sélectionné uniquement pour visualiser la matrice de confusion. Toutes les métriques de performance indiquées ont été calculées à l’aide du jeu de test complet (environ 2 400 enregistrements). En outre, les échantillons d’entraînement et de test sont séparés selon un ratio de 80:20 pour l’apprentissage du modèle. Cette base de données convient particulièrement aux applications de l’industrie 5.0, car elle inclut des conditions réelles de bruit ambiant. La répartition des enregistrements utilisée dans cette étude est indiquée dans Tableau 2. À partir de ce jeu de données, environ 12 000 enregistrements couvrant tous les types de machines et les conditions de rapport signal-sur-bruit (SNR) ont été sélectionnés pour des expériences de classification binaire supervisée, en utilisant une répartition entraînement/test de 80:20, illustrant les types de machines industrielles, les identifiants de machine correspondants, les nombres totaux d’enregistrements acoustiques normaux et anormaux, les conditions de SNR, ainsi que la répartition entraînement/test utilisée pour la classification binaire supervisée.
L'expérience a été réalisée à l'aide du jeu de données MIMII (Malfunctioning Industrial Machine Investigation and Inspection) version 1.0, qui comprend quatre types de machines industrielles : ventilateurs, pompes, vannes et rails coulissants. Les données ont été recueillies à partir de différents identifiants de machines (ID00–ID06, selon le type de machine) et de différentes conditions. La base de données MIMII comprend des données acquises à des rapports signal-sur-bruit (SNR) de −6 dB, 0 dB et +6 dB. Les données normales correspondent à l'état sain de la machine industrielle, tandis que les données anormales correspondent à un état anormal. Les classes ont été étiquetées selon l'annotation de la base de données, les données normales étant étiquetées classe 0 et les données anormales classe 1.
Un processus d'évaluation équitable exigeait que la répartition entre les ensembles d'apprentissage et de test soit effectuée au niveau des enregistrements audio d'origine, avant toute division, augmentation ou création de spectrogrammes. En conséquence, des segments audio provenant du même enregistrement ne pouvaient pas apparaître à la fois dans les ensembles d'apprentissage et de test. Pour l'expérience d'évaluation, des enregistrements présentant différents rapports signal-sur-bruit (−6 dB, 0 dB et +6 dB) ont été utilisés, offrant ainsi la possibilité d'évaluer le cadre proposé dans diverses conditions industrielles.
Afin d'éviter les fuites de données, la séparation entre ensemble d'apprentissage et de test a été effectuée en utilisant le fichier audio d'origine comme base, avant toute segmentation ou génération de spectrogramme. Les segments provenant de l'enregistrement audio de 10 s ont été attribués exclusivement soit à l'ensemble d'apprentissage, soit à l'ensemble de test, sans qu'aucun segment ne soit présent dans les deux ensembles. Par la suite, les spectrogrammes ont été générés et augmentés séparément pour chaque jeu de données. Ainsi, le problème de fuite de données est évité, empêchant ainsi une évaluation trop optimiste des performances.
Prétraitement du jeu de données
Les signaux acoustiques bruts provenant du jeu de données MIMII sont ensuite traités afin d'améliorer la qualité du signal et de permettre une extraction efficace des caractéristiques. Le signal d'entrée est désigné par x(t), où t représente le temps. La première étape consiste en un filtrage du bruit, par lequel les bruits de fond sont éliminés à l'aide d'une fonction de filtrage telle que :
(5)
où ∗ représente le processus de convolution et h(t) est la réponse impulsionnelle du filtre. Ce processus améliore la clarté du signal acoustique et minimise les effets du bruit, souvent prédominant dans les environnements industriels. La normalisation du signal est utilisée afin de garantir que les amplitudes de tous les signaux audio soient comparables avant leur introduction dans le modèle d'apprentissage profond. Le signal normalisé, noté xn(t), est calculé comme suit :
(6)
où μ et σ sont respectivement la valeur moyenne et l'écart type du signal d'entrée. Tous les signaux d'entrée sont garantis de moyennes nulles et de variances unitaires grâce à cette procédure. Enfin, pour le traitement, le signal d'entrée normalisé est divisé en plusieurs petits segments. Étant donné que la durée du signal complet est T, il est décomposé en N trames superposées, chacune ayant une longueur L, à l'aide d'une fonction fenêtrage glissant :
(7)
où H est la taille du saut. Le spectrogramme peut être défini par la formule suivante :
(8)
Les spectrogrammes obtenus de cette manière sont intégrés dans le cadre basé sur un CNN et un transformeur afin d'extraire des caractéristiques spatiales et temporelles permettant une détection efficace des anomalies. Figure 2 illustre le pipeline de prétraitement.
Figure 2 illustre un pipeline de prétraitement vertical qui peut être utilisé pour des données acoustiques acquises dans un contexte industriel. Tout d'abord, les signaux audio bruts sont extraits du jeu de données MIMII et transmis à une étape de suppression du bruit afin de réduire les interférences. Ensuite, le signal est normalisé pour éliminer les incohérences d'amplitude, garantissant ainsi une uniformité du signal. Le signal est ensuite divisé en segments plus petits et partiellement superposés. Après la segmentation, des transformations STFT sont appliquées aux données pour convertir les signaux temporels en signaux temps-fréquence. Puis, le spectre de puissance est calculé dans le cadre de la génération du spectrogramme du signal. Les spectrogrammes prétraités constituent ainsi la sortie produite par ce processus et seront utilisés dans le modèle CNN-transformeur proposé.
Génération du spectrogramme
Après la normalisation et la segmentation des données, les signaux acoustiques sont convertis en une représentation temps-fréquence à l'aide de la transformation de Fourier à court terme (STFT). Le spectrogramme obtenu fournit une représentation visuelle des variations de la composition fréquentielle au cours de la période d'analyse. Dans les environnements industriels, les pannes de machines se manifestent généralement sous forme de motifs fréquentiels, ce qui rend les spectrogrammes plus utiles pour détecter les anomalies des machines.
Les données traitées résultantes sont donc converties en images de spectrogrammes afin de distinguer les cas normaux des cas anormaux au sein des machines. Les données audio seront converties en plusieurs spectrogrammes afin de permettre au modèle d'apprentissage d'analyser les composantes fréquentielles locales et les variations temporelles du processus de la machine. Ces images sont utilisées comme données d'entrée pour le modèle CNN-transformeur, où le CNN gère les motifs spatiaux (fréquentiels) tandis que les transformeurs gèrent les relations temporelles.
Algorithme 1 : Génération de spectrogrammes à partir de signaux acoustiques
Entrée : signal audio brut x(t)
Résultat : Spectrogramme S(t, f)
Étape 1 : Charger le signal audio x(t)
Étape 2 : Appliquer un filtrage du bruit
Étape 3 : Normaliser le signal xn(t)
Étape 4 : Segmenter le signal en trames :
pour k = 1 à N, faire

fin pour
Étape 5 : Appliquer une fenêtre temporelle w(t) à chaque segment
Étape 6 : Calculer la TFD :
(9)
Étape 7 : Calculer l'amplitude :
(10)
Étape 8 : Enregistrer le spectrogramme S(t, f)
Étape 9 : Retourner le jeu de données du spectrogramme
Le processus de génération des spectrogrammes commence par l'acquisition du signal audio d'origine, suivi d'étapes de prétraitement telles que la réduction du bruit et la normalisation du signal afin de garantir l'intégrité et la qualité du signal. Ensuite, l'audio normalisé est divisé en plusieurs fenêtres superposées afin de capturer les caractéristiques temporelles des périodes longues et courtes. Pour éviter les fuites spectrales, chaque segment est multiplié par une fonction fenêtrée avant d'être soumis à la transformation de Fourier à court terme. Par la suite, le signal transformé est représenté comme une fonction à valeurs complexes dans le domaine fréquentiel, et ses amplitudes sont élevées au carré. Ainsi, l'énergie des fréquences au cours du temps donné est représentée par les spectrogrammes. Enfin, ceux-ci sont stockés sous forme de données semblables à des images et fournis au réseau neuronal pour l'entraînement.
Extraction de caractéristiques spatiales à l'aide de CNN
Après la création des spectrogrammes, les images temps-fréquence obtenues sont utilisées comme entrées et fournies à un réseau neuronal convolutif (CNN). En considérant le spectrogramme d'entrée comme
, où H représente le domaine fréquentiel et W le domaine temporel. L'objectif de l'utilisation du CNN ici est d'apprendre des caractéristiques spatiales discriminantes à partir du spectrogramme d'entrée. Ces caractéristiques spatiales discriminantes permettront de distinguer un fonctionnement normal d'un fonctionnement anormal d'une machine dans un environnement industriel.
Une opération de base effectuée par le réseau neuronal convolutif (CNN) est la convolution. La convolution avec un filtre donné
est donnée par :
(11)
L'opération décrite ci-dessus permet au réseau de neurones d'identifier des caractéristiques spatiales locales, telles que les contours, les fréquences et le contenu harmonique, dans le spectrogramme. Cela s'effectue grâce à plusieurs opérations de filtrage générant diverses représentations de caractéristiques, produisant ainsi plusieurs cartes de caractéristiques. La convolution est suivie d'une fonction d'activation non linéaire, comme illustré ci-dessous :
(12)
Cette non-linéarité permet au réseau de capturer et de représenter des relations complexes entre les variables. L'étape suivante dans un réseau neuronal convolutif implique l'application d'opérations de regroupement. La technique courante du regroupement maximal est exprimée mathématiquement comme suit :
(13)
où Ω désigne la fenêtre de regroupement. Le regroupement permet d'atteindre une invariance par translation et de conserver uniquement les informations pertinentes tout en éliminant les redondances. À partir de variables de bas niveau telles que les fréquences jusqu'au comportement complexe de la machine, des caractéristiques de niveau supérieur peuvent être extraites de manière hiérarchique à l'aide d'un réseau neuronal convolutif. Par conséquent, les cartes de caractéristiques peuvent être utilisées pour représenter la sortie finale du réseau :
(14)
où représente les paramètres apprenables du CNN. Les cartes de caractéristiques contiennent des informations spatiales riches et sont transformées en séquences afin de servir d'entrées pour l'encodeur de transformeur lors de la phase suivante. Le processus d'extraction des caractéristiques spatiales décrit ci-dessus est essentiel pour permettre au modèle de détecter des anomalies minimes dans les signaux acoustiques industriels.
Figure 3 illustre comment les caractéristiques spatiales sont extraites horizontalement à partir de l'entrée spectrogramme à l'aide d'un modèle de réseau de neurones convolutif (CNN). Le processus commence par le spectrogramme d'entrée, qui encode les propriétés temps-fréquence du signal audio sous une forme picturale. Ce spectrogramme est ensuite transmis à une couche de convolution, dans laquelle plusieurs types de filtres extraient des caractéristiques spatiales telles que les bandes de fréquence, les contours et les textures, produisant ainsi des cartes de caractéristiques. Ensuite, les cartes de caractéristiques extraites passent par une fonction d'activation non linéaire, l'unité linéaire redressée (ReLU), permettant au réseau de neurones de détecter des dépendances dans les données d'entrée. Les cartes de caractéristiques sont ensuite acheminées vers une couche de sous-échantillonnage (pooling), où la taille de la carte est réduite tout en conservant ses caractéristiques les plus importantes. Ce processus, composé de couches de convolution, d'activation et de sous-échantillonnage, se répète plusieurs fois, créant ainsi une hiérarchie de représentation des caractéristiques qui commence par des éléments simples et évolue vers des caractéristiques plus sophistiquées liées aux opérations des machines.
Modélisation temporelle à l'aide d'un encodeur de type transformeur
Une fois les caractéristiques spatiales extraites à l'aide du CNN, l'étape suivante consiste à dériver des cartes de caractéristiques de haut niveau qui capturent les motifs basés sur la fréquence, appris à partir du spectrogramme. Les cartes de caractéristiques obtenues sont ensuite aplaties et remodelées en séquences afin de capturer l'information temporelle présente dans le signal acoustique. En supposant que les cartes de caractéristiques soient représentées par
, où H', W', et C désignent respectivement la hauteur, la largeur et les canaux, la séquence suivante est obtenue :
(15)
où T représente la longueur de la séquence, et d est la dimension des caractéristiques. Le modèle Transformer utilise ensuite cette séquence pour modéliser les dépendances à long terme au moyen d'un mécanisme d'auto-attention. Contrairement aux modèles récurrents classiques, le modèle Transformer traite chaque élément de la séquence en parallèle et utilise des poids d'attention pour déterminer la pertinence relative de chaque élément. Le fonctionnement du mécanisme d'attention repose sur des vecteurs Requête Q, Clé K et Valeur V générés pour chaque entrée xt selon l'équation suivante :
(16)
où WQ, WK, WV sont des poids entraînables. Les similarités entre les éléments sont déterminées par :
(17)
dk est la dimension importante des vecteurs. Cette procédure facilite l'apprentissage par le modèle des dépendances issues d'instants éloignés dans le signal et lui permet de se concentrer uniquement sur les segments temporels pertinents. Afin d'augmenter la capacité d'apprentissage du réseau, une attention multi-tête est utilisée, ce qui désigne le processus par lequel plusieurs têtes d'attention apprennent en parallèle à partir de l'entrée :
(18)
Chaque tête traite des caractéristiques distinctes de la séquence temporelle en entrée. Ceci est suivi de réseaux neuronaux feed-forward et de connexions résiduelles :
(19)
La séquence codée résultante capture les caractéristiques spatiales et temporelles de l'entrée. Cette séquence est transmise à la couche de classification pour détecter les anomalies.
Figure 4 illustre le processus global de modélisation temporelle à l'aide d'un encodeur de type transformeur appliqué aux caractéristiques extraites du CNN. Tout d'abord, les cartes de caractéristiques extraites du CNN sont utilisées ; elles contiennent des informations spatiales provenant du spectrogramme. Ces cartes sont aplaties en une séquence, chaque élément correspondant à un instant donné. Ensuite, la séquence passe par une transformation linéaire qui projette les données en vecteurs d'une dimension spécifique. Comme les modèles de type transformeur ne peuvent pas capturer naturellement les dépendances temporelles, un encodage de position est également ajouté aux vecteurs intégrés afin de préserver la structure temporelle de la séquence. Enfin, la séquence traverse un encodeur de transformeur, composé d'une pile de plusieurs couches, dans lequel un mécanisme d'auto-attention multi-têtes est utilisé pour permettre au modèle d'apprendre les relations entre les instants de la séquence. Un réseau de neurones à propagation avant améliore davantage ces intégrations, tandis que des connexions résiduelles garantissent une propagation efficace des gradients. Ce processus est répété à travers les couches empilées de l'encodeur de transformeur, qui capturent progressivement des interactions temporelles de plus en plus complexes. En fin de compte, les intégrations de la séquence sont combinées en une représentation de longueur fixe par regroupement (par exemple, regroupement par moyenne ou jeton de classification (CLS)), produisant ainsi une représentation globale des caractéristiques temporelles.
Couche de classification
Après l'encodage temporel à l'aide de l'encodeur de transformeur, les sorties seront une séquence de vecteurs encodés, chacun comportant des caractéristiques liées aux aspects spatiaux et temporels du signal d'entrée. La première étape vers la classification à partir des sorties encodées consiste à agréger toutes ces caractéristiques en un seul vecteur. Cela est réalisé soit en appliquant un regroupement par moyenne (mean pooling) à la séquence de vecteurs de caractéristiques, soit en utilisant le « jeton de classification » (classification token). Supposons que la sortie du transformeur soit
, où chaque
. La caractéristique agrégée h est calculée comme suit :
(20)
Ensuite, le vecteur de caractéristiques agrégé h représente l'entrée sous une forme compacte et sert d'entrée au classificateur. La partie classification comprend une ou plusieurs couches denses, qui transforment la représentation apprise en un espace de sortie. Une couche dense implémente une transformation définie comme suit :
(21)
où o est la sortie (logits), b est le vecteur de biais et W est la matrice de poids. Ces derniers représentent les scores de classe sous une forme non normalisée. Pour intégrer une non-linéarité dans le modèle, des fonctions d'activation telles que ReLU sont souvent utilisées. Enfin, une fonction d'activation softmax est appliquée aux logits afin d'obtenir une probabilité pour chaque classe :
(22)
où C représente le nombre de classes (C = 2 ; normal et anormal). La prédiction de classe sera basée sur la valeur de probabilité maximale. Pendant l'apprentissage, les valeurs optimales des paramètres du modèle sont obtenues en minimisant la perte d'entropie croisée entre les étiquettes réelles et prédites, permettant ainsi une classification précise des états de la machine. En résumé, la couche de classification joue une fonction essentielle en transformant les caractéristiques temporelles extraites à l'aide de l'architecture Transformer en décisions pratiques. Grâce à une discrimination adéquate entre les états sains et défectueux de la machine, la détection d'anomalies et la prise de décision intelligente deviennent possibles dans le cadre du paradigme Industry 5.0.
Figure 5 montre le fonctionnement de la couche de classification, qui suit l'encodeur Transformer. Le processus débute avec la sortie de la séquence encodée, dans laquelle chaque vecteur contient des informations temporelles apprises à partir de l'entrée. Ces vecteurs sont combinés en un seul vecteur, appelé vecteur de caractéristiques global. L'étape suivante consiste à transmettre ce vecteur de caractéristiques global à travers plusieurs couches de réseaux neuronaux denses. Dans chaque couche dense, des opérations de multiplication matricielle sont effectuées afin de créer des combinaisons linéaires des entrées. Ensuite, une fonction d'activation non linéaire, telle que ReLU, peut être appliquée pour augmenter la flexibilité dans l'apprentissage des frontières de décision. À la fin de la dernière couche dense, des scores logit sont obtenus pour chaque classe. Ces scores logit peuvent être utilisés comme entrée de la fonction Softmax afin de calculer les probabilités pour chaque classe. Ces scores de probabilité permettent de déterminer si l'entrée appartient à la Classe 0 (Normale) ou à la Classe 1 (Anormale).
Explicabilité à l'aide de SHAP
Une fois que le modèle a classé les signaux d'entrée, des prédictions sont générées selon que la machine fonctionne normalement ou anormalement. Toutefois, dans un environnement de l'industrie 5.0, il ne suffit pas de produire des prédictions ; le système doit également offrir transparence et explicabilité afin d'aider la prise de décision humaine. Le cadre présenté ici utilise SHAP, un modèle fondé sur la théorie des jeux qui quantifie l'importance de chaque caractéristique dans la détermination de la prédiction. Ce faisant, SHAP attribue des poids aux caractéristiques, permettant ainsi d'évaluer l'importance relative des différentes sections du spectrogramme en entrée par rapport à la prédiction globale.
La formulation mathématique de SHAP repose sur une décomposition du modèle f(x) :
(23)
où ∅0 est la valeur de référence (sortie moyenne du modèle), ∅i est l'effet de la i-ème caractéristique, et M est le nombre de caractéristiques d'entrée. Pour la présente étude, les caractéristiques correspondent aux intervalles temps-fréquence du spectrogramme. Les valeurs SHAP sont positives lorsqu'elles contribuent à la probabilité d'un état anormal, négatives dans le cas contraire. Cette formulation garantit une explication unique et localement cohérente pour chaque prédiction. La méthode SHAP peut être appliquée à un modèle pré-entraîné de type CNN-transformeur afin de fournir une interprétation fondée sur l'importance des caractéristiques. La représentation visuelle mettra en évidence les intervalles temps-fréquence les plus importants du spectrogramme influant sur le processus de décision. Par exemple, un comportement anormal de l'équipement peut se traduire par certaines bandes de fréquence à haute énergie que le cadre SHAP identifie comme des contributeurs importants au processus décisionnel.
De plus, SHAP peut favoriser la coopération entre les humains et les machines dans un environnement cyber-physique. En effet, les prédictions peuvent être expliquées à l’aide de représentations visuelles intuitives, permettant aux opérateurs et aux systèmes de prise de décision de vérifier les prévisions, d’analyser le problème et de prendre les mesures appropriées. Cela accroît non seulement la confiance, mais rend également les processus de fabrication basés sur l’intelligence artificielle fiables et traçables. En intégrant des algorithmes d’apprentissage profond répondant aux normes de performance actuelles à SHAP, qui assure l’explicabilité, l’architecture proposée répond aux exigences de l’industrie 5.0.
Algorithme 2 : Interprétabilité basée sur SHAP pour la prédiction du modèle
Entrée : modèle entraîné f(x), spectrogramme d'entrée S
Résultat : valeurs SHAP
et carte d'explication
Étape 1 : Entrer le spectrogramme S dans un modèle entraîné
Étape 2 : Calculer la prédiction : y = f(S)
Étape 3 : Initialiser un expliquant SHAP axé sur l'apprentissage profond
Étape 4 : Calculer les valeurs SHAP :

Étape 5 : Pour chaque caractéristique i dans S :
Calculer la contribution 
Étape 6 : Générer la carte d'explication :
Mettre en évidence les régions présentant une forte 
Étape 7 : Visualiser l'importance des caractéristiques (carte thermique)
Étape 8 : Renvoyer les valeurs SHAP et la carte d'explication
L'algorithme d'explicabilité basé sur SHAP commence par obtenir une image de spectrogramme prétraitée en entrée, puis la transmet à l'architecture CNN-transformeur entraînée afin d'effectuer des prédictions (par exemple, état normal ou anormal de la machine). Après avoir effectué des prédictions à l'aide de l'architecture entraînée, la méthode SHAP est utilisée pour interpréter le modèle. En particulier, les valeurs SHAP (ϕ) sont calculées pour chaque caractéristique d'entrée afin d'identifier quelles composantes temps-fréquence de l'entrée contribuent le plus à la prédiction. Pour calculer ces valeurs, il est nécessaire de comparer les sorties du modèle pour des entrées contenant ou non certaines caractéristiques.
Après avoir calculé les valeurs SHAP pour chaque caractéristique, son influence sur la prédiction peut être évaluée par le signe et l'amplitude de la valeur SHAP. Par exemple, les caractéristiques ayant des valeurs SHAP plus élevées sont plus susceptibles d'influencer le résultat, et un signe positif ou négatif indique que la caractéristique pousse la prédiction respectivement vers la classe normale ou anormale. À partir des résultats, une carte d'explication peut être établie sous forme de carte thermique.
Enfin, l'algorithme produit à la fois les valeurs SHAP et les visualisations, offrant un aperçu de la manière dont les humains peuvent analyser la décision du modèle. Cette technique rend le processus plus transparent et permet aux humains de participer à la prise de décision, garantissant ainsi à la fois les prédictions de l'algorithme et leur fiabilité dans l'industrie pilotée par l'intelligence artificielle. Des échantillons représentatifs ont été sélectionnés parmi des cas anormaux correctement diagnostiqués, provenant de divers types de machines, afin d'améliorer la fiabilité de l'analyse d'explicabilité. Alors qu'une analyse globale de l'importance des caractéristiques SHAP a été réalisée en agrégeant les valeurs SHAP sur l'ensemble de test afin d'identifier les positions temporelles et fréquentielles systématiquement influentes, des explications SHAP locales ont été générées pour ces cas représentatifs. Sans nécessiter d'annotation par un expert, cette analyse intégrée locale et globale fournit une interprétation fiable des prédictions du modèle.
Intégration des CPS compatibles au cloud périphérique
Cette solution proposée est utilisée dans le cadre des CPS dotés de capacités de calcul en périphérie (edge), qui vise à assurer l'efficacité, la durabilité et le fonctionnement industriel en temps réel. Une fois le modèle entraîné, le CNN-transformer sera déployé selon une approche de calcul en périphérie. La couche de calcul en périphérie concernée se situe à proximité des dispositifs industriels de l'Internet des objets (IIoT), notamment les capteurs et les machines. Plutôt que de transmettre toutes les données collectées vers le cloud, le dispositif en périphérie effectue une inférence sur le signal acoustique entrant sans les transférer préalablement. Ainsi, le système peut détecter presque instantanément les anomalies des machines et prendre les mesures nécessaires avant que la situation ne se dégrade davantage. Un autre avantage de cette approche reposant sur le calcul en périphérie est une latence et une efficacité améliorées, puisque les données sont analysées près du lieu de leur génération. En d'autres termes, contrairement à l'approche basée sur le cloud, où le temps d'inférence Tinf
(24)
La latence sera, en général, considérablement réduite grâce à une diminution de Tcommunication. Un autre avantage est la réduction de la consommation de bande passante et de l'énergie dépensée lors de la transmission continue des données. Ce système est donc évolutif et durable pour les grandes installations industrielles comportant de nombreux dispositifs connectés. En outre, le CPS permet l'interaction avec la couche physique (machines), l'IA (couche de calcul) et la couche humaine.
Collaboration avec intervention humaine
Un élément clé du CPS proposé pour l'industrie 5.0, qui inclut des opérateurs humains activement impliqués dans le processus de décision aux côtés de modèles d'intelligence artificielle, est la collaboration avec l'humain dans la boucle. Plus précisément, selon le cadre conçu, le système ne devient pas une boîte noire autonome, mais permet plutôt aux opérateurs d'interagir avec lui et d'observer des résultats de prédiction explicables sous forme d'explications SHAP. Les prédictions en question font référence aux résultats (normal/anormal), accompagnés de visualisations de parties des spectrogrammes utilisées pour les établir.
Une telle interaction aide les opérateurs à mieux comprendre comment la prédiction est établie et quels facteurs y contribuent. La participation humaine implique la vérification des résultats du système et permet aux opérateurs de les modifier si nécessaire, selon leur jugement professionnel. La collaboration avec les opérateurs humains rend le système plus digne de confiance, plus efficace, plus sûr et plus fiable, contribuant ainsi à prévenir les erreurs.