Un flux de travail IA combinant des représentations bidirectionnelles d’encodeurs à partir de transformers (BERT) et des réseaux neuronaux graphiques (GNN) pour la récupération de connaissances dans les entreprises numériques

Résumé

Ce protocole présente un flux de travail reproductible piloté par l’IA qui ajuste BERT pour l’extraction d’entités et de relations, utilise des réseaux de neurones de graphes pour l’alignement des ontologies, construit des graphes de connaissances d’entreprise à partir de données non structurées, et évalue systématiquement la performance de la récupération sémantique ainsi que l’efficacité du support décisionnel.

Résumé

De grands volumes de données organisationnelles non structurées peuvent rendre difficile l’extraction d’informations correctes et contextuelles par les systèmes de gestion des connaissances (KM) d’entreprise, ce qui peut entraîner un partage inefficace des connaissances et des retards dans la prise de décision. Cette étude suggère un cadre unifié piloté par l’intelligence artificielle pour surmonter cette limitation. Il combine les réseaux neuronaux de graphes (GNN) pour l’alignement des ontologies et le raisonnement sémantique avec des représentations bidirectionnelles affinées des encodeurs à partir de transformers (BERT) pour l’extraction d’entités et de relations spécifiques au domaine. La collecte systématique de données, le prétraitement des corpus textuels d’entreprise, l’ajustement fin du BERT pour identifier les entités et les relations, la conversion des triplets extraits en graphes de connaissances structurés, ainsi que l’alignement d’ontologies basé sur GNN pour garantir la cohérence sémantique entre des sources de connaissances hétérogènes, constituent la chaîne méthodologique. Pour évaluer l’efficacité du système dans des scénarios d’entreprise réels, le cadre intègre également des mesures d’évaluation orientées tâche, telles que la précision de récupération, la correction de l’alignement des ontologies et la latence de décision. Comparée aux méthodes de référence, la validation expérimentale dans deux applications industrielles montre une diminution de 35 % de la latence décisionnelle et un gain de 21 % de la précision de la recherche des connaissances.

De plus, les retours des utilisateurs indiquent que l’interface KM a augmenté la satisfaction des utilisateurs grâce à ses fonctions de recherche sémantique et de balisage contextuel. L’architecture suggérée facilite la construction de graphes de connaissances reproductibles à partir de données d’entreprise non structurées en fusionnant méthodiquement le raisonnement et l’alignement basés sur les graphes avec l’extraction d’informations basée sur l’apprentissage profond. Les résultats démontrent que les résultats stratégiques et opérationnels en gestion de gestion s’améliorent lorsque les représentations organisées des connaissances sont alignées sur les procédures organisationnelles. Tout bien considéré, la méthode suggérée augmente la précision de la récupération, accélère les temps de réaction des flux de décision et offre une option réalisable et évolutive pour les systèmes de gestion de gestion de la machine au niveau entreprise.

Introduction

Une gestion efficace de la gestion peut être difficile à adopter dans les programmes de transformation numérique en raison de dépôts de données disjoints, de plateformes organisationnelles diverses et de connaissances fragmentées dispersées dans des documents non structurés. Un cadre reproductible et techniquement implémentable qui extrait, structure, aligne et opérationnalise méthodiquement les connaissances d’entreprise n’a pas été proposé par beaucoup de recherches, malgré des études antérieures portant sur l’adoption de l’IA et la transformation numérique sous des perspectives organisationnelles et ^{sectorielles 1,2,3}. Les méthodes actuelles se concentrent principalement sur les conséquences managériales ou stratégiques, mais elles n’offrent pas assez de détails architecturaux pour un déploiement à grande échelle.

Les systèmes d’information de gestion conventionnels (MIS) et les systèmes de planification des ressources d’entreprise (ERP) gèrent principalement des données structurées et facilitent les rapports transactionnels, mais ils ne peuvent pas traiter le texte non structuré ni effectuer de raisonnement sémantique contextuel. En revanche, l’entité contextuelle et le RE issus de corpus textuels^{complexes 4,5} sont rendus possibles grâce à des modèles basés sur des transformateurs comme BERT. Dans le même ordre d’idées, les GNN se sont révélés très capables de raisonnement relationnel, d’apprentissage de représentations de graphes et d’alignement d’ontologies dans divers domaines ^6,7,8. Malgré ces évolutions, la recherche actuelle utilise généralement ces modèles séparément plutôt que de les intégrer dans un pipeline de gestion de gestion d’entreprise cohérent.

L’analyse de Big Data, l’informatique en nuage, l’Internet industriel des objets et l’apprentissage automatique avancé sont des exemples d’avancées techniques récentes qui ont accéléré la transformation numérique dans des secteurs comme la fabrication, la santé, les services professionnels et la gouvernance 9,10,11,12. Parallèlement, les cadres politiques internationaux mettent fortement l’accent sur l’application responsable de l’IA, en mettant l’accent sur l’alignement éthique, la responsabilité et la transparence dans les systèmes^{numériques 13, 14, 15}. Néanmoins, l’interprétabilité éthique et la robustesse technique sont rarement combinées dans une seule architecture dans les systèmes KM existants.

Dans les rapports environnementaux, sociaux et de gouvernance (ESG), par exemple, la prise de décision pilotée par l’IA peut ignorer des questions morales complexes qui nécessitent des décisions humaines. Une diminution de la capacité à évaluer les données en utilisant la décision^{spécialisée 16} peut résulter d’une dépendance excessive aux données. La fonction de conseil exercée par les PA, qui a historiquement été fondée sur les connaissances économiques et l’interaction avec les clients, pourrait finalement être réduite par^{l’automatisation 17}. Cela pourrait perturber car les outils destinés à faire progresser la profession pourraient involontairement compromettre des capacités humaines essentielles.

La combinaison naturelle de la technologie numérique de pointe avec une préoccupation accrue pour la performance commerciale et l’entreprise qui commande les individus symbolise l’Industrie 6.0, une phase révolutionnaire du développement^{industriel 18}. Cette étape, qui s’inspire de l’Industrie 4.0 et de l’Industrie 5.0, est la prochaine étape de la croissance technique. En visualisant une époque où l’invention améliore plutôt que ne remplace les aptitudes humaines, Industrie 6.0 étend ces^{réflexions 19}. Ce plan exprime les préoccupations morales concernant la mécanisation tout en favorisant la collaboration entre humains et robots, l’efficacité^{cumulative 20}. La composante commerciale de la DL des employés est importante car les interactions avec les collègues au sein de l’entreprise façonnent souvent la compétence et la compréhension des technologies numériques d’une personne. Cette stratégie vise à s’aligner sur les études qui tentent de clarifier les moyens de permettre aux travailleurs et aux nouvelles technologies de collaborer afin que différents emplois et opérations puissent être réalisés dans les entreprises^21,22. Parce qu’il leur donne une exposition à une base de consommateurs plus large, la DL est considérée comme cruciale pour la survie des petites^{entreprises 23}. Par rapport aux structures d’entreprise traditionnelles, les gestionnaires des PME peuvent gérer leur entreprise plus efficacement et avec moins d’actifs physiques en utilisant les avancées^{technologiques 24,25}.

Le développement de la capacité de publicité en ligne, qui améliore en fait la performance des entreprises, dépend de ressources technologiques telles que les avancées technologiques et la connexion avec les objectifs de^{l’entreprise 26}. L’attention électronique d’une entreprise et la révolution technologique dans son environnement client fonctionnent cependant comme modérateurs de ces^impacts. Les entreprises peuvent utiliser plus efficacement le progrès informatique et la synchronisation pour développer leurs capacités promotionnelles en ligne en intégrant profondément la technologie numérique dans leurs activités, produits, offres et plans.

Les deux mécanismes des réserves technologiques en IA sont les dépenses en capital (capex), qui peuvent être utilisées pour l’organisation de plateformes Big Data, les ajouts et avancées, ainsi que les systèmes d’invention en science de l’information et en apprentissage automatique, ou les coûts d’exploitation, qui servent à accorder des licences pour les outils d’IA et de Big Data au sein de l’organisation, ou, enfin, la formation liée à l’IA pour les membres du personnel²⁸. Les avantages de l’adoption de l’IA sont plus importants pour les entreprises qui s’engagent également dans d’autres technologies et suivent une stratégie interne de R&D, selon l’étude²⁹de Lee sur les actifs d’actifs en IA. De plus, il est crucial de choisir entre l’emploi des autorités externes et l’utilisation de personnel interne spécialisé en^{IA 30}. La position des ressources humaines dans ce domaine de formation est un axe majeur des recherches actuelles, et les résultats montrent que les entreprises disposant de connaissances internes en IA investissent dans le développement de ces talents afin d’obtenir un avantage sur leurs^{concurrentes 31,32}.

Les interactions protéiques ont été prédites avec des GNN dans³³ ans, et les prédictions ont été vérifiées avec des LLM. L’approche était très précise et fournissait des explications interprétables. L’apprentissage automatique avancé et les techniques d’apprentissage profond comme BERT ont été utilisées pour étudier des données de réseaux sociaux à grande échelle en temps de^{crise 34}. RNN, CNN et GCN aident à traiter et classifier d’énormes quantités de données et peuvent être appliquées à la détection de^{tumeurs 35}. Les auteurs dans^{36, 37, 38, 39}présentent une approche novatrice pour augmenter les systèmes de recommandation en intégrant à la fois des graphes sociaux et de connaissances avec des modèles basés sur le GNN.

Les recherches antérieures n’ont pas encore étudié en profondeur comment l’extraction sémantique basée sur les transformateurs et le raisonnement basé sur les graphes peuvent être systématiquement intégrés pour améliorer à la fois les fonctions opérationnelles et stratégiques de la gestion des données, malgré le fait que l’IA et l’analyse de Big Data soient reconnues comme des forces transformatrices dans les environnements professionnels. En particulier, les cadres établis qui (i) transforment le texte d’entreprise non structuré en graphes de connaissances alignés sémantiquement, (ii) garantissent la cohérence au niveau de l’ontologie entre sources éloignées, et (iii) évaluent statistiquement l’impact du support décisionnel d’entreprise font défaut.

Afin de combler cet écart, cette étude prédit que, par rapport aux systèmes traditionnels de gestion des systèmes de transformation basés sur ERP/MIS et mots-clés, combiner l’extraction d’information basée sur un transformateur adaptatif de domaine avec l’alignement et le raisonnement ontologiques pilotés par GNN augmentera considérablement la précision sémantique de la récupération et réduira la latence des décisions d’entreprise. Un cadre exécutable basé sur l’IA et l’analyse de mégadonnées (MA) est proposé dans cette étude. Il peut effectuer les tâches suivantes : extraction d’entités et de relations spécifiques au domaine à l’aide d’un modèle de transformateur affiné ; la construction de graphes de connaissances à partir de triplets extraits ; l’alignement des ontologies basés sur les GNN et le raisonnement relationnel ; et l’évaluation orientée tâche utilisant la précision de récupération, la précision d’alignement et les métriques de latence décisionnelle.

La nouveauté de l’approche suggérée réside dans son alignement à double niveau, qui soutient simultanément la gestion stratégique grâce à une intégration structurée des connaissances améliorant l’agilité organisationnelle et la capacité d’innovation ; et la gestion opérationnelle grâce à un soutien à la décision renforcé, l’optimisation des processus et la récupération contextuelle. Cet article propose une architecture de bout en bout et empiriquement éprouvée, implémentée à travers deux systèmes d’entreprise réels, contrairement aux recherches conceptuelles ou à modèle unique antérieures. Les résultats expérimentaux montrent une diminution de 35 % de la latence décisionnelle et une augmentation de 21 % de la précision de la récupération. De plus, en reliant les sorties pilotées par l’IA à des représentations de connaissances organisées sémantiquement, le système améliore l’interprétabilité et facilite une prise de décision transparente et responsable. Cette étude crée un paradigme évolutif et reproductible pour la construction de graphes de connaissances d’entreprise et la gestion intelligente de la technologie dans des environnements avancés de transformation numérique, en accord avec les principes de l’Industrie 6.0, en fusionnant méthodiquement l’encodage contextuel basé sur transformateurs avec le raisonnement sémantique basé sur les graphes.

Protocole

Déclaration éthique

Cette étude a été examinée et approuvée par le Conseil d’Éthique Institutionnelle (IRB) de l’Université Nationale de Malaisie (UKM) avant la collecte des données (Identifiant d’approbation : UKM/FEP/2025/AI-047 ; Date d’approbation : 12 mars 2025). Le protocole approuvé couvrait l’administration d’enquêtes structurées et d’entretiens semi-structurés impliquant des participants humains. Tous les participants ont été informés de l’objet de l’étude, de la nature volontaire de leur participation et de leur droit de se retirer à tout moment sans conséquence, et un consentement éclairé écrit a été obtenu avant leur inclusion. L’anonymat et la confidentialité des participants ont été strictement maintenus, aucune information personnelle identifiable n’étant incluse dans l’analyse ou la publication, et toutes les données ont été stockées de manière sécurisée et utilisées uniquement à des fins de recherche académique, conformément aux normes éthiques institutionnelles et aux directives internationales pertinentes pour la recherche sur des sujets humains.

Architecture globale du cadre KM proposé de BERT–GNN

Initialement, un encodeur transformateur finement réglé était utilisé pour traiter le texte non structuré, y compris les documents internes, les interactions clients et le contenu des réseaux sociaux. L’architecture globale du flux de travail KM basé sur BERT–GNN est illustrée à la Figure 1. Les données d’entreprise utilisées dans cette étude ont été collectées sous forme de documents numériques, incluant des fichiers d’enquêtes structurées, des transcriptions d’entretiens, des rapports internes d’entreprise et des documents d’étude de cas accessibles publiquement. Tous les documents furent regroupés en un corpus unifié pour analyse. Le contenu textuel a été extrait de ces sources et nettoyé pour éliminer les métadonnées non pertinentes, les entrées en double et les artefacts de mise en forme. Le corpus nettoyé a ensuite été segmenté en phrases et tokenisé pour le préparer au traitement ultérieur du langage naturel tel que l’extraction de texte à l’aide d’analyseurs, la suppression du bruit, la segmentation de phrases et la tokenisation via le tokenizer de morceaux Word. Ce jeu de données textuel traité a servi d’entrée au modèle affiné pour l’extraction d’entités^{et de relations 33} , qui comporte 12 couches avec 12 têtes d’attention et 768 unités cachées. Les données extraites étaient organisées dans un Knowledge Graph, qui offrait une représentation structurée et interconnectée des connaissances à travers l’ontologie du domaine d’entreprise. Les GNN ont été appliqués pour l’alignement des ontologies en utilisant la similarité cosinus et le raisonnement afin de garantir que les relations sémantiques entre les domaines de connaissance étaient capturées avec précision et inférées logiquement en supprimant les doublons par similarité de chaîne avec le seuil 0,85. Les connaissances traitées ont ensuite été utilisées au sein de la couche décisionnelle, permettant une analyse efficace des données et facilitant la prise de décision basée sur les données. Cette architecture transformait des données fragmentées en actifs d’information intelligents et contextuels. Le cadre a été validé par des simulations de cas métier et comparé à des systèmes KM conventionnels tels que Naive Bayes (NB), Support Vector Machine (SVM), Random Forest (RF), TF-IDF, LDA, BERT only et BERT avec KG avec une répartition du jeu de données de 70:15:15 et une vue fixe de 42 afin d’évaluer les améliorations de performance en termes de précision de récupération, de latence de décision et d’utilité des connaissances.

Figure 1. Architecture générale du système du flux de travail KM basé sur BERT-GNN. Architecture globale du système AI–BDA–GNN montrant l’ingestion de données multi-sources, le prétraitement, le BERT affiné pour l’extraction sémantique, la population KG, l’alignement/raisonnement d’ontologies basés sur GNN, et la couche décisionnelle. Les flèches indiquent le flux de données et les boucles de rétroaction optionnelles pour l’apprentissage en ligne. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Acquisition de données

Le jeu de données utilisé dans cette étude a été collecté à partir de plusieurs sources afin de soutenir la représentativité et la validité externe. La collecte de données primaires par le biais d’enquêtes structurées et d’entretiens semi-structurés avec des praticiens des secteurs informatique, industriel, santé et éducation comprenait des membres certifiés de la Chambre des auditeurs financiers de Roumanie. Les données secondaires comprenaient des documents internes anonymisés à l’entreprise, des rapports annuels et des études de cas de transformation numérique accessibles au public. La collecte des données a été effectuée dans le cadre d’une période d’étude bien définie, et tous les dossiers ont été anonymisés pour des raisons d’habilitation éthique institutionnelle afin de protéger la confidentialité et d’assurer la conformité.

Critères de sélection de la participation : Pour garantir la rigueur méthodologique et la représentativité, les participants ont été choisis sur la base de critères d’inclusion et d’exclusion bien définis. En plus d’être activement impliqués dans la transformation numérique, la gestion de la technologie, l’intelligence artificielle, l’analyse de big data ou les initiatives de systèmes d’information d’entreprise, les participants éligibles devaient avoir au moins trois ans d’expérience professionnelle dans les domaines de l’informatique, de la fabrication, de la santé, de l’éducation, de la comptabilité ou des environnements d’entreprise connexes. Il était nécessaire que les professionnels certifiés bénéficient d’un statut de certification actif pendant la période de collecte de données (par exemple, les membres de la Chambre des auditeurs financiers de Roumanie). Afin de comprendre avec précision les documents de l’enquête et de l’entretien et de donner une autorisation éclairée conformément au protocole autorisé de l’IRB, les participants devaient également démontrer une maîtrise du roumain ou de l’anglais. Ceux ayant moins de trois ans d’expérience pertinente, un statut professionnel inactif (le cas échéant), aucune implication directe dans les processus de prise de décision ou de connaissances au niveau de l’entreprise, des réponses incomplètes à l’enquête (plus de 20 % de données manquantes) ou des contrôles de qualité des données infructueux ont tous été exclus. De plus, les transcriptions d’entretiens qui n’étaient pas suffisamment détaillées ou pertinentes pour les techniques de la KM n’ont pas été incluses dans l’analyse. Un échantillon de participant compétent, représentatif du secteur et analytiquement fiable était garanti par ces normes.

Les membres certifiés de la Chambre des auditeurs financiers de Roumanie (CAFR) constituaient une population cible clé pour la collecte de données. Une enquête en ligne a été développée et diffusée via les canaux de communication internes du CAFR pour soutenir une distribution ciblée et des taux de réponse élevés. Pour constituer un échantillon représentatif, les antécédents du CAFR ont été examinés et 250 participants inscrits ont été sélectionnés en fonction des caractéristiques pertinentes pour l’étude.

Structure des instruments d’enquête : L’étude a utilisé un questionnaire structuré comprenant 24 items répartis dans cinq domaines de construction : agilité organisationnelle et efficacité opérationnelle (5 items), soutien stratégique à la décision et capacité d’innovation (5 items), impact de l’analyse de Big Data sur le partage des connaissances (5 items), adoption de l’IA dans la KM (5 items), et efficacité perçue par l’utilisateur ainsi que l’utilisabilité du système (4 items). Une échelle de Likert à 5 points, avec 1 indiquant « fortement en désaccord » et 5 indiquant « fortement d’accord », a été utilisée pour noter chaque item. L’outil a été contextualisé pour la mise en œuvre de l’IA en entreprise et modifié à partir d’échelles de KM et de transformation numérique précédemment validées. Trois universitaires et deux experts en affaires ont mené une revue d’experts pour confirmer la validité du contenu. Pour améliorer le langage, évaluer la clarté et mesurer la fiabilité, une recherche pilote avec 20 praticiens a été menée ; tous les composants avaient des valeurs alpha de Cronbach supérieures à 0,80, montrant une forte cohérence interne. Des entretiens semi-structurés ont également été réalisés pour compléter les résultats de l’enquête. Cinq sujets ont été abordés dans le guide d’entretien : l’expérience de la transformation numérique, les difficultés liées à la circulation des connaissances en entreprise, l’intégration de l’IA et du Big Data dans la prise de décision, les obstacles à l’alignement sémantique et les questions de gouvernance éthique. Chaque entretien a été réalisé avec consentement éclairé, a duré environ 45 à 60 minutes, a été enregistré audio, puis transcrit pour une analyse qualitative.

Pour évaluer la performance du cadre BERT-GNN proposé pour la gestion de la technologie dans des organisations en transformation numérique, un ensemble de données vaste et diversifié a été préparé à partir de différentes sources et de divers secteurs. L’ensemble de données couvre des aspects quantitatifs et qualitatifs afin de représenter les perceptions dynamiques concernant le flux de connaissances et le changement organisationnel. Des données structurées ont été recueillies auprès de plus de 250 professionnels via un questionnaire en ligne composé d’items à l’échelle de Likert (plage 1 à 5) pour mesurer les effets perçus de l’intelligence artificielle (IA) et de l’analyse de Big Data (BDA) sur le partage des connaissances, l’innovation et l’agilité des entreprises. Parallèlement, des données non structurées ont été recueillies lors d’entretiens semi-structurés avec 30 experts du domaine, fournissant plus de 120 000 mots de transcription. D’autres documents semi-structurés, incluant des rapports annuels d’entreprise et des documents stratégiques numériques (plus de 50 documents), ont été collectés afin de contextualiser les modes d’adoption à l’échelle des entreprises. De plus, 15 études de cas détaillées issues des secteurs de l’informatique, de la fabrication, de la santé et de l’éducation ont été ajoutées pour offrir des contextes de transformation concrets. Des documents de base de connaissances internes (environ 200 Mo), anonymisés pour des raisons de confidentialité, étaient également inclus pour améliorer la représentation des ressources opérationnelles de connaissances. Cet ensemble de données multi-sources permet un solide pipeline d’entraînement et d’évaluation pour les modèles d’apprentissage profond et capture à la fois les aspects stratégiques et opérationnels de la gestion de la chirurgie (KM). Le tableau 1 montre l’échantillon de population utilisé pour l’évaluation.

Composant	Type	Source	Taille/Volume
Réponses aux enquêtes professionnelles	Structuré	Enquêtes en ligne menées par 250+ professionnels	~10 000 records
Transcriptions des entretiens	Non structuré	Entretiens semi-structurés par 30 experts	~120 000 mots
Rapports d’entreprise	Semi-structuré	Rapports annuels et documents de stratégie numérique	50+ documents
Études de cas	Mixte	Cas d’utilisation spécifiques à la transformation numérique par secteur	15 affaires détaillées
Contenu de la base de connaissances	Non structuré	Documents internes des organisations (anonymisés)	~200 MB

Prétraitement des données et ajustement fin BERT

Les données brutes des documents d’entreprise étaient consultées à partir de listes sélectionnées et prétraitées en utilisant segmentation de phrases, tokenisation, suppression de mots stop et normalisation pour répondre aux exigences du tokeniseur. Le modèle pré-entraîné a ensuite été modifié pour affiner le modèle pour une tâche particulière, puis affiné pour réaliser une tâche de reconnaissance d’entité nommée (NER) et d’extraction de relations (RE). Le modèle a été affiné sur les données de corpus prétraitées pour un nombre d’époque particulier avec l’optimiseur Adam. Enfin, des embeddings de mots contextualisés (R⁷⁶⁸) ont été produits à partir d’entités identifiées et de leurs relations. Les entités normalisées étaient générées par une technique de normalisation basée sur une ontologie, dans laquelle différentes entités, telles que des synonymes, étaient converties en formes normalisées. Chaque entité normalisée distincte était un nœud, tandis que la relation entre entités était appelée arête dans la représentation du graphe de connaissance. Les embeddings d’entités normalisées générés par le modèle formaient les caractéristiques initiales des nœuds du Réseau de Neurones Graphes. À l’étape suivante, le réseau neuronal de graphes a été entraîné avec la méthode de prédiction supervisée des liaisons, avec un échantillonnage négatif obtenu par corruption des arêtes. Dans l’entraînement, il y a une perte d’entropie croisée sur plusieurs époques. Le cadre entraîné a été évalué en utilisant la précision de récupération des connaissances, la latence de prise de décision et le taux de satisfaction utilisateur comme indicateurs d’évaluation.

Une approche d’annotation hybride a été utilisée pour créer des étiquettes d’entraînement pour RE et NER. Deux experts indépendants annotaient manuellement un corpus spécifique à un domaine de documents d’entreprise, tels que des rapports internes, des journaux d’interaction client et des documents de politique, en utilisant un schéma d’ontologie prédéterminé qui identifiait les catégories d’entités (telles que Organisation, Processus, Technologie, Rôle, KPI) et les types de relations (tels que supports, depends_on et améliorations). Pour garantir l’uniformité de la directionnalité des relations et de la détection des frontières d’entité, des lignes directrices complètes d’annotation ont été créées. 20 % de l’ensemble de données a été doublement annoté afin d’évaluer la fiabilité. Le Kappa de Cohen a été utilisé pour tester l’accord inter-annotateurs, et les résultats ont montré une forte concordance (κ = 0,87 pour l’étiquetage des entités et κ = 0,82 pour l’extraction de relations). La supervision faible a ensuite été utilisée pour étendre le jeu de données annoté manuellement en utilisant des correspondances de motifs basées sur des règles et contraintes par ontologie, avec un filtrage basé sur la confiance pour réduire le bruit. Pour garantir une reproductibilité complète, toutes les procédures d’annotage, définitions d’ontologies, divisions des ensembles de données et graines aléatoires ont été enregistrées.

L’efficacité de la précision a été mesurée au niveau du document, la latence estimée en fonction du temps de réponse de bout en bout aux requêtes, et les utilisateurs ont été satisfaits en utilisant les questionnaires de l’échelle de Likert. À la fin de chaque étape, des points de contrôle protocolaires suivants étaient établis. (i) point de contrôle de sortie BERT - entités d’échantillonnage et triplets de relation extraits ; (ii) un exemple de point de contrôle KG d’un sous-graphe construit avec des étiquettes d’ontologie ; (iii) Point de contrôle GNN - exemple de prédiction ontologique et lien inféré ; et (iv) point de contrôle de récupération - exemple d’éléments de connaissances récupérés avec étiquettes de pertinence.

Le protocole proposé est de la structure suivante : pipeline déterministe à plusieurs étapes avec des sorties intermédiaires bien définies, permettant une reproductibilité totale. Étape 1, Après l’ingestion et le prétraitement brut des données d’entreprise structurées, semi-structurées et non structurées, des corpus de texte nettoyés et des matrices numériques de caractéristiques normalisées seront générés. Étape 2 : L’application de modèles BERT affinés sera effectuée pour l’extraction des connaissances, fournissant une sortie explicite sous forme d’entités nommées, telles que Département, Processus, Document et KPI ; (ii) relations sémantiques entre entités, représentées par des triplets sujet-prédicat-objet. À l’étape 3, ces triplets sont transformés en un graphe de connaissance initial, dans lequel les nœuds sont des entités et les relations sont des arêtes typées, alignées selon un schéma d’ontologie prédéfini. À l’étape 4, l’application du réseau neuronal de graphes à ce graphe pour l’alignement et le raisonnement des ontologies générerait des inclusions de nœuds améliorées, inférerait des relations et alignerait les étiquettes d’ontologie. L’étape 5 fournit le graphe de connaissances finalisé et les résultats de raisonnement qui alimenteront la récupération sémantique, le soutien à la décision et l’évaluation des performances.

Tous les artefacts intermédiaires, y compris les listes d’entités, les triplets de relations, les graphes alignés sur l’ontologie et les liens inférés, sont explicitement générés à chaque étape de ce protocole, permettant la réplication indépendante de la recherche sans besoin de rappels.

Le jeu de données est divisé en ensemble d’entraînement, ensemble de validation et ensemble de test selon un ratio fixe de 70:15:15 afin d’assurer la reproductibilité des résultats de l’expérience. La tokenisation, le minúscul, la suppression des mots stop et le raccourcissement de séquence à 512 jetons sont tous réalisés pour BERT en termes de préparation du texte. En revanche, la normalisation Z-Score est utilisée pour normaliser les caractéristiques structurelles. De plus, le modèle BERT est affiné à l’aide de la bibliothèque du cadre d’apprentissage profond avec l’optimiseur Adam, où le taux d’apprentissage est de 2e-5, la taille du lot est de 16, et le nombre d’époques est de 5. Les entités et relations extraites prédites sont sauvegardées dans un format standard pour la construction du graphe de connaissance. De plus, l’inclusion de nœuds dans le graphe de connaissance (R⁷⁶⁸) est utilisée comme entrée pour le GNN afin d’aligner et de raisonner les ontologies.

Interface BERT-GNN et flux de données

Dans le cadre proposé, l’encodeur transformateur est affiné pour effectuer deux tâches de NLP : la tâche NER et la tâche RE sur un corpus textuel d’entreprise. Enfin, les sorties du modèle incluent des inclusions de jetons contextualisées (R⁷⁶⁸), des étiquettes de classification d’entités et des triplets relationnels sujet-prédicat-objet. Les entités normalisées sont utilisées en construisant une ontologie d’entreprise prédéfinie, où les variations textuelles et les synonymes de l’entité sont mappés à un identifiant d’entité. Chaque entité normalisée unique se voit attribuer un nouveau nœud entité dans le graphe de connaissance construit. Selon la taille du corpus industriel, le graphe de connaissances généré dans les scénarios d’entreprise évalués compte entre 18 000 et 25 000 nœuds d’entités et 42 000 à 60 000 arêtes relationnelles typées. Personne, Département, Processus, Produit, Organisation et Document ne sont que quelques-uns des types de nœuds présents dans le graphe. D’autres types de bords incluent works_for, gestions, belongs_to, produits produits, approved_by et related_to. Un identifiant distinct basé sur une ontologie, dérivé d’une ontologie d’entreprise prédéterminée, est attribué à chaque nœud. En conséquence, le graphe hétérogène résultant possède des arêtes typées représentant des relations normalisées et des nœuds typés avec des propriétés d’immersion sémantique. Ensuite, les GNN obtiennent ces plongements de nœuds pour le raisonnement relationnel et l’alignement des ontologies. De manière cruciale, le GNN fonctionne sur le graphe généré sans rétropropagation des gradients vers l’encodeur BERT, garantissant un entraînement modulaire et maintenant la séparation des composantes de raisonnement du graphe et d’extraction sémantique.

BERT a été utilisé dans cette étude pour la modélisation contextuelle du langage et l’extraction sémantique. Le modèle peut apprendre efficacement à prédire les bonnes étiquettes de catégories pour de nouvelles entrées textuelles lorsqu’il est affiné à l’aide de données étiquetées adaptées à un objectif de classification spécifique. Parce que le BERT est bidirectionnel, il prend en compte à la fois le contexte précédent et suivant de chaque mot, permettant une compréhension plus complète des relations au sein du texte. L’encodeur du modèle à base BERT se compose de 12 blocs transformateurs, chacun contenant 12 têtes d’auto-attention et une taille cachée de 768. Avant le traitement, le texte d’entrée est divisé en jetons selon l’approche de tokenisation sélectionnée, qui peuvent représenter des mots ou des sous-mots. La représentation de la séquence dérivée à l’aide de BERT est décrite dans le Fichier Supplémentaire 1. Les paramètres du modèle sont optimisés en minimisant la probabilité logarithmique de l’étiquette correcte (Figure 2).

Figure 2. Processus de travail détaillé du modèle BERT utilisé pour extraire les caractéristiques sémantiques. Montre les dimensions entrée/sortie et le rôle des embeddings contextuels pour la population KG. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Construction de graphes de connaissances en utilisant GNN

Le schéma du Knowledge Graph est prédéfini avant la construction du graphe. Cela apporte une cohérence sémantique. L’ontologie est prédéfinie en fonction d’un nombre fini de types pour les entités et les types de relations, ainsi que des contraintes d’étendue de domaines, qui sont utiles pour le raisonnement. Le schéma est applicable pour peupler le graphe à partir des triplets collectés à partir du modèle BERT ainsi que pour le message sensible à la relation passant par le GNN.

Dans ce cadre, le Knowledge Graph (KG) sert de représentation structurée des connaissances d’entreprise, des entités de modélisation (par exemple, départements, documents, processus) et des relations sémantiques entre elles. Les dérivations mathématiques de KG sont ajoutées dans le fichier supplémentaire 1. Cette intégration de la construction KG et du raisonnement basé sur GNN permet l’alignement des ontologies, l’inférence relationnelle et une récupération sémantique améliorée au sein du cadre KM d’entreprise.

Le graphe de connaissances (KG) est représenté comme un graphe hétérogène G, tandis que sa structure est exprimée par son ontologie O. KG peut également être vu comme un ensemble de faits exprimés par des affirmations du raisonnement des prédicats. Ces fondamentaux portent les descriptions suivantes³⁴. Le graphe G est varié, V représentant l’ensemble des objets ou des nœuds (les deux peuvent être utilisés de manière interchangeable) et représentant l’ensemble des relations. Un triplet () peut aussi être utilisé pour caractériser respectivement un couple d’objets v₁ et leur association . La dérivation mathématique de la construction KG à l’aide de GNN est décrite dans le Fichier Supplémentaire 1.

Alignement et raisonnement d’ontologies basés sur BERT-GNN

L’algorithme 1 montre l’alignement et le raisonnement d’ontologies basés sur les GNN. Le processus commence par l’initialisation des capacités des nœuds à l’aide d’embeddings pré-extraits ainsi que de celles générées via une version BERT réglée de haute qualité, qui saisissent le sens sémantique de chaque entité à partir d’un texte non structuré. Le graphe de connaissance, composé de nœuds (entités) et d’arêtes (relations), est représenté par l’utilisation d’une matrice d’adjacence (A) et d’une matrice de caractéristiques (X).

L’ensemble des règles se déroule via plusieurs couches GNN. À chaque couche, la représentation d’un nœud est mise à jour grâce à l’agrégation des données de ses nœuds voisins, pondérée par leur connectivité (c’est-à-dire en utilisant la matrice d’adjacence). Cela est formulé mathématiquement à l’aide d’une méthode de passage de messages où les plongements de nœuds sont développés au moyen de matrices de poids entraînables et transmis via une caractéristique d’activation non linéaire incluant ReLU. Une étape de normalisation (par exemple, la normalisation des couches ou l’utilisation de matrices de diplôme comme dans l’équation GCN) garantit une connaissance stable des couches à travers les couches.

Après avoir répété ce processus pour une plage prédéfinie de couches T, le modèle produit un ensemble final d’encapsulements de nœuds Z, qui encodent chaque voisinage ainsi que sa forme et ses capacités sémantiques. Ces inclusions sont ensuite dépassées via une couche de classification soft max pour prédire les labels d’ontologie alignés, y compris les tris d’entités (par exemple, « Département », « Produit », « Projet ») ou les rôles sémantiques au sein de la société.

Algorithme 1 : Alignement et raisonnement d’ontologies basés sur BERT GNN

Le processus d’alignement et de raisonnement d’ontologies basé sur GNN fonctionnait sur le Knowledge Graph construit, qui consistait en entités représentées comme des nœuds et leurs relations représentées par des arêtes. Les représentations initiales des nœuds étaient dérivées d’embeddings sémantiques basés sur BERT et organisées en une matrice de caractéristiques. La matrice d’adjacence représentait la structure de connectivité du graphe, et un nombre prédéfini de couches GNN était appliqué pour affiner les représentations des nœuds. Pour chaque couche, le modèle mettait à jour chaque nœud en agrégeant les informations de ses nœuds voisins en fonction de la structure du graphe. Cette agrégation dans l’Équation (1) implique la multiplication de représentations de nœuds voisins par des matrices de poids entraînables, l’ajout d’un terme de biais et l’application d’une fonction d’activation non linéaire.

(1)

Après chaque mise à jour de couche, une normalisation était appliquée pour stabiliser l’entraînement et garantir des échelles d’intégration cohérentes. Une fois toutes les couches traitées, les derniers embeddings de nœuds étaient obtenus. Ces inclusions étaient ensuite passées à travers une couche de classification avec une fonction softmax pour prédire des étiquettes d’ontologies alignées ou des classes d’entités. La procédure produisait les embessions finaux de nœuds raffinés et les étiquettes alignées sur l’ontologie prédites comme sorties.

La méthode proposée permet l’alignement sémantique d’entités provenant de multiples sources et permet de raisonner sur le graphe de connaissance en inférant de nouvelles relations et en classant des nœuds auparavant non étiquetés.

Figure 3. Alignement ontologique et raisonnement sémantique utilisant GNN. Illustre les étapes de transmission de messages de voisinage et d’intégration des mises à jour. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Les caractéristiques agrégées sont transformées à l’aide de matrices de poids spécifiques à chaque relation et d’une fonction d’activation non linéaire (par exemple, ReLU), générant des embeddings de nœuds mis à jour qui intègrent des caractéristiques sémantiques dérivées de BERT avec les informations structurelles du graphe. Ces inclusions sont ensuite transmises à une couche de classification softmax pour prédire les étiquettes d’entités ou les classes d’ontologie alignées. Ce processus établi rend le GNN extrêmement efficace pour raisonner sur les graphes technologiques, aidant à des tâches telles que la désambiguïsation des entités, l’inférence de courtage et la typographie sémantique, contribuant finalement à des structures de contrôle statistiques plus intelligentes et poussées par l’IA (Tableau 2).

Composant	Description
Framework/Trousses d’outils	Python 3.9, PyTorch 2.0.1, Transformateurs de Face Émaillante 4.34, DGL 1.1 (Bibliothèque de graphes profonde)
Matériel	GPU NVIDIA Tesla V100 (16 Go), 128 Go de RAM, Ubuntu 20.04
Pipeline de prétraitement	Tokenisation (Word Piece pour BERT), suppression de mot stop, reconnaissance d’entités (SpaCy), normalisation z-score pour les caractéristiques numériques
Sources de jeux de données	Enquête professionnelle (250+ réponses), transcriptions d’entretiens (~120 000 mots), rapports d’entreprise (50+), études de cas (15), documents internes (200 Mo)
Répartition des données	70 % d’entraînement, 15 % de validation, 15 % de tests
Modèle encodeur de texte	Base BERT (non carré), 12 couches, 768 dimensions cachées, 12 têtes d’attention
Réglage fin BERT	4 époques, taille du lot = 32, taux d’apprentissage = 2e-5, optimiseur Adam, longueur maximale de seq = 512
Construction de graphes	Extraction de connaissances basée sur les triplets (sujet, prédicat, objet)
Type de graphe	Graphe hétérogène avec des arêtes multi-relationnelles (entités issues de la sortie BERT)
GNN Architecture	Réseau de neurones à graphes hétérogènes à deux couches (modèle de transmission de messages)
Hyperparamètres GNN	Dimension cachée = 128, Activation = ReLU, Optimiseur = Adam, Taux d’apprentissage = 0,001
Type de décodeur	Dist. Mult avec le score par produit scalaire pour la prédiction des liens
Fonction de perte	Entropie binaire croisée pour la classification en triplets

Enfin, le protocole se conclut par la génération des résultats suivants : un graphe de connaissances d’entreprise aligné sur l’ontologie, des modèles BERT et GNN, les résultats de la recherche et du raisonnement de l’information, ainsi que les rapports du KRP, OAA, DML et USR. Ceux-ci fournissent la sortie finale sous forme reproductible. Pour l’échantillonnage négatif lors de l’entraînement GNN, les triplets valides sont corrompus par remplacement d’entités selon les contraintes de type définies par l’ontologie. Les alignements d’ontologies résultants sont validés pour leur cohérence et examinés manuellement par des experts du domaine afin d’assurer la cohérence sémantique entre les entités extraites et les classes d’ontologies canoniques.

Critères d’évaluation

La latence décisionnelle est la mesure du temps total nécessaire au système pour fournir une réponse exploitable après la soumission de la requête utilisateur. Soit i la requête utilisateur, soit le moment auquel la requête est soumise, soit le moment auquel le système fournit la décision finale. La latence décisionnelle (DML) est donnée par :

(2)

où est le nombre total de requêtes évaluées. Cette métrique mesure le temps de réponse global du cadre proposé, de la récupération des connaissances à la génération de réponses. Une valeur plus basse pour cette métrique est idéale car elle montre un temps de réponse système plus rapide, ce qui est crucial pour les applications décisionnelles d’entreprise sensibles au temps.

Le Knowledge Coverage Ratio est le ratio de la capacité du système à récupérer tous les éléments de connaissance pertinents disponibles pour une requête donnée. Soit l’ensemble de tous les éléments de connaissance pertinents pour la requête q, soit l’ensemble des éléments de connaissance effectivement récupérés par le système. Le Knowledge Coverage Ratio (KCR) est défini comme suit :

(3)

Cette formule calcule la complétude des éléments de connaissance récupérés. Elle est équivalente à la mesure de rappel utilisée dans les systèmes traditionnels de recherche d’information.

Résultats

Prétraitement des données et ajustement fin BERT

L’appareil proposé intègre une version BERT optimalement réglée pour l’extraction de compréhension non structurée et un réseau de neurones de graphes (GNN) pour l’alignement et le raisonnement des ontologies dans un cadre de graphes d’apprentissage. Le montage expérimental consistait à comparer la performance globale de l’aspect BERT sur les tâches NER et RE, tandis que le facteur GNN était exam...

Discussion

Cette étude présente un cadre unifié de gestion des ressources humaines d’entreprise qui intègre l’extraction sémantique contextuelle à l’aide de BERT avec un raisonnement relationnel basé sur les graphes et un alignement d’ontologies via les GNN. Afin de permettre la liaison d’entités, le raisonnement inter-documents et la représentation cohérente des connaissances à travers des sources de données métier disparates, la principale contribution est l’intégration de la modélisation context...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Modèle préentraîné BERT-Base (non cassé)	Google AI	N/A	Modèle de langage pré-entraîné basé sur Transformer (variante bert-base-non non casse)
Bibliothèque de graphes profonds (DGL)	AWS Labs	RRID : SCR_017054	Version 2.1 utilisée pour la modélisation des réseaux de neurones à graphes
Bibliothèque de visualisation Matplotlib	Communauté PyData	RRID : SCR_008624	Utilisé pour les graphiques de performance et l’analyse visuelle
Bibliothèque de graphes NetworkX	Communauté PyPI	RRID : SCR_005317	Version 3.2 utilisée pour la construction et l’analyse de graphes
Bibliothèque de calcul numérique NumPy	Communauté PyData	RRID : SCR_008633	Utilisé pour les opérations numériques et le traitement de tableaux
GPU NVIDIA (Tesla T4 / RTX 3080)	NVIDIA Corporation	RRID : SCR_016409	Accélérateur matériel compatible CUDA pour l’entraînement de modèles
Bibliothèque d’analyse de données Pandas	Communauté PyData	RRID : SCR_018214	Utilisé pour la manipulation de données structurées
Langage de programmation Python	Fondation Python Software	RRID : SCR_008394	Version 3.10 utilisée pour le développement de modèles et le traitement des données
Cadre d’apprentissage profond PyTorch	Méta IA	RRID : SCR_018536	Version 2.0 utilisée pour l’implémentation de réseaux neuronaux
Bibliothèque d’apprentissage automatique Scikit-learn	Développeurs Scikit-learn	RRID : SCR_002577	Version 1.5 utilisée pour le prétraitement et les métriques d’évaluation
Bibliothèque NLP Transformers	Visage de câlin	RRID : SCR_020989	Version 4.40 utilisée pour les modèles de transformateurs pré-entraînés
Système d’exploitation Ubuntu Linux	Canonical Ltd.	RRID : SCR_018317	Environnement d’exécution LTS version 20.04