Un flusso di lavoro AI che combina rappresentazioni bidirezionali di encoder da Transformers (BERT) e reti neurali a grafi (GNN) per il recupero della conoscenza nelle imprese digitali

Summary

Questo protocollo presenta un flusso di lavoro riproducibile guidato dall'IA che affina BERT per l'estrazione di entità e relazioni, impiega reti neurali a grafi per l'allineamento dell'ontologia, costruisce grafi di conoscenza aziendale a partire da dati non strutturati e valuta sistematicamente le prestazioni del recupero semantico e l'efficienza del supporto decisionale.

Abstract

Grandi volumi di dati organizzativi non strutturati possono rendere difficile per i sistemi di gestione della conoscenza aziendale (KM) estrarre informazioni corrette e contestualmente rilevanti, il che può portare a una condivisione inefficiente delle conoscenze e a ritardi nelle decisioni. Questo studio suggerisce un quadro unificato guidato dall'intelligenza artificiale per superare questa limitazione. Combina Reti Neurali a Grafo (GNN) per l'allineamento di ontologie e il ragionamento semantico con Rappresentazioni Bidirezionali Encoder da Transformers (BERT) raffinate per l'estrazione di entità e relazioni specifiche per dominio. La raccolta sistematica dei dati, la pre-elaborazione di corpora di testo aziendale, la fine-tuning del BERT per identificare entità e relazioni, la conversione dei tripli estratti in grafi di conoscenza strutturati e l'allineamento di ontologie basato su GNN per garantire la coerenza semantica tra fonti di conoscenza eterogenee, costituiscono la pipeline metodologica. Per valutare l'efficacia del sistema in scenari aziendali reali, il framework integra anche misure di valutazione orientate al compito, come la precisione nel recupero, la correttezza dell'allineamento dell'ontologia e la latenza decisionale. Rispetto ai metodi di base, la validazione sperimentale in due applicazioni industriali mostra una diminuzione del 35% della latenza decisionale e un aumento del 21% nella precisione nel recupero delle conoscenze.

Inoltre, il feedback degli utenti indica che l'interfaccia KM ha aumentato la soddisfazione grazie alle sue funzionalità di ricerca semantica e di tagging contestuale. L'architettura suggerita facilita la costruzione di grafi di conoscenza riproducibili a partire dai dati aziendali non strutturati, fondendo metodicamente il ragionamento e l'allineamento basati su grafi con l'estrazione di informazioni basata sul deep learning. I risultati dimostrano che sia i risultati strategici che operativi della gestione dei dati sono migliorati quando le rappresentazioni organizzate della conoscenza sono allineate alle procedure organizzative. Tutto sommato, il metodo suggerito aumenta la precisione del recupero, accelera i tempi di reazione dei flussi di lavoro decisionali e offre un'opzione praticabile e scalabile per i sistemi KM a livello enterprise.

Introduction

Una KM efficace può essere difficile da adottare nei programmi di trasformazione digitale a causa di repository dati disgiunti, piattaforme organizzative diversificate e conoscenze frammentate distribuite tra documenti non strutturati. Un framework riproducibile e tecnicamente implementabile che estraga, struttura, allinea e operativizzi metodicamente la conoscenza aziendale non è stato proposto da molte ricerche, nonostante studi precedenti abbiano esaminato l'adozione dell'IA e la trasformazione digitale da prospettive organizzative ^{e settoriali 1,2,3}. I metodi attuali si concentrano principalmente sulle conseguenze manageriali o strategiche, ma non offrono abbastanza dettagli architettonici per una distribuzione su larga scala.

I sistemi informativi di gestione convenzionali (MIS) e i sistemi di pianificazione delle risorse aziendali (ERP) gestiscono principalmente dati strutturati e facilitano la reportistica transazionale, ma non possono elaborare testi non strutturati né eseguire ragionamenti semantici consapevoli del contesto. D'altra parte, entità contestuale e RE da corpora testuali^{complicati 4,5} sono resi possibili da modelli basati su trasformatori come BERT. In modo simile, i GNN si sono dimostrati altamente capaci di ragionamento relazionale, apprendimento di rappresentazioni di grafi e allineamento ontologico in una varietà di campi^{diversi 6,7,8}. Nonostante questi sviluppi, la ricerca attuale di solito utilizza questi modelli separatamente piuttosto che incorporarli in una pipeline coesa di gestione del lavoro aziendale.

Big Data Analytics, cloud computing, Internet delle Cose Industriale e machine learning avanzato sono esempi di recenti progressi tecnici che hanno accelerato la trasformazione digitale in settori come manifatturiero, sanità, servizi professionali e governance 9,10,11,12. Allo stesso tempo, i quadri politici internazionali pongono una forte enfasi sull'applicazione responsabile dell'IA, enfatizzando l'allineamento etico, la responsabilità e la trasparenza nei sistemi^digitali 13,14,15. Tuttavia, l'interpretabilità etica e la robustezza tecnica raramente sono combinate in un'unica architettura nei sistemi KM esistenti.

Nei rapporti ambientali, sociali e di governance (ESG), ad esempio, il processo decisionale guidato dall'IA può ignorare questioni morali complesse che richiedono decisioni da parte degli esseri umani. Una diminuzione della capacità di valutare i dati utilizzando la scelta^{tecnica 16} può derivare da un'eccessiva dipendenza dalle informazioni. La funzione di consulenza svolta dagli PA, che storicamente si è basata sulla conoscenza economica e sull'interazione con i clienti, potrebbe infine essere ridotta dall'automazione¹⁷. Questo potrebbe essere un problema perché gli strumenti pensati per far progredire la professione potrebbero compromettere involontariamente capacità umane fondamentali.

La naturale combinazione di tecnologia digitale all'avanguardia con una maggiore preoccupazione per la performance commerciale e l'impresa che determina le persone rappresenta l'Industria 6.0, una fase rivoluzionaria nello sviluppo^{industriale 18}. Questa fase, che si basa su Industria 4.0 e Industria 5.0, rappresenta la fase successiva di crescita tecnica. Visualizzando un periodo in cui l'invenzione migliora invece di sostituire le attitudine umane, Industria 6.0 estende queste^{riflessioni 19}. Questo piano esprime preoccupazioni morali sulla meccanizzazione mentre favorisce la collaborazione tra umani e robot, efficienza^{cumulativa 20}. La componente aziendale della DL dei dipendenti è importante poiché le interazioni con i colleghi all'interno dell'azienda spesso influenzano la competenza e la comprensione della tecnologia digitale di una persona. Questa strategia mira a essere in linea con studi che cercano di chiarire modi per permettere a lavoratori e nuove tecnologie di collaborare, in modo che lavori e operazioni diverse possano essere svolti nelle^{imprese 21,22.} Poiché offre loro un'esposizione a una base di consumatori più ampia, la DL è vista come fondamentale per la sopravvivenza delle piccole^{imprese 23}. Rispetto alle strutture aziendali tradizionali, i manager delle PMI possono gestire le loro aziende in modo più efficiente e con meno asset fisici grazie ai progressi^{tecnologici 24,25}.

Lo sviluppo della capacità di pubblicità online, che di fatto migliora le prestazioni aziendali, dipende da risorse tecnologiche come i progressi tecnologici e il collegamento con gli obiettivi^{aziendali 26}. L'attenzione elettronica di un'azienda e la rivoluzione tecnica nell'ambiente del cliente, tuttavia, funzionano come moderatori di questi impatti²⁷. Le aziende possono utilizzare in modo più efficace il progresso IT e la sincronizzazione per sviluppare le proprie capacità promozionali online, integrando profondamente la tecnologia digitale nelle loro attività, prodotti, offerte e piani.

I due meccanismi delle riserve tecnologiche dell'IA sono le spese in conto capitale (capex), che possono essere utilizzate per l'organizzazione di piattaforme Big Data, aggiunte e progressi, e schemi di invenzione nella scienza dell'informazione e nel machine learning, o costi operativi, utilizzati per concedere licenze per strumenti di IA e Big Data all'interno dell'organizzazione, oppure, infine, la formazione relativa all'IA per i membri dello staff²⁸. I benefici dell'adozione dell'IA sono maggiori per le aziende che si occupano anche di altre tecnologie e seguono la strategia interna di R&S, secondo l'analisi^{di Lee 29}sulle attività degli asset di IA. Inoltre, è fondamentale decidere tra impiegare le autorità esterne e utilizzare personale interno con competenze IA³⁰. La posizione delle risorse umane in questo campo di formazione è un focus principale della ricerca attuale, e i risultati mostrano che le aziende con conoscenze interne sull'IA investono nello sviluppo di tali talenti per ottenere un vantaggio rispetto ai^{rivali 31,32}.

Le interazioni proteiche sono state previste con i GNN in³³ e le previsioni sono state verificate con gli LLM. L'approccio era molto accurato e forniva spiegazioni interpretabili. Tecniche avanzate di machine learning e deep learning come BERT sono state utilizzate per studiare dati su larga scala sui social media in tempi di^{crisi 34}. RNN, CNN e GCN aiutano a elaborare e classificare enormi quantità di dati e possono essere applicate nella rilevazione di^{tumori 35}. Gli autori nei^{36, 37, 38, 39}presentano un approccio innovativo per aumentare i sistemi di raccomandazione integrando sia grafi sociali che di conoscenza con modelli basati su GNN.

Ricerche precedenti non hanno ancora approfondito come l'estrazione semantica basata su trasformer e il ragionamento basato su grafi possano essere sistematicamente integrati per migliorare sia le funzioni operative che strategiche della gestione dei casi, nonostante l'IA e l'analisi dei Big Data siano riconosciute come forze trasformative negli ambienti professionali. In particolare, mancano i framework consolidati che (i) trasformano il testo aziendale non strutturato in grafi di conoscenza semanticamente allineati, (ii) garantiscano la coerenza a livello ontologico tra fonti distanti e (iii) valutano statisticamente l'impatto del supporto decisionale aziendale.

Per colmare questa lacuna, questo studio prevede che, rispetto ai tradizionali sistemi KM basati su ERP/MIS e basati su parole chiave, combinare l'estrazione di informazioni basata su trasformatore adattivo al dominio con l'allineamento e il ragionamento di ontologie guidati da GNN aumenterà notevolmente la precisione semantica del recupero e ridurrà la latenza decisionale aziendale. In questo studio è proposto un framework KM eseguibile basato su IA-Big Data Analytics. Può svolgere i seguenti compiti: estrazione di entità e relazioni specifiche per dominio utilizzando un modello di trasformatore finemente calibrato; costruzione di grafi di conoscenza da triple estratte; allineamento ontologico basato su GNN e ragionamento relazionale; e valutazione orientata al compito utilizzando metriche di precisione al recupero, accuratezza dell'allineamento e latenza decisionale.

La novità dell'approccio suggerito è il suo allineamento KM a doppio livello, che contemporaneamente supporta la KM strategica attraverso un'integrazione strutturata della conoscenza che migliora l'agilità organizzativa e la capacità di innovazione; e Operational KM attraverso un supporto decisionale potenziato, ottimizzazione dei processi e recupero contestuale. Questo articolo offre un'architettura end-to-end, empiricamente comprovata, implementata in due sistemi aziendali reali, in contrasto con precedenti ricerche concettuali o single-model. I risultati sperimentali mostrano una diminuzione del 35% della latenza decisionale e un aumento del 21% della precisione del recupero. Inoltre, collegando output guidati dall'IA a rappresentazioni di conoscenza semanticamente organizzate, il sistema migliora l'interpretabilità e facilita decisioni trasparenti e responsabili. Questo studio crea un paradigma scalabile e ripetibile per la costruzione di grafi di conoscenza aziendale e la gestione intelligente della tecnologia in ambienti avanzati di trasformazione digitale, in linea con i principi dell'Industria 6.0, fondendo metodicamente la codifica contestuale basata su trasformatori con il ragionamento semantico basato su grafi.

Protocol

Dichiarazione etica

Questo studio è stato esaminato e approvato dall'Institutional Review Board (IRB) della National University of Malaysia (UKM) prima della raccolta dei dati (Approval ID: UKM/FEP/2025/AI-047; Data di approvazione: 12 marzo 2025). Il protocollo approvato copriva l'amministrazione di sondaggi strutturati e interviste semi-strutturate con partecipanti umani. Tutti i partecipanti sono stati informati sullo scopo dello studio, sulla natura volontaria della loro partecipazione e sul loro diritto di ritirarsi in qualsiasi momento senza conseguenze, e il consenso scritto informato è stato ottenuto prima della loro inclusione. L'anonimato e la riservatezza dei partecipanti sono stati rigorosamente mantenuti, senza alcuna informazione personale identificabile nell'analisi o nella pubblicazione, e tutti i dati sono stati conservati in modo sicuro e utilizzati esclusivamente per scopi di ricerca accademica, in conformità con gli standard etici istituzionali e le linee guida internazionali pertinenti per la ricerca su soggetti umani.

Architettura complessiva del framework proposto BERT–GNN KM

Inizialmente veniva utilizzato un encoder trasformatore finemente calibrato per elaborare testi non strutturati, inclusi documenti interni, interazioni con i clienti e contenuti dei social media. L'architettura complessiva del flusso di lavoro KM basato su BERT–GNN è mostrata nella Figura 1. I dati aziendali utilizzati in questo studio sono stati raccolti in formati digitali, inclusi file di sondaggi strutturati, trascrizioni di interviste, rapporti interni aziendali e documenti di case study disponibili pubblicamente. Tutti i documenti furono consolidati in un corpus unificato per l'analisi. Il contenuto testuale veniva estratto da queste fonti e pulito per rimuovere metadati irrilevanti, voci duplicate e artefatti di formattazione. Il corpus pulito veniva poi segmentato in frasi e tokenizzato per prepararlo all'elaborazione successiva del linguaggio naturale come l'estrazione di testo tramite parser, la rimozione del rumore, la segmentazione delle frasi e la tokenizzazione tramite tokenizzatore di pezzi Word. Questo dataset testuale elaborato ha servito come input per il modello fine-tuned per l'estrazione di entità^{e relazioni 33} , che ha 12 livelli con 12 teste di attenzione e 768 unità nascoste. I dati estratti sono stati organizzati in un Knowledge Graph, che forniva una rappresentazione strutturata e interconnessa della conoscenza attraverso la mappatura ontologica del dominio aziendale. I GNN sono stati applicati per l'allineamento ontologico utilizzando la similarità e il ragionamento del coseno, per garantire che le relazioni semantiche tra i domini della conoscenza fossero accuratamente catturate e dedotte logicamente rimuovendo i duplicati tramite la somiglianza delle stringhe con la soglia 0,85. Le conoscenze elaborate sono state poi utilizzate all'interno dello strato decisionale, consentendo un'analisi efficiente dei dati e facilitando decisioni basate sui dati. Questa architettura trasformava dati frammentati in risorse informative intelligenti e consapevoli del contesto. Il framework è stato validato tramite simulazioni di business case e confrontato con sistemi KM convenzionali come Naive Bayes (NB), Support Vector Machine (SVM), Random Forest (RF), TF-IDF, LDA, BERT only e BERT con KG, con una suddivisione del dataset di 70:15:15 e una vista fissa di 42 per valutare miglioramenti di performance nell'accuratezza del recupero, latenza decisionale e utilità della conoscenza.

Figura 1. Architettura complessiva del sistema del flusso di lavoro KM basato su BERT-GNN. Architettura complessiva del sistema AI–BDA–GNN che mostra l'ingestione di dati multi-sorgente, la pre-elaborazione, il BERT fine-tuned per l'estrazione semantica, la popolazione KG, l'allineamento/ragionamento ontologico basato su GNN e lo strato decisionale. Le frecce indicano il flusso dei dati e i cicli di feedback opzionali per l'apprendimento online. Clicca qui per visualizzare una versione più grande di questa figura.

Acquisizione dati

Il dataset utilizzato in questo studio è stato raccolto da più fonti per supportare la rappresentatività e la validità esterna. La raccolta dei dati primari tramite sondaggi strutturati e interviste semi-strutturate con professionisti dei settori IT, manifatturiero, sanitario e educativo includeva membri certificati della Camera dei Revisori Finanziari della Romania. I dati secondari includevano documenti interni aziendali anonimizzati, rapporti annuali e casi di studio sulla trasformazione digitale disponibili al pubblico. La raccolta dei dati è stata effettuata all'interno di un periodo di studio ben definito e tutti i documenti sono stati anonimizzati per motivi di autorizzazione etica istituzionale per proteggere la riservatezza e garantire la conformità.

Criteri di selezione della partecipazione: Per garantire rigore metodologico e rappresentatività, i partecipanti sono stati scelti in base a criteri ben definiti di inclusione ed esclusione. Oltre a essere attivamente coinvolti nella trasformazione digitale, nella gestione della tecnologia, nell'intelligenza artificiale, nell'analisi dei big data o in iniziative di sistemi informativi aziendali, i partecipanti idonei dovevano avere almeno tre anni di esperienza professionale in IT, manifattura, sanità, istruzione, contabilità o ambienti aziendali correlati. Era necessario che i professionisti certificati avessero lo status di certificazione attiva durante il periodo di raccolta dati (ad esempio, i membri della Camera dei Revisori Finanziari della Romania). Per comprendere accuratamente i materiali del sondaggio e del colloquio e per dare il permesso informato in conformità con il protocollo autorizzato dell'IRB, i partecipanti dovevano anche dimostrare competenza sia in rumeno che in inglese. Coloro che avevano meno di tre anni di esperienza rilevante, uno status professionale inattivo (se applicabile), nessun coinvolgimento diretto nei processi di conoscenza o decisioni a livello aziendale, risposte incomplete al sondaggio (più del 20% di dati mancanti) o controlli di qualità dei dati falliti sono stati tutti esclusi. Inoltre, le trascrizioni delle interviste non sufficientemente dettagliate o pertinenti alle tecniche KM non sono state incluse nell'analisi. Questi standard garantivano un campione di partecipante competente, rappresentativo per il settore e analiticamente solido.

I membri certificati della Camera dei Revisori Finanziari della Romania (CAFR) erano una popolazione target chiave per la raccolta dei dati. Un sondaggio online è stato sviluppato e diffuso tramite i canali di comunicazione interni del CAFR per supportare una distribuzione mirata e alti tassi di risposta. Per formare un campione rappresentativo, sono state esaminate le storie CAFR e sono stati selezionati 250 partecipanti registrati in base alle caratteristiche rilevanti per lo studio.

Struttura degli strumenti del sondaggio: Lo studio ha utilizzato un questionario strutturato con 24 item distribuiti in cinque domini costrutti: agilità organizzativa ed efficienza operativa (5 items), supporto decisionale strategico e capacità di innovazione (5 items), impatto dell'analisi dei Big Data sulla condivisione della conoscenza (5 items), adozione dell'IA nella KM (5 items) ed efficacia percepita dall'utente e usabilità del sistema (4 items). Una scala di Likert a 5 punti, con 1 che indica "fortemente in disaccordo" e 5 che indica "fortemente d'accordo", è stata utilizzata per valutare ogni elemento. Lo strumento è stato contestualizzato per l'implementazione dell'IA aziendale e modificato da scale KM e trasformazione digitale precedentemente validate. Tre studiosi accademici e due esperti di business hanno condotto una revisione esperta per confermare la validità dei contenuti. Per migliorare il linguaggio, valutare la chiarezza e misurare l'affidabilità, è stata condotta una ricerca pilota con 20 operatori; tutti i componenti avevano valori alfa di Cronbach superiori a 0,80, mostrando una forte coerenza interna. Sono state inoltre effettuate interviste semi-strutturate per integrare i risultati del sondaggio. Nella guida al colloquio sono state trattate cinque aree tematiche: esperienza con la trasformazione digitale, difficoltà nel flusso di conoscenza aziendale, integrazione di AI e Big Data nel processo decisionale, ostacoli all'allineamento semantico e questioni di governance etica. Ogni intervista è stata effettuata con consenso informato, durava circa 45-60 minuti, veniva registrata audio e poi trascritta per analisi qualitativa.

Per valutare le prestazioni del framework BERT-GNN suggerito per la KM in organizzazioni in trasformazione digitale, è stato preparato un dataset ampio e diversificato da diverse fonti in diversi settori. Il dataset copre aspetti quantitativi e qualitativi per rappresentare le percezioni dinamiche riguardo al flusso della conoscenza e al cambiamento organizzativo. Sono stati raccolti dati strutturati da oltre 250 professionisti tramite un questionario online composto da item su scala Likert (intervallo 1–5) per misurare gli effetti percepiti dell'Intelligenza Artificiale (IA) e dell'Analisi dei Big Data (BDA) sulla condivisione della conoscenza, l'innovazione e l'agilità aziendale. Contemporaneamente, dati non strutturati sono stati raccolti tramite interviste semi-strutturate con 30 esperti del settore, fornendo oltre 120.000 parole di trascrizione. Ulteriori materiali semistrutturati, inclusi rapporti annuali aziendali e documenti strategici digitali (oltre 50 documenti), sono stati raccolti per contestualizzare i modelli di adozione su scala aziendale. Inoltre, sono stati aggiunti 15 casi di studio dettagliati provenienti dai settori IT, manifatturiero, sanitario e educativo per offrire contesti di trasformazione pratica. Documenti della knowledge base interna (circa 200 MB), anonimizzati per motivi di privacy, sono stati anch'essi inclusi per migliorare la rappresentazione degli asset operativi di conoscenza. Questo dataset multi-fonte consente un solido flusso di addestramento e valutazione per i modelli di deep learning e cattura sia gli aspetti strategici che operativi della KM. La Tabella 1 mostra il campione di popolazione utilizzato per la valutazione.

Componente	Tipo	Fonte	Dimensioni/Volume
Risposte ai sondaggi professionali	Strutturato	Sondaggi online di 250+ professionisti	~10.000 record
Trascrizioni delle interviste	Non strutturato	Interviste semi-strutturate con 30 esperti	~120.000 parole
Rapporti aziendali	Semi-strutturato	Rapporti annuali e documenti di strategia digitale	50+ documenti
Casi di studio	Misto	Casi d'uso specifici per la trasformazione digitale specifici del settore	15 casi dettagliati
Contenuto della Knowledge Base	Non strutturato	Documenti interni delle organizzazioni (anonimizzati)	~200 MB

Pre-elaborazione dei dati e messa a punto fine BERT

I dati grezzi dei documenti aziendali venivano acceduti da liste curate e preprocessati utilizzando segmentazione delle frasi, tokenizzazione, rimozione delle parole di arresto e normalizzazione per soddisfare i requisiti del tokenizzatore. Il modello pre-addestrato veniva poi ulteriormente modificato per affinare il modello per un determinato compito, e affinato per eseguire un compito di riconoscimento entità (NER) e di estrazione delle relazioni (RE) nominato. Il modello è stato fine-tuned sui dati preprocessati del corpus per un particolare conteggio di epoche con l'ottimizzatore Adam. Infine, sono stati prodotti inglobatori di parole contestualizzati (R⁷⁶⁸) a partire da entità identificate e dalle loro relazioni. Le entità normalizzate venivano generate da una tecnica di normalizzazione basata su ontologie, in cui entità diverse, come i sinonimi, venivano convertite in forma normalizzata. Ogni entità distinta e normalizzata era un nodo, mentre la relazione tra entità era chiamata spigolo nella rappresentazione del grafo della conoscenza. Gli embedding di entità normalizzate generati dal modello formavano le caratteristiche iniziali dei nodi della Rete Neurale Grafo. Nel passaggio successivo, la Rete Neurale Graph è stata addestrata con il metodo per la predizione supervisionata dei link, con campionamento negativo ottenuto tramite corruzione dei bordi. Durante l'addestramento, c'è una perdita di entropia incrociata su diverse epoche. Il framework addestrato è stato valutato utilizzando Knowledge Retrieval Precision, Decision Making Latency e User Satisfaction Rate come metriche di valutazione.

Un approccio ibrido di annotazione è stato utilizzato per creare etichette di addestramento per RE e NER. Due esperti indipendenti annotavano manualmente un corpus specifico di documenti aziendali per dominio, come report interni, log di interazione con i clienti e documenti di policy, utilizzando uno schema ontologico predeterminato che identificava categorie di entità (come Organizzazione, Processo, Tecnologia, Ruolo, KPI) e tipi di relazione (come supporti, depends_on e miglioramenti). Per garantire uniformità nella direzionalità delle relazioni e nel rilevamento dei confini delle entità, sono state create linee guida complete per l'annotazione. Il 20% del dataset è stato annotato doppiamente per valutare l'affidabilità. Il Kappa di Cohen è stato utilizzato per testare l'accordo tra annotatori, e i risultati hanno mostrato una forte concordanza (κ = 0,87 per l'etichettatura delle entità e κ = 0,82 per l'estrazione delle relazioni). La supervisione debole è stata poi utilizzata per espandere il dataset annotato manualmente utilizzando pattern matching basato su regole e con ontologie vincolate, con filtraggio basato sulla fiducia per ridurre il rumore. Per garantire la completa riproducibilità, sono state registrate tutte le procedure di annotazione, le definizioni di ontologie, le suddivisioni dei dataset e i semi casuali.

L'efficienza nella precisione è stata misurata a livello di documento, la latenza è stata stimata sulla base del tempo di risposta end-to-end alle query e gli utenti sono stati soddisfatti utilizzando i questionari sulla scala Likert. Alla fine di ogni stadio, venivano stabiliti i checkpoint del protocollo successivo. (i) checkpoint di uscita BERT - entità campionari e triple di relazione estratte; (ii) campione di checkpoint KG di sottografo costruito con etichette ontologiche; (iii) Checkpoint GNN - esempio di previsione ontologica e collegamento inferito; e (iv) punto di controllo di recupero - campione di elementi di conoscenza recuperati con etichette di rilevanza.

Il protocollo proposto ha la seguente struttura: pipeline deterministica a più stadi con output intermedi ben definiti, che consente la piena riproducibilità. Passo 1, Dopo l'ingestione e la pre-elaborazione di dati aziendali grezzi, semi-strutturati e non strutturati, verranno generati corpi di testo puliti e matrici di caratteristiche numeriche normalizzate. Passo 2: L'applicazione di modelli BERT fine-tuned sarà eseguita per l'estrazione della conoscenza, fornendo output espliciti sotto forma di entità nominate, come Dipartimento, Processo, Documento e KPI; (ii) relazioni semantiche tra entità, rappresentate come triple soggetto-predicato-oggetto. Al Passaggio 3, questi tripli vengono trasformati in un grafo di conoscenza iniziale, in cui i nodi sono entità e le relazioni sono archi tipati, allineati con uno schema ontologico predefinito. Al Passo 4, l'applicazione della Rete Neurale a Grafo a questo grafo per l'allineamento e il ragionamento delle ontologie genererebbe embedded di nodi migliorati, inferisce relazioni e allinea etichette ontologiche. Lo Step 5 fornisce il grafico di conoscenza finale e i risultati di ragionamento che alimenteranno il recupero semantico, il supporto decisionale e la valutazione delle prestazioni.

Tutti gli artefatti intermedi, inclusi elenchi di entità, triple di relazioni, grafi allineati con ontologie e collegamenti deduti, sono generati esplicitamente in ogni fase di questo protocollo, permettendo la replica indipendente della ricerca senza necessità di promemoria.

Il dataset è suddiviso in set di addestramento, set di validazione e set di test secondo un rapporto fisso di 70:15:15 per garantire la riproducibilità dei risultati dell'esperimento. Tokenizzazione, minuscolo, rimozione delle parole stop e abbreviazione della sequenza a 512 token sono tutti realizzati per BERT in termini di preparazione del testo. D'altra parte, la normalizzazione Z-Score viene utilizzata per normalizzare le caratteristiche strutturali. Inoltre, il modello BERT è ottimizzato utilizzando la libreria del framework di deep learning con l'ottimizzatore Adam, dove il tasso di apprendimento è 2e-5, la dimensione del lotto è 16 e il numero di epoche è 5. Le entità e le relazioni estratte previste vengono salvate in un formato standard per la costruzione del grafo della conoscenza. Inoltre, l'embedding del nodo del grafo della conoscenza (R⁷⁶⁸) viene utilizzato come input per il GNN per l'allineamento e il ragionamento delle ontologie.

Interfaccia BERT-GNN e flusso dati

All'interno del framework proposto, il transformer encoder è finemente calibrato per svolgere due compiti di NLP: il compito NER e il compito RE su un corpus di testo aziendale. Infine, i risultati dei modelli includono embedding contestualizzati dei token (R⁷⁶⁸), etichette di classificazione delle entità e triple relazionali soggetto-predicato-oggetto. Le entità normalizzate vengono utilizzate costruendo un'ontologia aziendale predefinita, dove variazioni testuali e sinonimi dell'entità sono mappati a un identificatore di entità. A ogni entità normalizzata unica viene assegnato un nuovo nodo entità all'interno del grafo di conoscenza costruito. A seconda della dimensione del corpus industriale, il grafo della conoscenza generato negli scenari aziendali valutati ha tra 18.000 e 25.000 nodi entità e 42.000 e 60.000 archi relazionali tipizzati. Persona, Dipartimento, Processo, Prodotto, Organizzazione e Documento sono solo alcuni dei tipi di nodi presenti nel grafo. Altri tipi di bordi includono works_for, gesti, belongs_to, prodotti, approved_by e related_to. A ogni nodo viene fornito un identificatore distinto basato su ontologie ontologiche derivate da un'ontologia aziendale predeterminata. Di conseguenza, il grafo eterogeneo risultante presenta archi tipizzati che rappresentano relazioni normalizzate e nodi tipizzati con proprietà di immersione semantiche. Dopodiché, i GNN ottengono questi embedding di nodi per il ragionamento relazionale e l'allineamento dell'ontologia. Fondamentalmente, il GNN funziona sul grafo generato senza propagare gradienti verso l'encoder BERT, garantendo l'addestramento modulare e mantenendo la separazione tra le componenti di ragionamento del grafo ed estrazione semantica.

BERT è stato utilizzato in questo studio per la modellazione contestuale del linguaggio e l'estrazione semantica delle caratteristiche. Il modello può imparare in modo efficiente a prevedere le giuste etichette delle categorie per nuovi input di testo se finemente calibrato utilizzando dati etichettati su misura per un obiettivo di classificazione specifico. Poiché BERT è bidirezionale, considera sia il contesto precedente che quello successivo di ogni parola, consentendo una comprensione più completa delle relazioni all'interno del testo. L'encoder del modello BERT-base è composto da 12 blocchi trasformatori, ciascuno contenente 12 testine di autoattenzione e una dimensione nascosta di 768. Prima dell'elaborazione, il testo di input viene suddiviso in token a seconda dell'approccio di tokenizzazione selezionato, che possono rappresentare parole o sotto-parole. La rappresentazione della sequenza derivata tramite BERT è descritta nel Supplementary File 1. I parametri del modello sono ottimizzati minimizzando la probabilità logaritmica dell'etichetta corretta (Figura 2).

Figura 2. Processo di lavoro dettagliato del modello BERT utilizzato per estrarre le caratteristiche semantiche. Mostra le dimensioni di input/output e il ruolo degli embedding contestuali per la popolazione KG. Clicca qui per visualizzare una versione più grande di questa figura.

Costruzione di grafi della conoscenza usando GNN

Lo schema per il Knowledge Graph è predefinito prima di costruire il grafo. Fornisce coerenza semantica. L'ontologia è predefinita in relazione a un numero finito di tipi sia per entità che per tipi di relazione, insieme a vincoli di ambito, che sono utili per il ragionamento. Lo schema è applicabile per popolare il grafo a partire dai tripli raccolti dal modello BERT così come per il messaggio consapevole della relazione che passa attraverso il GNN.

All'interno di questo quadro, il Knowledge Graph (KG) funge da rappresentazione strutturata della conoscenza aziendale, delle entità di modellazione (ad esempio, dipartimenti, documenti, processi) e delle relazioni semantiche tra di esse. Le derivate matematiche di KG sono aggiunte nel file supplementare 1. Questa integrazione della costruzione KG e del ragionamento basato su GNN consente l'allineamento ontologico, l'inferenza delle relazioni e un recupero semantico migliorato all'interno del framework KM aziendale.

Il Grafo della Conoscenza (KG) è rappresentato come un grafo eterogeneo G, mentre la sua struttura è espressa dalla sua ontologia O. KG può essere visto alternativamente come un insieme di fatti espressi tramite affermazioni di ragionamento predicatico. Questi fondamenti hanno le descrizioni successive³⁴. Il grafo G è variato, con V che rappresenta l'insieme di oggetti o nodi (entrambi possono essere usati in modo intercambiabile) e rappresenta l'insieme delle relazioni. Un tripletto () può anche essere usato per caratterizzare rispettivamente un paio di oggetti v₁ e la loro associazione . La derivazione matematica della costruzione KG usando GNN è descritta nel File Supplementare 1.

Allineamento e ragionamento di ontologie basati su BERT-GNN

L'algoritmo 1 mostra l'Allineamento e il Ragionamento dell'Ontologia basati su GNN. Il processo inizia iniziando con l'inizializzazione delle capacità dei nodi utilizzando embedding pre-estratti insieme a quelle generate tramite una versione BERT ottimizzata di alta qualità, che cattura il significato semantico di ciascuna entità dal testo non strutturato. Il grafo di conoscenza, composto da nodi (entità) e archi (relazioni), è rappresentato dall'uso di una matrice di adiacenza (A) e di una matrice di caratteristiche (X).

L'insieme di regole procede attraverso più di un livello GNN. Ad ogni livello, la rappresentazione di un nodo è aggiornata tramite l'aggregazione dei dati dei nodi vicini, ponderati dalla loro connettività (cioè usando la matrice di adiacenza). Questo è formulato matematicamente usando un metodo di passaggio di messaggi, in cui gli embedding dei nodi vengono espansi tramite matrici di peso addestrabili e passati tramite una caratteristica di attivazione non lineare che include ReLU. Una fase di normalizzazione (ad esempio, normalizzazione dei layer o l'uso di matrici di diploma come nell'equazione GCN) garantisce una conoscenza stabile di acquisizione di tutti i livelli.

Dopo aver ripetuto questo processo per un intervallo predefinito di strati T, il modello produce un insieme finale di embedded di nodi Z, che codificano ogni intorno e la sua forma e capacità semantiche. Questi embedding vengono poi superati tramite uno strato soft max di classificazione per prevedere etichette ontologiche allineate, inclusi gli ordinamenti delle entità (ad esempio, "Dipartimento", "Prodotto", "Progetto") o ruoli semantici all'interno della società.

Algoritmo 1: Allineamento e ragionamento di ontologie basati su GNN BERT

Il processo di allineamento e ragionamento di ontologie basato su GNN operava sul Knowledge Graph costruito, che consisteva in entità rappresentate come nodi e le loro relazioni rappresentate come archi. Le rappresentazioni iniziali dei nodi sono derivate da embedding semantiche basate su BERT e organizzate in una matrice di caratteristiche. La matrice di adiacenza rappresentava la struttura di connettività del grafo, e un numero predefinito di strati GNN veniva applicato per affinare le rappresentazioni dei nodi. Per ogni livello, il modello aggiornava ogni nodo aggregando informazioni dai nodi vicini basandosi sulla struttura del grafo. Questa aggregazione in Eqn (1) consiste nel moltiplicare rappresentazioni di nodi vicini con matrici di pesi addestrabili, aggiungere un termine di bias e applicare una funzione di attivazione non lineare.

(1)

Dopo ogni aggiornamento di livello, veniva applicata la normalizzazione per stabilizzare l'addestramento e garantire scale di embedding coerenti. Una volta processati tutti gli strati, venivano ottenuti gli embedding finali dei nodi. Questi embedding venivano poi passati attraverso uno strato di classificazione con una funzione softmax per prevedere etichette ontologiche allineate o classi di entità. La procedura produceva gli embeddings finali raffinati dei nodi e le etichette allineate all'ontologia previste come output.

Il metodo proposto consente l'allineamento semantico di entità provenienti da più fonti e supporta il ragionamento sul grafo della conoscenza inferendo nuove relazioni e classificando nodi precedentemente non etichettati.

Figura 3. Allineamento ontologico e ragionamento semantico usando GNN. Illustra i passaggi di passaggio dei messaggi di quartiere e l'incorporamento degli aggiornamenti. Clicca qui per visualizzare una versione più grande di questa figura.

Le caratteristiche aggregate vengono trasformate usando matrici di pesi specifiche per relazione e una funzione di attivazione non lineare (ad esempio, ReLU), generando embedding aggiornati dei nodi che integrano caratteristiche semantiche derivate da BERT con le informazioni strutturali del grafo. Questi embedding vengono poi passati a uno strato di classificazione softmax per prevedere etichette di entità o classi di ontologie allineate. Questo processo consolidato rende il GNN estremamente efficace per la valutazione dei grafici tecnologici, supportando compiti come la disambiguazione delle entità, l'inferenza di corteaggio e la tipologia semantica, contribuendo infine a strutture di controllo statistiche più intelligenti e spinte dall'IA (Tabella 2).

Componente	Descrizione
Framework/Toolkit	Python 3.9, PyTorch 2.0.1, Trasformatori di Faccia Abraccianti 4.34, DGL 1.1 (Libreria di grafi profondi)
Hardware	GPU NVIDIA Tesla V100 (16GB), 128GB RAM, Ubuntu 20.04
Pipeline di pre-elaborazione	Tokenizzazione (Word Piece per BERT), rimozione di parola di arresto, riconoscimento di entità (SpaCy), normalizzazione z-score per caratteristiche numeriche
Fonti del dataset	Sondaggio professionale (250+ risposte), trascrizioni dei colloqui (~120.000 parole), rapporti aziendali (50+), casi di studio (15), documenti interni (200MB)
Divisione dei dati	70% addestramento, 15% validazione, 15% test
Modello di codificatore di testo	Base BERT (non custodita), 12 strati, 768 dimensioni nascoste, 12 teste di attenzione
Messa a punto BERT	4 epoche, dimensione del lotto = 32, tasso di apprendimento = 2e-5, ottimizzatore Adam, lunghezza massima del seq = 512
Costruzione del grafo	Estrazione di conoscenza basata su triplet (soggetto, predicato, oggetto)
Tipo di grafo	Grafo eterogeneo con archi multirelazionali (entità dall'output BERT)
Architettura GNN	Rete neurale eterogenea a grafo a 2 livelli (modello di passaggio di messaggi)
Iperparametri GNN	Dimensione nascosta = 128, Attivazione = ReLU, Ottimizzatore = Adam, Velocità di apprendimento = 0,001
Tipo di decodificatore	Dist. Mult con punteggio a prodotto scalare per la previsione dei link
Funzione di perdita	Entropia binaria incrociata per la classificazione dei tripletti

Infine, il protocollo si conclude con la generazione dei seguenti output: un grafo di conoscenza aziendale allineato all'ontologia, modelli BERT e GNN, risultati di recupero e ragionamento delle informazioni, e i report di KRP, OAA, DML e USR. Questi forniscono l'output finale in forma riproducibile. Per il campionamento negativo durante l'addestramento GNN, i triplet validi vengono corrotti tramite la sostituzione di entità secondo i vincoli di tipo definiti dall'ontologia. Gli allineamenti ontologici risultanti vengono validati per la coerenza e revisionati manualmente da esperti del settore per garantire coerenza semantica tra entità estratte e classi di ontologie canoniche.

Criteri di valutazione

La latenza decisionale è la misura del tempo totale impiegato dal sistema per fornire una risposta azionabile dopo che la query utente è stata inviata. Sia i la query dell'utente, il momento in cui la query viene inviata, il momento in cui il sistema fornisce l'output decisionale finale. La latenza decisionale (DML) è data da:

(2)

dove è il numero totale di query valutate. Questa metrica misura il tempo di risposta complessivo del quadro proposto, dal recupero della conoscenza alla generazione della risposta. Un valore inferiore per questa metrica è ideale poiché mostra un tempo di risposta di sistema più rapido, cruciale per applicazioni decisionali aziendali sensibili al tempo.

Il Rapporto di Copertura della Conoscenza è il rapporto tra la capacità del sistema di recuperare tutti gli elementi di conoscenza rilevanti disponibili per una determinata query. Sia l'insieme di tutti gli elementi di conoscenza rilevanti per la query q, sia l'insieme degli elementi di conoscenza effettivamente recuperati dal sistema. Il Rapporto di Copertura della Conoscenza (KCR) è definito come:

(3)

Questa formula calcola la completezza degli elementi di conoscenza recuperati. È equivalente alla misura di richiamo utilizzata nei sistemi tradizionali di recupero delle informazioni.

Results

Pre-elaborazione dei dati e messa a punto fine BERT

Il dispositivo proposto integra una versione BERT al meglio calibrata per l'estrazione di comprensione non strutturata e una Rete Neurale a Grafo (GNN) per l'allineamento e il ragionamento di ontologie all'interno di un framework di grafo di comprensione. La configurazione sperimentale si concentrava sul confronto delle prestazioni complessive della parte BERT sui compiti NER e RE, mentre il ...

Discussion

Questo studio presenta un framework unificato per la gestione delle tecnologie aziendali che integra l'estrazione semantica contestuale usando BERT con ragionamento relazionale basato su grafi e allineamento ontologico tramite GNN. Per consentire il collegamento di entità, il ragionamento tra documenti e una rappresentazione coerente della conoscenza tra fonti di dati aziendali disparate, il contributo principale è l'integrazione di una modellazione linguistica contestuale profonda con u...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Modello preaddestrato BERT-Base (Non Custodito)	Google AI	N/A	Modello linguistico pre-addestrato basato su Transformer (variante senza case senza base bert)
Libreria Profonda di Grafi (DGL)	AWS Labs	RRID: SCR_017054	Versione 2.1 utilizzata per la modellazione di reti neurali a grafo
Libreria di visualizzazione Matplotlib	Comunità PyData	RRID: SCR_008624	Utilizzato per grafici di performance e analisi visive
Libreria di grafi NetworkX	Comunità PyPI	RRID: SCR_005317	Versione 3.2 utilizzata per la costruzione e l'analisi dei grafi
Libreria di calcolo numerico NumPy	Comunità PyData	RRID: SCR_008633	Utilizzato per operazioni numeriche e elaborazione di array
GPU NVIDIA (Tesla T4 / RTX 3080)	NVIDIA Corporation	RRID: SCR_016409	Acceleratore hardware abilitato CUDA per l'addestramento dei modelli
Biblioteca di Analisi Dati Pandas	Comunità PyData	RRID: SCR_018214	Utilizzato per la manipolazione di dati strutturati
Linguaggio di programmazione Python	Python Software Foundation	RRID: SCR_008394	Versione 3.10 utilizzata per lo sviluppo di modelli e l'elaborazione dei dati
PyTorch Deep Learning Framework	Meta AI	RRID: SCR_018536	Versione 2.0 utilizzata per l'implementazione di reti neurali
Biblioteca di Machine Learning Scikit-Learn	Sviluppatori Scikit-learn	RRID: SCR_002577	Versione 1.5 utilizzata per la preelaborazione e le metriche di valutazione
Libreria NLP Transformers	Faccia che abbraccia	RRID: SCR_020989	Versione 4.40 utilizzata per modelli di trasformatori pre-addestrati
Sistema operativo Ubuntu Linux	Canonical Ltd.	RRID: SCR_018317	Versione 20.04 Ambiente di esecuzione LTS