Classificazione leggera del testo inglese con deep learning basata sulla teoria dei sistemi complessi

Summary

Questo studio propone una rete neurale a grafo leggera con meta-distillazione e meta-apprendimento per migliorare la classificazione del testo inglese. Migliora la generalizzazione in contesti a basso contenuto di dati e multidominio, riducendo al contempo i costi computazionali e mantenendo alte prestazioni.

Abstract

La globalizzazione e lo sviluppo delle tecnologie dell'informazione hanno favorito un aumento dei dati testuali in inglese, e c'è un urgente bisogno di una classificazione efficiente. Per migliorare la capacità di generalizzazione della classificazione del testo inglese in scenari a campioni piccoli e cross-domain e per ottenere modelli leggeri, questo studio combina la teoria dei sistemi complessi con il deep learning per costruire un modello di reti neurali a grafo che tenga pienamente conto delle caratteristiche distribuzionali dei campioni testuali. Un metodo di meta-distillazione a due livelli, combinato con strategie di meta-apprendimento, regola dinamicamente i parametri del modello insegnante e ottimizza l'intero processo di trasferimento della conoscenza. I risultati sperimentali mostrano che le prestazioni di classificazione del modello proposto nei compiti di classificazione testuale a pochi scatti e cross-domain sono significativamente superiori rispetto a quelle delle tradizionali reti neurali a grafi e di altri modelli comparativi mainstream. In termini di alleggereggerezza, la SM generata dal meccanismo di meta-distillazione a due stadi mantiene un livello estremamente elevato di ritenzione delle prestazioni su dataset di classificazione testuale multi-tema, riducendo significativamente il tempo di calcolo. Inoltre, questo metodo può mantenere un'elevata efficienza e prestazioni di classificazione stabili in scenari di elaborazione di testi lunghi e offre chiari vantaggi nell'efficienza computazionale rispetto ai metodi tradizionali di distillazione e ad altri metodi riportati in letteratura. Il metodo proposto migliora efficacemente le prestazioni di classificazione del testo inglese in scenari applicabili a basso campione e a domini trasversali, riducendo significativamente i costi computazionali, fornendo così una soluzione tecnica fattibile ed efficiente per la classificazione del testo inglese in ambienti a risorse limitate.

Introduction

L'accelerazione della globalizzazione e i progressi nella tecnologia dell'informazione hanno portato alla crescita esplosiva dei dati testuali in lingua inglese in settori come i social media, la ricerca accademica e la comunicazione aziendale. Classificare efficacemente questi testi per il recupero delle informazioni, l'analisi del sentiment, la gestione dei contenuti e altre funzioni è diventato un compito importante nell'elaborazione del linguaggio^{naturale 1}. L'obiettivo della English Text Classification (ETC) è classificare i testi in categorie predefinite in base al loro contenuto semantico. Tuttavia, la complessità del linguaggio naturale, inclusa la sua ambiguità, la dipendenza dal contesto e la diversità espressiva, pone molte sfide ai compiti di classificazione del^{testo 2}. Attualmente, la crescita della tecnologia del Deep Learning (DL) ha creato nuove opportunità per la classificazione dei testi. I modelli linguistici pre-addestrati rappresentati da Bidirectional Encoder Representations from Transformers (BERT) e le sue varianti possono apprendere ricche informazioni semantiche contestuali attraverso il pre-addestramento su corpora su larga scala, migliorando significativamente le prestazioni della classificazione del^{testo 3}. Tuttavia, i metodi ETC attuali affrontano ancora due limitazioni chiave: primo, spesso enfatizzano l'ottimizzazione di un singolo modello o caratteristica, trascurando le proprietà intrinseche del linguaggio come sistema complesso, come la sua dinamicità e il comportamento emergente, il che porta a una generalizzazione inadeguata in scenari a basso contenuto di dati o cross-domain; in secondo luogo, nonostante le ottime prestazioni dei modelli pre-addestrati, il loro alto costo computazionale e l'elevato numero di parametri ostacolano gravemente l'implementazione pratica in ambienti a risorse^{limitate 4,5}. Per affrontare queste problematiche, questo studio propone un quadro leggero di classificazione dei testi che integra la Teoria dei Sistemi Complessi (CST) e il Meccanismo di Meta-Distillazione a Due Stadi (TSMDM).

Nel contesto di questo studio, CST si riferisce al quadro teorico che considera il linguaggio naturale come un tipico sistema complesso con evoluzione dinamica, emergenza semantica e distribuzione eterogenea dell'influenza dei nodi lessicali. Viene applicato per simulare il ruolo dominante del vocabolario di base nella propagazione semantica e la legge emergente della semantica complessiva a partire dalle caratteristiche lessicali locali, migliorando così la profonda comprensione del modello della semantica testuale e l'adattabilità a scenari di dati a poche immagini e a domini trasversali. I suoi contributi principali sono i seguenti: teoricamente, a nostra conoscenza, la CST viene introdotta sistematicamente nei compiti di classificazione del testo, simulando l'evoluzione dinamica e l'emergere semantico dei sistemi linguistici per migliorare la profonda comprensione e l'adattabilità del modello a dati di poche dimensioni e cross-domain. Metodologicamente, viene progettata una Rete Neurale a Grafo (GNN) contenente le caratteristiche della distribuzione del campione. Il TSMDM innovativo combinato è essenzialmente diverso dalla distillazione standard di conoscenza. La distillazione standard della conoscenza realizza un trasferimento unidirezionale da un Modello Insegnante (TM) a parametro fisso a un Modello Studente (SM) leggero. La meta-distillazione in questo studio integra strategie di meta-apprendimento basate sulla distillazione e può regolare dinamicamente i parametri della MT in base al feedback di apprendimento della SM. Il design a due fasi stabilisce inoltre un modello di assistente didattico come livello intermedio di buffer per mitigare la perdita di informazioni causata da eccessivi divari di complessità tra TM e SM, ottenendo un significativo alleggerimento del modello mantenendo un'alta accuratezza e fornendo così una soluzione di classificazione efficiente per scenari a risorse limitate.

Nel campo dell'ETC, i ricercatori hanno condotto un'esplorazione approfondita e proposto varie soluzioni che integrano diverse caratteristiche e architetture di modelli per affrontare sfide tecniche in situazioni differenti. R. Zhang et al. hanno progettato un Modello di Fusione Multi-Feature Multi-Feature Multi-Trained Pre-Trained Multilingue (MP-MFFM) per affrontare il problema della cattura insufficiente delle informazioni strutturali contestuali a lungo raggio nell'ETC utilizzando i metodi DL attuali. Questo metodo combinava BERT, BiLSTM multilingue e CNN testuale per estrarre informazioni semantiche profonde, globali e locali strutturali e fonderle. Questo metodo ha migliorato accuratezza, sensibilità e precisione su tre dataset, verificandone^{l'efficacia 6}. C. Madhu et al. hanno adottato un Dialect Feature-Based Fuzzy Graph Learning Framework (DF-FGLF) per rispondere alle esigenze di classificazione del testo dei dati non strutturati e a basso livello di annotato nei social network, nonché all'impatto delle differenze dialettali sulla classificazione internazionale dell'inglese. Hanno combinato caratteristiche di apprendimento delle differenze semantiche e dialettali per costruire un grafo fuzzy ottimizzato. Quando c'erano solo 10 campioni annotati, il valore F1 per il riconoscimento dialettale e la classificazione del testo superava il 93% e l'80%, superiore a metodi simili e adatto alla classificazione^{pratica 7}. B. Shannaq et al. hanno condotto esperimenti utilizzando dataset in inglese e arabo per indagare l'impatto della lunghezza dei n-grammi sulla classificazione dei testi in diversi sistemi di scrittura e l'effetto delle caratteristiche linguistiche sulla lunghezza ottimale degli n-grammi. Le prestazioni dell'inglese da 2 grammi sono state le migliori (precisione 0,482, richiamo 0,489, valore F1 =0,472), mentre l'arabo 6 grammi è stato il migliore (valore F1 circa 0,85). La morfologia linguistica e le caratteristiche sintattiche hanno influenzato significativamente le prestazioni dei modelli^{n-gram 8}. N. S. Lagutina et al. hanno utilizzato un vettore di testo costruito basandosi su caratteri, vocabolario e caratteristiche bibliometriche della struttura delle frasi per ottenere la classificazione automatica dei testi brevi in inglese per valutare l'apprendimento degli studenti, combinato con classificatori standard di machine learning come SVM. Il valore F1 della SVM nel corpus del Common European Framework of Reference for Languages era del 67%, mentre il valore F1 del modello best-BERT (ber-base-cased) era del 69%. Gli errori erano per lo più in livelli adiacenti e la qualità della classificazione dipendeva dal corpus⁹.

La distillazione della conoscenza, come mezzo efficace per ottenere leggerezza del modello, migliorare le prestazioni del modello in scenari di campioni piccoli e ridurre i costi computazionali, ha inoltre fatto progressi significativi nella ricerca correlata. Ricerche precedenti hanno esplorato l'applicazione della distillazione della conoscenza per affrontare le principali sfide di elaborazione del linguaggio naturale, tra cui: migliorare le prestazioni di modelli a piccoli parametri in condizioni di bassa etichetta, ottimizzare compiti di classificazione del testo multilingue, comprimere modelli pre-addestrati su larga scala tramite strategie di compressione ibrida e distillare rappresentazioni efficaci delle frasi per ridurre il divario di prestazioni tra modelli linguistici grandi e piccoli adattandosi all'hardware vincoli 10,11,12,13. Nonostante questi progressi, gli approcci esistenti alla distillazione della conoscenza presentano ancora limitazioni critiche per l'ETC: mancano di meccanismi dinamici di ottimizzazione per il processo di trasferimento della conoscenza, spesso subiscono una grave perdita di informazioni quando si alternano tra TM altamente complessi e SM leggeri, e non riescono a integrarsi efficacemente con le caratteristiche di distribuzione intrinseca dei dati testuali. Questi svantaggi portano a prestazioni di generalizzazione subottimali in scenari a pochi colpi e a dominio trasversale. I modelli leggeri ottenuti con tali metodi spesso faticano a bilanciare efficacia della classificazione ed efficienza computazionale in ambienti a risorse limitate. Questa è la lacuna chiave che la ricerca in questo articolo mira a colmare.

Questo studio testa la seguente ipotesi di ricerca: innanzitutto, integrare la CST nell'ETC può simulare efficacemente l'evoluzione dinamica e le caratteristiche di emergenza semantica dei sistemi linguistici naturali. Questa integrazione teorica può migliorare significativamente la capacità di generalizzazione del modello in scenari a pochi shot e cross-domain rispetto ai modelli tradizionali di classificazione del testo che ignorano le proprietà complesse del linguaggio dei sistemi. In secondo luogo, un modello GNN progettato con una considerazione esplicita delle caratteristiche della distribuzione dei campioni testuali può compensare le limitazioni dei GNN tradizionali che si concentrano solo sulla modellazione relazionale a livello di istanza, e realizzare un mining più profondo delle informazioni semantiche globali e locali nei testi in inglese. In terzo luogo, il TSMDM combinato con strategie di meta-apprendimento e un modello di assistente didattico può ottenere un trasferimento efficiente e a basso costo di conoscenza da TM complessi a SM leggeri. Questo può ridurre significativamente il costo computazionale e la scala dei parametri del modello mantenendo al contempo un'elevata prestazione di classificazione. Inoltre, il modello leggero derivato da questo meccanismo può comunque mantenere prestazioni di classificazione stabili ed efficienti in scenari di elaborazione di testi lunghi con strutture semantiche complesse.

In sintesi, la ricerca rilevante ha migliorato le prestazioni della classificazione dei testi attraverso la fusione multi-caratteristica, l'apprendimento delle caratteristiche dialettiali, l'ottimizzazione n-gramma e le caratteristiche delle metriche stilistiche, e ha anche raggiunto leggerezza del modello tramite distillazione della conoscenza. Tuttavia, i metodi esistenti presentano ancora carenze nella cattura delle informazioni a lunga distanza, nella generalizzazione di piccoli campioni e nell'adattamento di modelli complessi e semplici. Per ridurre il costo computazionale del modello ETC garantendone l'accuratezza, questo studio costruisce un modello leggero combinando CST e TSMDM per migliorare la capacità di generalizzazione e l'efficienza computazionale del modello.

Protocol

Per migliorare la capacità di generalizzazione dell'ETC in scenari di campioni piccoli e sovradomini e realizzare un modello leggero, questo studio propone un framework di classificazione dei testi che integra CST e TSMDM. Il processo complessivo di questo quadro è mostrato nella Figura 1.

Figura 1: Visualizzazione del framework leggero di classificazione del testo inglese a quattro stadi che integra CST e TSMDM. Il flusso di lavoro è composto da quattro fasi. La fase 1 esegue la rappresentazione del testo utilizzando embedding dinamici basati su BERT dal testo in inglese in ingresso. La fase 2 applica la modellazione delle reti neurali a grafo costruendo un grafo di testo e calcolando relazioni a livello di istanza e distribuzione. Stage 3 modella l'emergere semantico attraverso la ricostruzione della centralità dei nodi e un framework di generazione di prototipi multilivello per ottenere il prototipo finale della categoria. La fase 4 conduce la distillazione elementare a due stadi, in cui viene formato un modello insegnante e la conoscenza viene trasferita tramite meta-distillazione per produrre il modello finale dello studente. Clicca qui per visualizzare una versione più grande di questa figura.

Innanzitutto, nella fase di rappresentazione del testo e incorporamento dinamico, il modello BERT viene utilizzato per incorporare dinamicamente il testo in input e catturare le informazioni semantiche contestuali. La seconda fase è la modellazione GNN consapevole della distribuzione, che considera le caratteristiche di distribuzione dei campioni, costruisce un modello GNN e migliora la rappresentazione delle caratteristiche attraverso una doppia interazione informativa a livello di istanza e distribuzione. La terza fase è la modellazione dell'emergenza semantica guidata dalla teoria dei sistemi ibridi, introducendo la ricostruzione della centralità dei nodi e un meccanismo di generazione prototipo a tre livelli per simulare la dinamica e l'emergere del sistema linguistico. Infine, nella quarta fase, viene eseguita un'operazione leggera di meta-distillazione su due livelli. Il processo di distillazione della conoscenza è ottimizzato attraverso il modello assistente e la strategia di meta-apprendimento per ottenere una compressione e un'accelerazione efficienti del modello.

Modello ETC basato sulle caratteristiche di distribuzione e CST
Panoramica dell'architettura dei modelli
Il modello di classificazione del testo proposto utilizza innanzitutto un BERT pre-addestrato per eseguire la codifica contestuale dinamica del testo di input, generando embedding di parole semanticamente ricchi e una rappresentazione globale. Successivamente, un grafo di istanza e un grafo di distribuzione vengono costruiti da queste caratteristiche: il grafico di istanza cattura le somiglianze campionari a coppie, mentre il grafico di distribuzione modella la distribuzione complessiva dei dati; Lo scambio iterativo di informazioni tra i due grafi consente il miglioramento sinergico delle singole caratteristiche e della struttura globale. Successivamente, la CST viene integrata per ampliare profondamente la rete di grafi. La ricostruzione della centralità dei nodi utilizza PageRank per quantificare l'influenza lessicale, simulando il ruolo dominante degli elementi fondamentali nelle reti linguistiche. Questo è un metodo ampiamente validato per misurare l'influenza globale dei nodi in topologie di rete complesse ed è ben adatto a catturare la diffusione semantica asimmetrica dei nodi lessicali centrali nei sistemi linguistici. Un framework di generazione prototipo "micro–meso–macro" a tre livelli emula il processo emergente dalla semantica locale alle rappresentazioni olistiche delle categorie. Infine, le rappresentazioni delle caratteristiche migliorate vengono inserite in un classificatore per produrre le probabilità finali delle classi.

Interazione delle caratteristiche con GNN consapevole della distribuzione
Per ottimizzare la capacità di generalizzazione dell'ETC, catturare efficacemente complesse relazioni semantiche tra testi e Sample Distribution Features (SDF), questo studio costruisce un modello ETC basato su caratteristiche di distribuzione e CST. Ottiene un profondo mining di informazioni globali e locali nel testo integrando meccanismi come GNN e l'incorporamento dinamico del testo. GNN è un modello DL progettato specificamente per l'elaborazione di dati strutturati a grafi. Il principio fondamentale è utilizzare un meccanismo di passaggio di messaggi (in cui ogni nodo nel grafo aggrega le informazioni di caratteristiche dei nodi vicini) e combinarle con il proprio stato. Attraverso molteplici cicli di aggiornamenti iterativi, apprende gradualmente una rappresentazione ad alta dimensione che include la struttura topologica. Questo processo consente ai nodi di catturare la struttura e le dipendenze di caratteristiche del vicinato locale e persino del grafo globale. Per superare i limiti dei modelli di sequenza tradizionali nella modellazione di dipendenze a lungo raggio e relazioni globali, questo studio utilizza GNN per catturare complesse associazioni semantiche e relazioni strutturali tra campioni. A causa dell'attenzione di GNN sulle informazioni di correlazione diretta tra singoli campioni, ignora le caratteristiche complessive di distribuzione del set^campionario 14,15,16. Pertanto, questo studio propone un modello GNN che considera SDF. Questo modello introduce il BERT per l'incorporamento dinamico del testo e lo combina con una rete prototipo per calcolare le differenze di caratteristiche dei campioni. BERT è un modello linguistico pre-addestrato basato sull'architettura Transformer. Il principio fondamentale è catturare simultaneamente le informazioni semantiche di ogni parola nel contesto tramite un codificatore bidirezionale, e pre-addestrarla su un corpus su larga scala usando due compiti: "modello linguistico mascherato" e "previsione della prossima frase". Nei modelli linguistici mascherati, alcune parole nell'input sono mascherate casualmente, e il modello deve prevedere la parola originale in base al contesto. La previsione successiva determina se le due frasi sono consecutive. Dopo il pre-addestramento, BERT può adattarsi rapidamente a vari compiti di elaborazione del linguaggio naturale tramite la fine tuning, migliorando significativamente le prestazioni e fornendo rappresentazioni di caratteristiche di alta qualità per la successiva costruzione della struttura dei grafi. La struttura specifica del modello ETC costruito in questo studio è mostrata nella Figura 2.

Figura 2: Progettazione architettonica del modello di classificazione del testo inglese integrato in CST considerando le caratteristiche di distribuzione del campione. La figura mostra il design architettonico del modello di classificazione del testo inglese integrato con la teoria dei sistemi complessi (CST) e tiene conto delle caratteristiche di distribuzione dei campioni di testo. L'architettura fonde l'embedding contestuale dinamico basato su BERT, la rete neurale a grafi consapevoli della distribuzione (GNN) e meccanismi di miglioramento CST, e realizza un mining approfondito di informazioni semantiche globali e locali nei testi inglesi tramite modellazione collaborativa multi-modulo. Clicca qui per visualizzare una versione più grande di questa figura.

In questo modello, per un dataset generale, il testo inglese inserito nel modello BERT genera una sequenza di token tramite un tokenizzatore. Il metodo di costruzione della sequenza è mostrato nell'equazione (1).

[CLS], _{un 1},_{un 2},... a_n, [SEP] (1)

Nell'equazione (1), [CLS] è il marcatore di classificazione situato all'inizio della sequenza. BERT genererà uno stato nascosto a posizione fissa per [CLS] durante il processo di addestramento. Questo stato è usato direttamente per la rappresentazione semantica globale dell'intero testo. Un₁, un₂,... _{A n} rappresenta una parola o sottoparola nel testo. [SEP] è un delimitatore usato per segnare la fine di una frase. Dopo l'elaborazione da parte di Bert della sequenza sopra, vengono ottenute le caratteristiche di ciascun token, fornendo informazioni contestuali strutturate per il modello. Per dataset speciali contenenti entità, se vengono utilizzati metodi convenzionali di costruzione di sequenze, le informazioni posizionali contenute dalle entità andranno perse. Pertanto, questo studio costruisce la sequenza utilizzando il metodo mostrato nell'equazione (2).

(2)

Nell'equazione (2), [E1], [/E1], [E2] e [/E2] sono i gettoni impostati per determinare le posizioni di inizio e fine di due entità. Analogamente, dopo l'elaborazione Bert, le caratteristiche di output di questi token trasporteranno informazioni semantiche delle entità corrispondenti, sfruttando così meglio le informazioni importanti sulla posizione dell'entità. Successivamente, questo studio utilizza un modello GNN che considera SDF per migliorare la distribuzione e le caratteristiche di istanza dei campioni. La struttura del modello è mostrata nella Figura 3.

Figura 3: Architettura di interazione delle caratteristiche a doppio grafo del modello di reti neurali a grafo consapevole della distribuzione. La figura presenta l'architettura di interazione delle caratteristiche a doppio grafo del modello GNN consapevole di distribuzione per la classificazione del testo inglese. L'architettura costruisce un grafo a punti per la codifica di similarità a livello di istanza e un grafo di distribuzione per la codifica di similarità a livello di distribuzione, e ottiene il miglioramento delle caratteristiche tramite interazione iterativa delle informazioni tra i due grafi, completando il ciclo informativo cross-level delle caratteristiche delle istance e delle caratteristiche di distribuzione. Clicca qui per visualizzare una versione più grande di questa figura.

Il modello ottiene un miglioramento delle caratteristiche attraverso un meccanismo di interazione a due stadi. Innanzitutto, analizza le caratteristiche di distribuzione dalle associazioni a livello di istanza dei campioni di dati, e poi ottimizza dinamicamente le caratteristiche dell'istanza attraverso lo scambio di informazioni a livello di distribuzione. Rafforzando iterativamente le caratteristiche delle istanze e dei livelli di distribuzione, alla fine completa il compito di classificazione. In particolare, il modello utilizza grafici puntuali e grafi di distribuzione per ottenere lo scambio di informazioni. La mappa dei punti utilizza il vettore di caratteristiche campione di testo (aggiornato dagli ultimi due strati di BERT) come nodo, quantifica la differenza di caratteristiche del campione per calcolare il peso dei bordi tramite una rete di codifica dedicata (uno strato sigmoide + due strati di normalizzazione convoluzionale batch), e utilizza la normalizzazione min-max per normalizzare all'intervallo [0,1. Per la soglia di soglia di soglia empirica di 0,2 è fissata per la soglia di argo, dove gli archi con pesi inferiori a questa soglia vengono potati per eliminare deboli correlazioni a livello di istanza. Il grafico di distribuzione prende le caratteristiche di distribuzione del testo fuso come nodi, con pesi di scordi calcolati in base alla similarità coseno dei vettori di caratteristiche di distribuzione e normalizzati tramite normalizzazione L2 per garantire la coerenza metrica. Viene adottata una soglia di soglia di soglia di 0,15 e gli archi con pesi inferiori a questo valore vengono rimossi, mentre i restanti pesi validi vengono ulteriormente mappati e standardizzati da un perceptrone multilivello per aumentare la discriminabilità delle associazioni a livello di distribuzione. Questo studio definisce un grafico puntuale per l'iterazione a livello l, dove il nodo rappresenta le caratteristiche del campione e l'arco codifica la somiglianza a livello di istanza. La mappa di distribuzione , nodo rappresenta le caratteristiche campionarie e il bordo codifica la somiglianza del livello di distribuzione. Prendendo come esempio la ruota l-esima a l+1-esima, il calcolo della relazione a livello di istanza calcola la somiglianza puntuale tramite differenze di caratteristiche, come mostrato nell'equazione (3).

(3)

Nell'equazione (3), e sono i pesi degli archi tra i e j durante le l-esima e l-1-esima iterazioni del grafico puntuale, riflettendo la somiglianza delle caratteristiche campionarie. è una rete di codifica utilizzata per convertire differenze di caratteristiche dei nodi in scale di peso di bordo, costituite da uno strato di sigmoide e due strati di funzioni di attivazione a lotti di convoluzione. Quando e sono la l-1-esima iterazione, gli autovettori dei nodi i e j vengono aggiornati da Bert negli ultimi due livelli. Successivamente, le caratteristiche di distribuzione vengono calcolate in base alle relazioni di istanza, come mostrato nell'equazione (4).

(4)

Nell'equazione (4), è l'autovettore del nodo i nel grafo di distribuzione a livello l-esimo. MLP₁ è un perceptrone multilivello composto da funzioni di attivazione e strati completamente connessi, che mappa le caratteristiche composite concatenate in nuove caratteristiche di distribuzione. Successivamente, la relazione di distribuzione viene calcolata in base alle caratteristiche della distribuzione, e le caratteristiche dell'istanza vengono calcolate dalla relazione di distribuzione per completare il ciclo informativo cross-level.

Meccanismi di Miglioramento dei Sistemi Complessi
Per migliorare ulteriormente la capacità di generalizzazione, in questo studio viene applicata la CST al modello sopra menzionato. L'evoluzione dinamica dei sistemi complessi si manifesta dalla distribuzione eterogenea dell'influenza dei nodi. Per simulare il ruolo dominante del vocabolario di base nella propagazione semantica nei sistemi linguistici, questo studio introduce l'indice di centralità dei nodi per ricostruire il meccanismo di propagazione dell'informazione. Il grafico a punti H_p costruito per ogni compito scenario utilizza l'algoritmo PageRank per quantificare la centralità del nodo C(h_i), come mostrato nell'equazione (5)¹⁷.

(5)

Nell'equazione (5), α è il coefficiente di smorzamento, α = 0,85. N(_{h i}) rappresenta l'insieme dei nodi vicini, e L(_{h j}) è il grado del nodo. L'equazione (5) sostituisce il processo di propagazione a cascata dell'influenza del vocabolario nelle reti linguistiche simulate, permettendo al vocabolario di base (come verbi e parole tematiche) di acquisire maggiore centralità. Successivamente, la centralità del nodo viene abbinata ai pesi degli archi per regolare dinamicamente la forza di propagazione delle informazioni tra i nodi. La funzione di accoppiamento λ_ij è mostrata nell'equazione (6).

(6)

Nell'equazione (6), σ è la funzione di attivazione sigmoide, W^T è il vettore di peso imparabile, e b indica il termine di bias. L'accoppiamento dei pesi di centralità e di spigoli bilancia dinamicamente le relazioni locali con l'importanza globale, migliorando così l'adattabilità del modello ai cambiamenti dinamici dei compiti. L'emergere della CST si manifesta nella lingua inglese come la semantica complessiva che supera la somma del vocabolario^{locale 18}. Per utilizzare questa caratteristica nell'ETC, questo studio progetta un framework di generazione di prototipi a tre livelli per simulare il processo di emergere dalle micro caratteristiche alle macro categorie, come mostrato nella Figura 4.

Figura 4: Costruzione a passo del framework di generazione di prototipi a tre livelli micro-meso-macro per l'emergenza semantica linguistica. La figura illustra la costruzione passo dopo passo del framework di generazione di prototipi a tre livelli micro-meso-macro per simulare l'emergere semantico linguistico nella classificazione del testo inglese. Il framework costruisce rappresentazioni gerarchiche di categorie di testo tramite micro clustering di sottoclassi con K-means, fusione di prototipi di sottoclassi meso basata sulla ponderazione di somiglianza di distribuzione e integrazione macro non lineare tramite meccanismo di attenzione, simulando la caratteristica emergente di "il tutto è maggiore della somma delle sue parti" nei sistemi linguistici. Clicca qui per visualizzare una versione più grande di questa figura.

Il processo sopra riportato costruisce rappresentazioni di categorie di testo passo dopo passo dal micro al macro per aumentare la capacità di generalizzazione del modello. A livello micro, K sottoclassi vengono generate clusterizzando le rappresentazioni di embedding campione di ciascuna categoria di testo. Le K-means vengono utilizzate per suddividere i campioni all'interno della categoria in sottogruppi, e la posizione del centroide di ciascun sottogruppo viene calcolata come il prototipo della^{sottoclasse 19}. A livello mesoscopico, si calcola la somiglianza di distribuzione di ogni prototipo di sottoclasse, si genera una matrice di similarità e poi i prototipi di sottoclasse vengono riassemblati sulla base dei pesi di somiglianza per quantificare la correlazione tra le sottoclassi. Il calcolo del peso di somiglianza di sottoclasse w_ij è mostrato nell'equazione (7).

(7)

Nell'equazione (7), c'è la divergenza di Jensen-Shannon, usata per misurare la differenza di distribuzione tra due sottoclassi e ²⁰. Infine, i prototipi di sottoclassi vengono ponderati e fusi per ottenere un insieme di rappresentazioni di distribuzione di classi . A livello macro, i pesi di importanza di ogni sottoclasse vengono appresi tramite meccanismi di attenzione e vengono introdotte trasformazioni non lineari per simulare il processo di emergenza, risultando nel prototipo finale della classe c_finale come mostrato nell'equazione (8).

(8)

Nell'equazione (8), α_k significa il peso di attenzione della classe k. U indica la matrice di pesi per trasformazione non lineare. Tanh(·) viene utilizzato per migliorare la rappresentazione non lineare e simulare la complessiva maggiore della somma delle parti caratteristica dei sistemi complessi. Ogni livello cattura la diversità all'interno delle categorie attraverso una struttura di sottoclassi, pesa la distribuzione della somiglianza per ridurre l'influenza delle sottoclassi rumorose e si concentra dinamicamente sulle caratteristiche discriminative attraverso meccanismi di attenzione per migliorare la capacità di generalizzazione del modello. Il CST è principalmente integrato con GNN attraverso due meccanismi. Il primo è introdurre la centralità dei nodi per ricostruire il processo di diffusione dell'informazione e simulare la distribuzione eterogenea dell'influenza lessicale nel sistema linguistico. La centralità dei nodi viene quantificata tramite l'algoritmo PageRank e abbinata dinamicamente ai pesi degli archi, permettendo al vocabolario principale di dominare la propagazione semantica e migliorando l'adattabilità del modello ai cambiamenti dinamici dei compiti. Il secondo è progettare un framework di generazione di prototipi a tre livelli, dal clustering di micro-sottoclassi alla fusione di prototipi di macro-categoria, per simulare la caratteristica emergente nel sistema linguistico secondo cui "il tutto è maggiore della somma delle sue parti". Questo quadro realizza un'integrazione gerarchica dalle caratteristiche locali alla semantica globale attraverso la distribuzione di somiglianza, il pesaggio e i meccanismi di attenzione.

In sintesi, l'innovazione centrale del modello ETC costruito risiede nell'integrazione profonda delle idee del CST nel quadro del GNN. Ricostruendo il meccanismo di diffusione dell'informazione tramite la centralità dei nodi, il modello simula il ruolo principale degli elementi fondamentali nel sistema linguistico e ne migliora l'adattabilità alle dinamiche del compito. Attraverso il framework di generazione prototipo a tre livelli, il modello realizza il processo di emergere dalle caratteristiche locali alla semantica globale, migliorando così la capacità del modello di catturare la diversità e le caratteristiche discriminative all'interno della categoria. Questo metodo evita la limitazione dei GNN tradizionali che si basano solo su relazioni a livello di istanza. Attraverso l'interazione a livello di distribuzione e caratteristiche complesse del sistema, fornisce una nuova soluzione per migliorare la capacità di generalizzazione del modello in scenari a pochi shot e cross-domain.

Le proprietà emergenti della CST corrispondono a un framework di generazione prototipo a tre livelli. Nei sistemi linguistici, il principio che "il tutto è maggiore della somma delle sue parti" si manifesta come un salto semantico dai significati locali delle parole alle categorie testuali complessive. Questo studio simula questo processo attraverso un meccanismo di generazione di prototipi a tre livelli "micro-meso-macro": a livello micro, gli embedding di campioni vengono raggruppati per formare prototipi di sottoclasse; a livello meso, questi prototipi sono ponderati e fusi in base alla somiglianza distributiva; e a livello macro, i prototipi finali di categoria sono sintetizzati in modo non lineare tramite un meccanismo di attenzione. Ad esempio, nella classificazione del sentiment, più parole negative come "deludente", "lento" e "costoso" si fondono e si trasformano in modo non lineare per emergere come un forte sentimento complessivo di "valutazione negativa". La centralità e l'eterogeneità dei nodi nella CST si allineano con un meccanismo di propagazione dell'informazione basato sulla ricostruzione della centralità dei nodi. All'interno delle reti linguistiche, l'influenza delle parole è distribuita in modo diseguale, con parole fondamentali (ad esempio, verbi, termini tematici) che giocano ruoli dominanti nella propagazione semantica. Questo studio quantifica la centralità dei nodi utilizzando l'algoritmo PageRank e la accoppia dinamicamente con pesi di spicco per regolare l'intensità della diffusione delle informazioni tra i nodi. Ad esempio, nella categorizzazione delle notizie, il termine "elezione" ha una grande centralità nei testi politici, portando nodi adiacenti come "vote" e "campaign" a ottenere un peso maggiore durante l'aggregazione delle informazioni, migliorando così la rappresentazione semantica di quell'argomento. La natura dinamica e adattativa della CST corrisponde a GNN consapevoli della distribuzione e a un meccanismo di esperimenti didattici all'interno della meta-distillazione. I sistemi linguistici evolvono dinamicamente in base al contesto e ai requisiti del compito. I modelli catturano i cambiamenti complessivi della distribuzione nei dataset tramite GNN consapevoli della distribuzione. Contemporaneamente, in TSMDM viene introdotto un meccanismo sperimentale didattico guidato dal meta-apprendimento, che consente alle MT di modificare dinamicamente i parametri in base al feedback degli SM. Ad esempio, nell'analisi del sentiment cross-domain, il modello può adattare rapidamente i pesi delle caratteristiche in base alla distribuzione dei dati del dominio target e affinare i parametri della TM durante la meta-distillazione per migliorare l'efficienza di adattamento a nuovi domini.

Modello LTC basato su TSMDM
Pipeline di Meta-Distillazione a Due Stadi
Per affrontare le sfide degli elevati costi computazionali e delle difficoltà di implementazione in ambienti a risorse limitate, viene proposto un modello leggero di classificazione del testo basato su un TSMDM. Questo metodo di meta-distillazione esegue il processo di distillazione in un ordine sequenciale rigoroso con due fasi distinte. La seconda fase viene avviata solo dopo il completamento e la convergenza della formazione della prima fase: 1) la fase di compressione della conoscenza da insegnante a insegnante (TA) e 2) la fase di distillazione leggera da TA-Studente integrata con l'adattamento dei parametri meta-apprendimento. Questo approccio ottiene un trasferimento efficiente della conoscenza da una TM complessa a una SM leggera tramite distillazione a due stadi, incorporando al contempo un meccanismo di meta-apprendimento per ottimizzare dinamicamente la strategia di trasferimento della conoscenza durante il^{processo 21,22.} L'intera pipeline è illustrata nella Figura 5.

Figura 5: Progettazione della pipeline del modello di classificazione del testo leggero con meccanismo di meta-distillazione a due stadi. La figura progetta la pipeline del modello di classificazione del testo leggero con il meccanismo di meta-distillazione a due stadi (TSMDM). La pipeline comprende un modello insegnante (fonte di conoscenza ad alta complessità), un modello di assistente didattico (strato intermedio di buffer di complessità) e un modello studente (modello target leggero), e implementa un trasferimento efficiente delle conoscenze attraverso due fasi sequenziali: compressione della conoscenza insegnante-assistente e distillazione leggera da assistente didattico a studente integrata con meta-apprendimento. Clicca qui per visualizzare una versione più grande di questa figura.

Il metodo prevede tre ruoli: un TM, un modello TA e un SM, con il processo di distillazione suddiviso in due fasi: distillazione insegnante-TA e distillazione TA-studente. Nella prima fase di compressione della conoscenza Teacher-to-TA, la conoscenza della MT viene prima compressa in un modello TA a complessità intermedia per mitigare la perdita di informazioni causata da eccessivi lacune di capacità nella distillazione diretta. La TM, fungendo da fonte di conoscenza, trasferisce sia le probabilità di classificazione dell'output sia le caratteristiche del livello intermedio al modello TA. Il modello TA viene addestrato allineando i suoi output e le rappresentazioni delle feature con quelli dell'insegnante, utilizzando una funzione di perdita combinata che integra la perdita di classificazione e la perdita di allineamento^{delle caratteristiche 21}. Nella seconda fase di distillazione leggera da TA-Studente, che viene avviata con la convergenza del modello TA, la conoscenza viene ulteriormente distillata dal modello TA al SM leggero finale. Questa fase impiega anche una doppia supervisione (logit di classificazione e caratteristiche intermedie) e incorpora un meccanismo di meta-apprendimento: la MT conduce "esperimenti didattici" su compiti ausiliari per valutare lo stato di apprendimento dello studente e adatta dinamicamente i propri parametri per fornire una guida più adattiva e mirata. Il SM completa l'addestramento minimizzando sia la discrepanza di output sia la distanza delle caratteristiche rispetto al modello TA, ottenendo così una significativa riduzione dei parametri preservando le prestazioni di classificazione nella massima misura^{possibile 22}.

Meta-apprendimento con esperimenti didattici
Nei metodi tradizionali di distillazione della conoscenza, la TM addestrata guida il SM partecipando al calcolo delle perdite. Tuttavia, le TM a parametro fisso sono difficili da valutare lo stato effettivo di apprendimento degli SM, né possono quantificare il contributo specifico delle loro linee guida all'aggiornamento dei parametri^{SM 23,24}. Pertanto, questo studio introduce idee di meta-apprendimento nel processo di distillazione, permettendo alla MT di adattare i propri parametri in base al feedback di apprendimento del SM. Il processo di distillazione è mostrato nella Figura 6.

Figura 6: Processo iterativo di ottimizzazione dei parametri della meta-distillazione combinato con meccanismo di esperimenti didattici. La figura rappresenta il processo iterativo di ottimizzazione dei parametri della meta-distillazione combinato con il meccanismo di esperimenti didattici per il lightweighting del modello di classificazione del testo inglese. Il processo genera un apprendente interno temporaneo dal modello studente, quantifica la perdita di effetto didattico attraverso la performance di addestramento simulata dell'apprendente interiore e consente al modello insegnante di adeguare i propri parametri tramite la retropropagazione della perdita, ottimizzando così la strategia successiva di trasferimento della conoscenza. Clicca qui per visualizzare una versione più grande di questa figura.

La TM ottimizza i parametri attraverso compiti di classificazione convenzionali durante la propria fase di addestramento, risultando in una perdita di classificazione di base L_T che riflette la sua prestazione originale. Dopo aver completato la formazione, il SM S viene replicato per generare una copia temporanea dello studente interno S₁. La TM esegue esperimenti didattici su S₁, e l'errore di performance completo mostrato da S₁ in questo addestramento simulato è quantificato come perdita L_Q. Questo segnale viene utilizzato come feedback per la MT per valutare l'efficacia dell'insegnamento. Attraverso la retropropagazione di L_Q, la MT aggiusta attivamente i propri parametri e ottimizza il suo metodo di trasmissione della conoscenza. Dopo aver completato l'ottimizzazione del meta-apprendimento, la MT esegue la distillazione formale della conoscenza sull'SM S originale e utilizza anche la perdita del modello L_S come feedback per insegnare la valutazione dell'efficacia alla TM. Per ottenere un alleggerimento del modello ETC, questo studio prenderà in considerazione l'incorporazione del modello SDF GNN come MT nel processo di esperimenti didattici, come mostrato nella Figura 7.

Figura 7: Flusso di aggiornamento dei parametri del meccanismo di esperimenti didattici per l'ottimizzazione dei modelli insegnanti nella meta-distillazione. La figura mostra il flusso di aggiornamento dei parametri del meccanismo di esperimenti didattici per l'ottimizzazione dei modelli insegnanti nel processo di meta-distillazione. Il flusso calcola innanzitutto la perdita soft tra la previsione dell'inner learner e quella del modello dell'insegnante con la funzione di perdita dell'errore quadratico medio, combina la perdita soft con l'errore hard label per formare la perdita totale di addestramento, e aggiorna i parametri del modello insegnante attraverso la retropropagazione dell'errore totale ponderato per migliorarne l'efficacia didattica. Clicca qui per visualizzare una versione più grande di questa figura.

Dopo aver completato l'addestramento alla distillazione del conoscimento, il SM calcola prima la differenza tra i risultati previsti della MT e le etichette vere. Successivamente, la funzione di perdita MSE viene utilizzata per misurare la distanza tra la previsione SM (inner learner S₁) e la predizione TM. Questo valore di distanza viene usato come perdita^{morbida 25}. L'obiettivo finale di allenamento consiste in una combinazione ponderata di errore hard label e soft loss. Retropropagando l'errore totale pesato, i parametri della MT vengono aggiornati, migliorando così l'efficacia didattica della TM. Il calcolo dei parametri dello studente interno S₁ è mostrato nell'equazione (9).

(9)

Nell'equazione (9), e sono i parametri interni dello studente e i loro parametri iniziali influenzati dal parametro TM γ_T. λ (il tasso di apprendimento, λ = 0,005) controlla la dimensione del passo di aggiornamento dei parametri per gli studenti interni (cioè copie di SM) durante la meta-distillazione²⁶. L'equazione (9) calcola gradienti di perdita tramite retropropagazione, mentre λ aggiorna i parametri degli apprendenti interni. Questo meccanismo riflette le caratteristiche di apprendimento degli SM, permettendo ai TM di ricevere feedback e adattare le loro strategie didattiche, migliorando così l'efficacia della distillazione della conoscenza successiva. Il calcolo della perdita L_S nel meta-apprendimento è mostrato nell'equazione (10).

(10)

Nell'equazione (10), B è la sequenza campionaria meta-learning.

Ottimizzazione del trasferimento della conoscenza con progettazione di perdite e modello assistente
Per migliorare ulteriormente l'efficacia della distillazione della conoscenza, questo studio ottiene la perdita complessiva calcolando la perdita di classificazione e la perdita di caratteristiche. Tra queste, la perdita di caratteristiche adotta un meccanismo retrospettivo, utilizzando le uscite superficiali e attuali della MT per guidare la SM, come espresso nell'equazione (11).

(11)

Nell'equazione (11), I è l'insieme degli indici del livello di caratteristiche. D è una funzione di distanza utilizzata per calcolare la differenza tra due rappresentazioni di caratteristiche. e sono funzioni di rappresentazione oggettiva nelle TM e SM, che convertono le uscite delle caratteristiche e dei livelli i-esimo e j-esimo in matrici di attenzione. La perdita di classificazione combina la perdita di entropia incrociata tra l'output SM e l'etichetta vera, così come la MSE tra i due modelli in uscita, come la perdita soft^27,28. In definitiva, la perdita complessiva si ottiene ponderando i due, aiutando il SM a ricevere meglio la guida dalla TM. Per minimizzare la perdita di prestazioni durante il processo di distillazione della conoscenza, questo studio colloca il modello dell'assistente didattico tra due modelli, come mostrato nella Figura 8.

Figura 8: Flusso di elaborazione della distillazione della conoscenza a due stadi con modello di assistente didattico come strato intermedio di tampone. La figura dimostra il flusso di distillazione della conoscenza a due stadi con il modello dell'assistente didattico come strato intermedio di buffer. I fusibili del primo stadio presentano perdita e perdita di classificazione per costruire la perdita totale di distillazione e addestrano il modello dell'assistente didattico con la conoscenza del modello dell'insegnante; La seconda fase adotta la stessa strategia di fusione della perdita per distillare la conoscenza del modello dell'assistente didattico nel modello studente, riducendo la perdita di informazioni causata da eccessivi divari di complessità tra i modelli insegnante e studente. Clicca qui per visualizzare una versione più grande di questa figura.

Dopo aver completato la fase di metadistillazione, il modello TA e la TM subiscono distillazione convenzionale del conoscimento. Durante questo processo, le caratteristiche di entrambi vengono estratte sincronamente e viene calcolata la corrispondente perdita L_a . Successivamente, questa perdita di caratteristica viene fusa con la perdita di classificazione L_M1 del modello per formare la funzione di perdita da distillazione nella prima fase, come mostrato nell'equazione (12).

(12)

Nell'equazione (12), β è il coefficiente di peso utilizzato per controllare la proporzione tra la perdita di caratteristiche e la perdita di classificazione nella perdita totale. e sono funzioni di rappresentazione oggettiva nel modello dell'assistente didattico e nella TM, che convertono gli output delle caratteristiche e dei livelli i-esimo e j-esimo in matrici di attenzione. z_T e z_M sono le uscite del modello TM e dell'assistente. Il processo di distillazione dal modello dell'assistente didattico al SM è lo stesso del processo sopra, minimizzando la perdita del SM attraverso molteplici iterazioni per completare il trasferimento della conoscenza.

In conclusione, il contributo centrale del TSMDM proposto risiede nell'ottimizzazione del processo di trasferimento della conoscenza attraverso il meccanismo di meta-apprendimento. Rispetto alla distillazione tradizionale, il vantaggio principale di questo metodo risiede nella sua capacità di insegnamento dinamica: la MT può regolare i propri parametri attraverso il meccanismo dell'esperimento didattico basandosi sul feedback in tempo reale della SM, fornendo così una guida più mirata. Nel frattempo, il modello dell'assistente didattico viene introdotto come uno strato buffer, colmando efficacemente il divario di complessità tra TM e SM e riducendo la perdita di informazioni nel trasferimento di conoscenze. Il design collaborativo di questa "strategia didattica di ottimizzazione meta-apprendimento" e del "buffering a due livelli per ridurre la difficoltà di trasferimento" consente all'ultimo SM di ottenere un significativo alleggerimento mantenendo al massimo le conoscenze fondamentali distillate dalla TM complessiva.

Disponibilità dei dati
I dataset generati durante e/o analizzati durante lo studio attuale sono forniti nel File Supplementare 1.

Results

Configurazione sperimentale e dataset:
Per valutare in modo completo le prestazioni e l'efficienza leggera del modello proposto nei compiti di classificazione cross-domain a piccoli campioni, vengono condotti esperimenti su quattro dataset: FewRel (classificazione relazionale a piccolo campione), ARSC (analisi del sentiment cross-domain), Reuters-21578 (categorizzazione multi-topic news) e ArXiv (abstract accademici di lunga durata). FewRel, un dataset di classificazi...

Discussion

Per migliorare la capacità di generalizzazione dell'ETC in scenari a pochi shot e cross-domain, riducendo al contempo i costi computazionali, questo studio propone un framework leggero di classificazione dei testi che integra CST con TSMDM. L'integrazione della CST con un framework TSMDM affronta i limiti fondamentali dei metodi ETC esistenti (scarsa generalizzazione tra pochi shot/cross-domain e elevati costi computazionali) infondendo dinamiche dei sistemi linguistici e proprietà seman...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Unità di Elaborazione Centrale (CPU)	Fornitori di hardware commerciali (Intel, Dell, Lenovo)	Intel i5-7300HQ	Specifiche Hardware
Unità di Elaborazione Grafica (GPU)	Fornitori di hardware commerciali (NVIDIA, ASUS)	NVIDIA GeForce RTX 3060, 12 GB VRAM	Specifiche Hardware
Memoria ad Accesso Casuale (RAM)	Fornitori di hardware commerciali	16 GB DDR4	Specifiche Hardware
Unità a Stato Solido (SSD)	Fornitori di hardware commerciali	1 TB NVMe SSD	Specifiche Hardware
Sistema Operativo	Sito Web ufficiale di Microsoft	Windows 10 (64-bit)	Software di Sistema
Python	Sito Web ufficiale di Python (python.org)	Python 3.8	Lingua di Programmazione
PyTorch	Sito Web ufficiale di PyTorch (pytorch.org)	PyTorch 1.11.0	Framework di Deep Learning & Librerie di Base
CUDA	Sito Web ufficiale di NVIDIA	CUDA 11.3	Framework di Deep Learning & Librerie di Base
Hugging Face Transformers	Hugging Face Hub (huggingface.co)	Versione stabile (adattata a Python 3.8/PyTorch 1.11.0)	Framework di Deep Learning & Librerie di Base
NumPy	PyPI (pypi.org)	Versione stabile (adattata a Python 3.8)	Librerie di Elaborazione Dati & Statistiche
Pandas	PyPI (pypi.org)	Versione stabile (adattata a Python 3.8)	Librerie di Elaborazione Dati & Statistiche
Scikit-learn	PyPI (pypi.org)	Versione stabile (adattata a Python 3.8)	Librerie di Elaborazione Dati & Statistiche
SciPy	PyPI (pypi.org)	Versione stabile (adattata a Python 3.8)	Librerie di Elaborazione Dati & Statistiche
Matplotlib	PyPI (pypi.org)	Versione stabile (adattata a Python 3.8)	Libreria di Visualizzazione
AdamW	Integrato in PyTorch	Integrato in PyTorch 1.11.0	Optimizer
BERT	Hugging Face Hub (huggingface.co)	BERT-base (bert-base-cased)	Modelli Pre-addestrati
FewRel	Repository Ufficiale FewRel (GitHub) / Wikipedia	100 categorie di relazioni semantiche, 700 frasi per categoria; divisione in training/validation/test (5:2:3)	Dataset
ARSC	Dataset pubblici di analisi del sentimento cross-domain (GitHub/ACL Anthology)	23 categorie di prodotti Amazon, 69 compiti di analisi del sentimento binaria; divisione in training/validation/test (4:2:3)	Dataset
Reuters-21578	UCI Machine Learning Repository / Archivio Ufficiale Reuters	21,578 articoli di notizie, 90 categorie tematiche; metodo di partizionamento ModApte	Dataset
ArXiv	API Pubblica di ArXiv (arxiv.org)	Riassunti di articoli di scienze informatiche; divisione in training/validation/test (7:2:1)	Dataset
Tokenizer	Hugging Face Hub (huggingface.co)	Tokenizer BERT-base-cased	Altri Strumenti Essenziali
Git	Sito Web ufficiale di Git (git-scm.com)	Ultima versione stabile	Altri Strumenti Essenziali