Apprendimento automatico e annotazione delle emozioni economica basata su regole lessicali di enunciati Hinglish

Summary

Questo studio combina la strategia basata su regole con l'apprendimento automatico e l'assistenza di esperti per annotare il testo Hinglish e inglese. I dati vengono testati su 19.000 tweet con una precisione dell'81% ed è molto più economico che farlo manualmente. Potrebbe essere utile per monitorare le emozioni durante una crisi.

Abstract

L'annotazione delle emozioni in linguaggi con codice misto come l'hinglish-inglese presenta sfide uniche a causa della complessità linguistica e dei limiti di risorse. Questo studio introduce un framework ibrido di apprendimento attivo che combina regole lessicali, apprendimento automatico e feedback iterativo degli esperti per ottenere un'annotazione delle emozioni efficiente in termini di costi e ad alta precisione. Basato sulle teorie psicologiche delle emozioni, tra cui la teoria delle emozioni discrete e la teoria della valutazione cognitiva, il framework impiega dizionari emotivi bilingue (ad esempio, la mappatura di gussa e rabbia in rabbia), la tokenizzazione di sottoparole per termini composti (ad esempio, la suddivisione in ) e l'apprendimento attivo per dare priorità a campioni ambigui. Valutato su un set di dati di 19.000 tweet di Hinglish relativi a guerre e conflitti, il framework ha raggiunto un'accuratezza dell'81% (F-score: 0,76) riducendo i costi operativi del 40% rispetto all'annotazione manuale. Le regole lessicali hanno risolto l'89% delle ambiguità di commutazione del codice e i perfezionamenti iterativi hanno consentito di aumentare l'accuratezza incrementale dal 72% all'81%. L'efficienza del sistema deriva dalla limitazione dello sforzo umano al 73% del set di dati, con la pre-elaborazione automatizzata di emoji, hashtag e slang. Questo studio si basa sull'ipotesi che l'integrazione di metodi basati su regole lessicali con l'apprendimento attivo e l'apprendimento automatico possa migliorare l'accuratezza dell'annotazione delle emozioni nel testo Hinglish, riducendo contemporaneamente l'etichettatura manuale e lo sforzo complessivo di annotazione.

Introduction

Quando due o più lingue vengono mescolate insieme in una singola riga o discorso, si parla di linguaggio misto di codice. È comune nei dialoghi casuali come Hinglish. Ci sono diversi modi in cui le emozioni umane possono essere comprese, e per modellare computazionalmente una serie di affermazioni emotive è necessario annotarle in base alle persone che hanno pronunciato quelle frasi. Può essere compreso in termini di livelli biologici, fisiologici, psicologici e così via. Secondo scienziati come Roger Penrose, molti fenomeni nel nostro mondo sono non computazionali, e scienziati come Wolfram ritengono che tutto (ogni fenomeno) possa essere modellato computazionalmente¹. Penrose crede che la coscienza coinvolga processi (forse legati alla meccanica quantistica all'interno del cervello) che vanno oltre ciò che qualsiasi procedura algoritmica passo dopo passo può ottenere. Cita spesso i teoremi di incompletezza di Gödel per sostenere l'idea che l'intuizione matematica umana, per esempio, trascende i sistemi formali². Se la coscienza non è computazionale, allora le emozioni, come aspetto chiave dell'esperienza cosciente, potrebbero anche avere elementi non computazionali. Stephen Wolfram, noto per Mathematica e per il suo lavoro sugli automi cellulari, propone il "Principio di equivalenza computazionale". Ciò suggerisce che anche sistemi molto complessi, tra cui potenzialmente l'universo stesso e i fenomeni al suo interno (come le emozioni), possono in ultima analisi essere descritti e modellati da regole computazionali, anche se tali regole sono molto semplici, generando un comportamento complesso. Ma in pratica, questo non è possibile, e abbiamo bisogno di qualcuno che venga indicato come un esperto o semplicemente un annotatore che possa fare analisi delle emozioni³.

In questa ricerca, propagandiamo l'idea di costruire modelli computazionali. Ma quel modello sarà quasi computazionale. La nostra ricerca in questo contesto mira ad essere computazionale nella forma, ma potrebbe non catturare perfettamente tutti gli aspetti, forse lasciando spazio a complessità difficili o impossibili da calcolare completamente. Le emozioni sono difficili da modellare computazionalmente perché dipendono da esperienze soggettive, contesto culturale ed espressioni sfumate che non possono essere completamente catturate attraverso algoritmi fissi.

Pertanto, per modellare le emozioni umane utilizzando approcci computazionali basati su variabili, è necessario annotare le espressioni emotive umane. Questa annotazione deve essere eseguita da un esperto o da un annotatore esperto nell'analisi delle emozioni¹. Comprendere la complessità delle emozioni umane non è un compito facile, in particolare quando si ha a che fare con lingue miste. Inoltre, i problemi legati alla scala fanno sì che affidarsi esclusivamente all'annotazione manuale da parte degli esseri umani non sia un'opzione praticabile. Ricerche recenti indicano la costante necessità di un approccio human-in-the-loop nella costruzione di sistemi per compiti così complessi. Di conseguenza, un approccio semi-automatico, che comporta l'automazione delle parti più semplici riservando ai commentatori compiti che richiedono sfumature umane, sembra il più appropriato per lo sviluppo di sistemi di linguaggio naturale in questo dominio.

Un annotatore umano, ovviamente, lavorerà manualmente e, nell'era del calcolo, questo non è ciò che ci si aspetta dagli scienziati contemporanei. Se l'annotatore (manuale, semiautomatico o completamente automatico) è in grado di indovinare in modo intelligente il tipo di emozione incarnata negli enunciati, enunciati che consistono in più tipi di emozioni espresse come simboli, con colloquialismo o codice misto e utilizzando più modalità, allora il compito è difficile e facile allo stesso tempo. La complessità dell'annotazione delle emozioni negli enunciati Hinglish dipende dalla natura dell'espressione. Quando le emozioni vengono trasmesse in modo chiaro utilizzando parole familiari o emoji, l'annotazione è relativamente semplice. Tuttavia, il compito diventa impegnativo quando le espressioni coinvolgono più emozioni, la miscelazione di codici o espressioni simboliche ambigue. Pertanto, l'annotazione può essere sia facile che difficile, a seconda di quanto direttamente viene espressa l'emozione.

Gli approcci contemporanei all'identificazione delle emozioni e dei sentimenti affrontano queste sfide, tra cui la natura soggettiva delle emozioni, l'ambiguità nelle espressioni umane, la complessità di linguaggi misti di codice come l'hinglish e la natura incoerente e dispendiosa in termini di tempo dell'annotazione manuale. associato alla costruzione di modelli computazionali e alla gestione di noiose attività di annotazione. Ricerche recenti indicano che i ricercatori stanno impiegando una vasta gamma di metodi per raggiungere questo obiettivo, tra cui l'apprendimento automatico, l'apprendimento profondo e vari approcci ibridi. Ricerche recenti mostrano che per superare questi problemi, i ricercatori stanno impiegando una varietà di tecniche, come l'apprendimento automatico, l'apprendimento profondo e i modelli ibridi.

Ricerche recenti mostrano che i ricercatori stanno impiegando tutti i tipi di approcci, tra cui l'apprendimento automatico, l'apprendimento profondo³ e gli approcci ibridi. Il termine analisi del sentimento si riferisce a una procedura utilizzata quando si ritiene che la polarità delle emozioni sia un marcatore per comprendere l'emozione grezza degli esseri umani ^3,4. Lo sviluppo di tale tecnologia ha aiutato a riconoscere l'umore, i sentimenti, il linguaggio, le emozioni facciali e i segnali non verbali e ha già fatto breccia nelle applicazioni che consentono la traduzione in tempo reale². Un approccio multimodale potrebbe essere utilizzato per tradurre l'Hinglish in inglese e potrebbe essere utile in futuro per rendere il cinema indiano più accessibile alle società remote ^5,6. Ad esempio, in India, l'inglese è spesso la seconda lingua. La ricerca in questo contesto mostra che questo ha migliorato la qualità dell'insegnamento dell'inglese analizzando il parlato indiano (linguaggio a codice misto) per l'espressività, o grado di sentimento ed emozione, di ogni parola.

In questo contesto di ricerca, è stato dimostrato che l'uso del linguaggio a codice misto in combinazione con la traduzione migliora la qualità dell'insegnamento dell'inglese. Ciò si ottiene attraverso l'analisi del parlato indiano (lingua a codice misto) per determinare l'espressività, o valenza emotiva, di ogni parola. Attraverso l'applicazione del deep learning per addestrare i computer all'interpretazione del parlato, questa ricerca ha già migliorato l'accuratezza dell'analisi computerizzata del parlato e ha facilitato una maggiore comprensione della comunicazione ^4,5. Secondo i risultati del censimento del 2001, l'hinglish, una lingua che è una miscela di hindi e inglese, è attualmente utilizzata da circa 120 milioni di persone in India⁶.

Dal panorama contemporaneo degli algoritmi di apprendimento, è chiaro che l'apprendimento attivo è emerso come un potente strumento per ridurre significativamente lo sforzo umano nell'annotazione di grandi set di dati, in particolare nel campo dell'identificazione e del riconoscimento delle emozioni. Questo approccio iterativo, che annota in modo selettivo le annotazioni di impatto (con metriche appropriate), non solo migliora la precisione delle annotazioni, ma migliora anche l'efficienza⁵. Studi precedenti hanno dimostrato la sua efficacia nell'ottenere riduzioni sostanziali del carico di lavoro di annotazione manuale, mantenendo o addirittura migliorando le prestazioni con set di dati di addestramento più piccoli e proponendo un metodo basato sull'analisi dei cluster per la selezione delle istanze informative ^7,8. Nel contesto specifico del riconoscimento delle emozioni di Hinglish, i ricercatori hanno dato contributi preziosi attraverso modelli di deep learning e un set di dati annotati multi-etichetta ^9,10,11. Studi precedenti^12,13 hanno introdotto metodi di apprendimento attivo e semi-supervisionati per ridurre al minimo la dipendenza dai dati etichettati dall'uomo, migliorando ulteriormente l'efficienza e riducendo i costi di annotazione. Inoltre, l'apprendimento attivo è stato dimostrato in molti progetti per migliorare le prestazioni di classificazione, in particolare nella classificazione delle emozioni multi-etichetta¹⁴.

L'efficacia dell'apprendimento attivo nel migliorare le prestazioni del classificatore è stata riconosciuta in varie applicazioni di apprendimento automatico. Gli studi ^15,16 hanno evidenziato il suo ruolo cruciale nel migliorare le prestazioni concentrandosi sulle applicazioni educative. Allo stesso modo, uno studio iniziale ha introdotto un nuovo algoritmo per l'apprendimento attivo con macchine a vettori di supporto, riducendo significativamente la necessità di istanze etichettate¹⁷. Un altro lavoro ha anche esplorato la sua applicazione in compiti che coinvolgono istanze strutturate, come la classificazione del testo¹⁸. L'impatto dell'apprendimento attivo sulle attività di riconoscimento delle emozioni va oltre i guadagni di efficienza, in particolare nel ridurre al minimo la dipendenza dai dati etichettati dall'uomo. Uno studio ha introdotto un framework multi-task per la classificazione e la regressione delle emozioni, superando le prestazioni dei metodi single-task¹⁰.

Inoltre, i ricercatori¹⁹ hanno fatto passi da gigante nel riconoscimento delle emozioni vocali e testuali utilizzando l'apprendimento attivo, dimostrando al contempo^la sua efficacia nella classificazione personalizzata delle emozioni musicali. Tuttavia, il processo di categorizzazione ed etichettatura delle emozioni rappresenta una sfida significativa, come evidenziato^21,22, in particolare nei contesti di analisi del sentiment. Osserva che l'uso dell'etichetta può influenzare in modo significativo la categorizzazione delle emozioni, in particolare per le categorie apprese in seguito²³. Per affrontare queste sfide, sono stati sviluppati vari algoritmi, tra cui metodi basati su parole chiave e sull'apprendimento, che hanno raggiunto tassi di accuratezza notevoli²⁴. La ricerca sulle emozioni basata su enunciati scritti e testi è stata esplorata in numerosi modelli e gli approcci hanno implementato un modello dimensionale utilizzando database normativi per un efficace rilevamento delle emozioni²⁵. In un altro studio²⁶, un modello cognitivo delle emozioni ha migliorato un metodo sequenziale utilizzato per l'identificazione delle cause delle emozioni sociali. L'autore ha fornito un'interpretazione linguistica computazionale del modello emotivo OCC, mentre uno studio simile²⁷ha proposto un sistema che utilizza ontologie per rappresentare le relazioni di dipendenza dalle parole e le emozioni. Gli autori di uno studio²⁸hanno discusso i segnali che si correlano con l'elaborazione emotiva delle parole, evidenziando l'adattamento del cervello nell'esprimere le emozioni nel linguaggio scritto. L'annotazione di più array di emozioni grezze, inclusa quella dei dati multi-modello, è impegnativa. Tuttavia, indagare le emozioni legate alla guerra e ai conflitti fornisce una finestra scientifica e sistematica sulla psiche umana in circostanze estreme, permettendoci di comprendere meglio come gli individui e le comunità affrontano il trauma, la perdita e l'incertezza⁵. Un altro studio ha rilevato che la tecnica di annotazione ha effettivamente migliorato la classificazione dei generi, con la caratteristica del titolo che gioca un ruolo cruciale nel processo²⁹. Uno studio ha creato un set di dati vision-touch 44K con expert e GPT-4V per addestrare un encoder tattile e un modello TVL per la generazione di testo³⁰. Un altro studio ha esplorato l'opinion mining e il trend mining sui tweet politici, concentrandosi sul processo di apprendimento attivo per annotare automaticamente i tweet in lingua francese sui politici⁴¹. Un altro studio ha introdotto CloudFlows, una piattaforma di flusso di lavoro scientifico basata su cloud progettata per l'analisi centrale adattiva dinamica nei flussi di dati. Consente l'apprendimento attivo per migliorare la classificazione del sentiment, consentendo all'algoritmo di adattarsi ai cambiamenti nei dati in tempo reale⁴².

C'è una chiara tensione tra la complessità delle emozioni umane e il desiderio di un'analisi automatizzata delle emozioni. Esiste una tensione intrinseca tra la complessità delle emozioni umane e l'obiettivo dell'analisi automatizzata delle emozioni. La maggior parte del lavoro contemporaneo riconosce i limiti dell'annotazione manuale e sottolinea la necessità di sofisticati metodi computazionali per affrontare le sfide della comprensione delle emozioni nelle diverse forme di comunicazione. Questo scenario ideale è in gran parte impraticabile, cioè ottenere annotazioni dalle persone che hanno scritto o pronunciato le frasi⁴³. Lo scenario ideale per ottenere dati, in particolare ottenere annotazioni direttamente dalle persone che hanno scritto o pronunciato le frasi, è in gran parte impraticabile. Questa impraticabilità deriva dall'impossibilità di raccogliere ed elaborare tali annotazioni personalizzate su larga scala. Pertanto, gli sforzi attuali devono fare affidamento su annotatori esperti o algoritmi automatizzati di rilevamento delle emozioni per analizzare ed etichettare le emozioni espresse nel testo. In questo lavoro di ricerca, abbiamo cercato di superare alcuni aspetti di queste sfide di dominio. I contributi chiave in questo settore problematico sono presentati di seguito⁴⁴.

Pertanto, dobbiamo affidarci a esperti o annotatori e algoritmi di rilevamento delle emozioni per analizzare ed etichettare le emozioni espresse nel testo. È impossibile raccogliere ed elaborare tali annotazioni personalizzate su larga scala. Quindi, in questo lavoro di ricerca, abbiamo cercato di superare alcuni aspetti di questa conoscenza di dominio. Di seguito sono riportati i contributi chiave in quest'area problematica.

Il framework funziona insieme a metodi basati su regole come l'etichettatura delle emozioni, il rilevamento del code-mix e l'interpretazione delle emoji con tecniche di apprendimento automatico come Random Forest e word embedding, migliorando l'accuratezza delle annotazioni e riducendo lo sforzo manuale. L'apprendimento iterativo del classificatore utilizza l'apprendimento attivo e l'apprendimento di trasferimento per dare priorità a campioni di funzionalità ambigue, riducendo la necessità di un duro lavoro. Questo approccio ha ridotto i costi operativi del 40% rispetto all'etichettatura manuale rigida.

Per gestire le sfumature di Hinglish a livello granulare, è stato sviluppato un metodo di tokenizzazione personalizzato sensibile al contesto. Questo approccio elabora il testo misto in codice tenendo conto del cambio di lingua, della punteggiatura, degli emoji e della segmentazione delle sottoparole, consentendo un'annotazione emotiva più accurata nel testo misto hindi-inglese. A livello granulare, abbiamo sviluppato una tokenizzazione personalizzata sensibile al contesto per il testo Hinglish. Il framework affronta le complessità del testo misto di codice incorporando dizionari emotivi bilingue, tokenizzazione di sottoparole e tokenizzazione personalizzata sensibile al contesto. Le regole lessicali hanno risolto l'89% delle ambiguità di commutazione del codice.

Il nostro lavoro si basa su teorie psicologiche consolidate delle emozioni, come la teoria delle emozioni discrete e la teoria della valutazione cognitiva. La ricerca dimostra la scalabilità dell'approccio per la risposta alle crisi e il monitoraggio dei social media, fornendo un modello per applicazioni NLP multilingue e a basse risorse.

La Tabella 1 illustra gli studi disponibili per lo stesso dominio problematico. Dall'indagine sulla letteratura e dal riassunto tabulato, si può dedurre che la maggior parte degli studi non può sfuggire al lavoro iniziale sull'annotazione utilizzando metodi manuali. Pochi ricercatori stanno seguendo approcci semi-automatici⁴¹. Tuttavia, la vera differenza nelle prestazioni deriva dall'uso di un modello di apprendimento efficace in grado di automatizzare il processo di annotazione. Il contenuto emotivo dei tweet deve corrispondere alle teorie che spiegano i percorsi delle emozioni umane e l'organizzazione dei sentimenti. La sezione successiva definisce il problema in base ai limiti degli approcci esistenti e ai risultati empirici degli articoli.

Studiare	Dataset	Emozione	Metodi	Dominio	Processo di etichettatura	Lacune			Ambito di applicazione futuro
[31]	9.000.000 di tweet	tensione, depressione, rabbia, vigore, stanchezza,	Confusione Profilo degli stati d'animo	Inglese	Nessuna etichettatura	Lo studio trascura sottili differenze emotive come la sorpresa, la gioia o la paura, suggerendo che l'etichettatura delle emozioni può migliorare l'interpretabilità e la granularità delle tendenze del sentiment, in particolare in relazione agli eventi socioeconomici.			Potrebbe studiare come catturare ed esaminare meglio una serie di espressioni emotive nei dati dei social media utilizzando metodi di categorizzazione automatizzati e tassonomie emotive consolidate.
[32]	7000 Tweet	rabbia, disgusto, paura, gioia, amore, tristezza,	Supporta la macchina vettoriale	Inglese	Manuale	La generalizzabilità del set di dati è limitata a causa della sua specificità tematica e della mancanza di rappresentatività dell'utilizzo complessivo di Twitter.  A causa dell'interpretazione soggettiva e del contesto minimo, che viene mostrato in un modesto accordo tra gli annotatori, è difficile annotare le emozioni in tweet brevi e casuali.			Il lavoro futuro si concentrerà sullo sviluppo di modelli di rilevamento delle emozioni migliorati incorporando distinzioni tra stili linguistici specifici per argomento ed emotivi, consentendo una classificazione più accurata in diversi contesti di tweet.
[33]	21.000 Tweet	rabbia, disgusto, paura, gioia, tristezza, sorpresa	Supporta la macchina vettoriale	------	Utilizzo dell'hashtag	I corpora esistenti etichettati con le emozioni sono limitati in termini di dimensioni e dominio, mancando di set di dati ampi e diversificati per i microblog. I tweet sono brevi, rumorosi e limitati al contesto, il che rende difficile il rilevamento e l'annotazione accurati delle emozioni.			Nel lavoro futuro, lo studio potrebbe includere l'espansione del lessico delle emozioni con sinonimi e hashtag aggiuntivi per migliorare la copertura e l'accuratezza del rilevamento.
[34]	16485 Tweet	rabbia, disgusto, paura, gioia, tristezza, sorpresa	Supporto della regressione vettoriale	Cinese	Manuale	I metodi tradizionali di classificazione delle emozioni spesso trascurano la causa sottostante delle emozioni, limitando la qualità delle funzionalità. Estrarre accuratamente le cause emotive da brevi post informali di microblog richiede solidi sistemi basati su regole e conoscenza del dominio.			Un'ulteriore esplorazione dell'analisi delle cause emotive può migliorare i modelli di rilevamento delle emozioni e aprire nuove direzioni nella comprensione delle emozioni testuali.
[35]	10.040 Tweet	Paura, speranza, gioia, rabbia, sorpresa, tristezza, disgusto	LDA, accordo inter-rater	Hinglish	Manuale	C'è una mancanza di set di dati strutturati e pubblicamente disponibili per Hinglish, in particolare quelli che catturano sfumature pragmatiche ed emotive nei contenuti relativi alla crisi. L'hinglish è una lingua non standard, con codice misto e le variazioni regionali complicano l'analisi e l'annotazione accurate del sentiment.			Per espandere i set di dati multimodali, integrare un'analisi pragmatica approfondita con modelli di apprendimento automatico e affrontare la scalabilità per il monitoraggio delle emozioni in tempo reale nel discorso dei conflitti.
[36]	134.000 tweet	attivo, inattivo felice, infelice	Supporta la macchina vettoriale e i vicini K più vicini	Hinglish	Utilizzo degli hashtag	L'etichettatura manuale delle emozioni dei tweet è laboriosa e incoerente, limitando gli sforzi di classificazione delle emozioni su larga scala Le annotazioni in crowdsourcing mancano di affidabilità, soprattutto nell'identificare i livelli di eccitazione delle emozioni, evidenziando la soggettività nell'interpretazione delle emozioni.			Concentrati sul perfezionamento dell'etichettatura basata su hashtag e sull'espansione dei modelli di rilevamento delle emozioni per migliorare l'accuratezza e la generalizzabilità in diversi contesti emotivi.
[37]	3.000 studenti, psicologi e non psicologi provenienti da 37 paesi	gioia, paura, rabbia, tristezza, disgusto, vergogna e senso di colpa.	--	-----	Manuale	Esplorazione limitata di come i fattori culturali influenzano la regolazione e l'espressione di emozioni specifiche in diverse società. Bilanciare le prove per i modelli emotivi universali con variazioni culturalmente specifiche nell'elicitazione e nell'interpretazione delle emozioni rimane complesso.			Ulteriori studi dovrebbero indagare l'interazione tra l'universalità biologica e il contesto culturale nel plasmare l'esperienza emotiva e la comunicazione
[38]	12000	Felicità, tristezza e rabbia	Accordo inter-valutatore	Hindi+Inglese	Manuale	La ricerca attuale manca di un set di dati completo e annotato e di modelli standardizzati per il rilevamento delle emozioni di Hinglish. La grammatica irregolare e la natura mista dei testi dei social media rendono difficile una classificazione accurata delle emozioni.			Il lavoro futuro si concentrerà sull'espansione delle categorie emotive e sullo sviluppo di set di dati più ampi e multilingue con codice misto.
[39]	2866	felicità, tristezza, rabbia, sorpresa e tristezza	Supporta la macchina vettoriale	Hinglish (Hindi+Inglese)	Manuale	Mancanza di set di dati con codice misto annotato dalle emozioni.  L'espressione delle emozioni nel testo misto di codice varia tra lingue e alfabeti, rendendo complesse l'annotazione e la classificazione.			Il lavoro futuro potrebbe espandere il corpus per includere una maggiore diversità emotiva, integrare l'etichettatura di parti del discorso ed esplorare contenuti multilingue con codice misto.
[40]	13738	---	Traduzione automatica Google Translator	Hinglish	Manuale	I sistemi di traduzione automatica esistenti mancano di precisione sui dati dei social media con codice misto a causa dell'assenza di grandi corpora paralleli specifici per dominio. L'elevata variazione ortografica, la struttura informale e l'ambiguità nell'identificazione linguistica complicano la traduzione di testi romanizzati hindi-inglese.			Il corpus può supportare lo sviluppo di sistemi di traduzione con codice misto ed essere esteso ad altri linguaggi con risorse limitate, come il riconoscimento di entità denominate
[41]	11527	positivo, molto positivo e negativo, molto negativo	Classificazione basata su kNN, rappresentazione BOW	Politici francesi	Manuale	Disponibilità limitata di set di dati annotati di alta qualità per l'estrazione di opinioni politiche in lingue diverse dall'inglese. Bilanciare la riduzione del rumore delle annotazioni con la conservazione delle informazioni e la gestione della distribuzione irregolare delle etichette nei set di dati di tweet su larga scala sono le difficoltà principali.			Il lavoro futuro potrebbe perfezionare i metodi di apprendimento attivo per preservare meglio i contenuti critici, riducendo al minimo il rumore delle annotazioni nel discorso politico multilingue.
[42]	764,416	---	Clustering Kmeans, SVM	Inglese	Semi supervisionato	L'etichettatura in tempo reale e l'aggiornamento dei modelli nell'analisi del sentiment sono limitati dalla variabilità del flusso di dati, dal costo dell'etichettatura e dalla scalabilità del sistema.			Il lavoro futuro esplorerà la classificazione del sentiment multiclasse, integrerà ulteriori strategie di etichettatura ed espanderà il controllo sulla generazione iniziale del modello

Tabella 1: Studi disponibili con metodi di etichettatura corrispondenti. La tabella fornisce una panoramica comparativa completa degli studi esistenti, affrontando l'annotazione delle emozioni e stabilendo il panorama metodologico e concettualizzando il contributo del presente lavoro all'interno della letteratura esistente.

Dichiarazione del problema
Le emozioni più frequentemente studiate nell'annotazione sono fortemente influenzate da modelli psicologici fondamentali come quelli di Ekman e Plutchik, concentrandosi principalmente su categorie fondamentali come rabbia, paura, felicità, tristezza, sorpresa e così via⁴⁴ . Quindi, in questo lavoro di ricerca, intendiamo lavorare su connotazioni consolidate delle emozioni. La sfida è quella di sviluppare un framework computazionale dinamico, F, in grado di annotare accuratamente le istanze di testo Hinglish (ti ) da un corpus T focalizzato su guerre e conflitti con etichette emotive (ei) da un insieme predefinito E = {e₁, e₂, ..., e₈}. Questo quadro deve sintetizzare i principi della Teoria Costruzionista dell'Emozione, della Teoria degli Eventi Affettivi (AET), della Teoria delle Emozioni Discrete e della Teoria della Valutazione Cognitiva per modellare il multiforme panorama emotivo del discorso legato al conflitto. Ogni istanza di testo ti in T è linguisticamente complessa, fondendo hindi (in caratteri latini), inglese, emoji e simboli, richiedendo un approccio a più livelli per catturare espressioni emotive sfumate.

Il modello computazionale delle emozioni legate alla guerra (come caso di studio) può comportare un approccio multiforme, a partire da regole lessicali che affrontano le sfumature basate su Hinglish. La tokenizzazione, indicata come T, comprende gli alfabeti romani (hindi scritti in caratteri latini), insieme a emoji e punteggiatura, che costituiscono la base dell'elaborazione del linguaggio. I dizionari delle emozioni, rappresentati come D, mappano le parole in tutte le lingue a emozioni specifiche, come rabbia, gioia e altre, a cui ogni emotion_i ha associato words_j in language_k. La scomposizione delle sottoparole, S, scompone i termini composti nelle loro sottoparole costitutive, consentendo una comprensione più profonda di espressioni complesse. Successivamente, le tecniche di apprendimento automatico, M, utilizzano gli embedding, E, come Word2Vec/fastText, per trasformare i token in rappresentazioni vettoriali, vector_v, facilitando l'analisi numerica. I classificatori di ensemble, C, come Random Forest, prevedono quindi le etichette delle emozioni, emotion_label_p, da questi set vettoriali. Per migliorare iterativamente il modello di apprendimento per annotazioni, viene utilizzato un meccanismo di apprendimento attivo, AL. Il feedback degli esperti, F, perfeziona i casi ambigui, ambiguous_sample_q, assegnando refined_label_r, fornendo correzioni cruciali. La prioritizzazione dei campioni, P, si concentra sui campioni a bassa confidenza, low_confidence_sample_s, assegnandoli annotation_priority_t, ottimizzando così il processo di annotazione.

Integrando questi componenti e teorie, questo framework mira a elaborare dinamicamente il testo Hinglish, a colmare le sfumature linguistiche e culturali e a perfezionare in modo adattivo le annotazioni emotive, offrendo una soluzione scalabile per l'analisi delle dimensioni affettive nel discorso conflittuale.

Protocol

Questa sezione spiega anche come è stato costruito il framework multimodale per l'annotazione delle emozioni 8. La sezione inizia con una discussione delle proprietà del set di dati, seguita dalle procedure successive. Per una migliore comprensione della procedura di ricerca, fare riferimento alla Figura 1.

Figura 1: Quadro sistematico dell'annotazione delle emozioni. La figura spiega l'emozione efficace, l'annotazione del testo hinglish che combina l'apprendimento automatico, l'apprendimento attivo e le regole del lessico dinamico attraverso l'input di esperti, gli esempi classificati erroneamente vengono progressivamente migliorati per aumentare l'accuratezza e ridurre il costo dell'annotazione. Clicca qui per visualizzare una versione più grande di questa figura.

Preparazione del dataset
La raccolta dei dati inizia identificando un elenco completo di parole chiave e hashtag relativi alla guerra, al conflitto e alle emozioni associate. Risorse come letteratura accademica, articoli di notizie e tendenze dei social media sono state utilizzate per compilare elenchi pertinenti ed esistenti.

Come da Figura 1, dopo la raccolta dei tweet e la pre-elaborazione dei dati, gli esperti umani sono coinvolti nell'etichettatura manuale e nella creazione di regole lessicali che devono essere incorporate per migliorare il processo di annotazione. Utilizzando queste parole chiave (conflitto, guerra, crisi, febbre, ecc.) è stato raccolto un set di dati iniziale di 10.040 tweet che è servito come base per l'etichettatura manuale in cui ogni tweet è stato annotato con otto emozioni predefinite (rabbia, paura, felicità, tristezza, frustrazione, compassione, miste, altre rilevanti per il dominio della guerra e del conflitto. Il processo di etichettatura manuale è stato condotto da un team di esperti esperti sia in hindi che in inglese, garantendo che le sfumature dell'inglese siano catturate con precisione.

Di seguito viene descritto un esempio di elaborazione.

Tokenizzazione e pre-elaborazione:
Input Tweet: "Mujhe Bhayanak lag raha hai "
Output tokenizzato: ["Mujhe", "Bhayanak", "lag", "raha", "hai", ""]
Gestione dell'alfabeto latino: le parole hindi ("Mujhe", "Bhayanak") vengono mantenute in alfabeto latino.
Rilevamento emoji/simbolo: "" è isolato come token simbolico.

Mappatura del dizionario delle emozioni (D):
Mappa i token alle emozioni in E utilizzando lessici emotivi bilingue (hindi/inglese): "Bhayanak" (in hindi "orribile") → Paura; "lag raha hai" (frase contestuale che implica un'emozione continua) → Paura; "" → Rabbia

Sottoparola Decomposizione (S):
Scomponi termini complessi per un'analisi più approfondita: "Bhayanak" → ["Bhay" (paura), "anak" (suffisso)] per chiarire la sua radice semantica nella paura.

Generazione di incorporamento (E):
Genera incorporamenti di token utilizzando Word2Vec/fastText: Incorporamenti per ["Mujhe", "Bhayanak", "lag", "raha", "hai", ""] → vettori v₁, v₂, v₃, v₄, v₅, v₆.
Regola di aggregazione: Incorporamenti medi di token per creare un vettore semantico globale:
V_avg = (v₁ + v₂ + v₃ + v₄ + v₅ + v₆) / 6

Estrazione di funzionalità basata su regole:
Estrai le funzioni ausiliarie per la concatenazione. Conteggio dei tag delle emozioni: Paura: 2 istanze ("Bhayanak", "lag raha hai"); Rabbia: 1 istanza ("").
Flag Code-Switch: Flag binario = 1 (token misti hindi e inglesi: "Mujhe" [hindi], "lag", "raha", "hai" [derivato dall'hindi]).

Fusione delle caratteristiche:
Combina incorporamenti aggregati e funzionalità basate su regole in un vettore di input unificato: Vettore semantico globale=V_avg(incorporamenti medi), Conteggi delle emozioni=[Paura: 2, Rabbia: 1, Altri: 0], Flag di commutazione del codice=1
Vettore di input finale della regola di concatenazione = V_avg [Paura: 2, Rabbia: 1, Altri: 0] [1]
L'algoritmo di apprendimento automatico elabora questo vettore finale e inizia il processo iterativo di miglioramento delle annotazioni. Nella prossima sezione, discutiamo le prestazioni del metodo di apprendimento attivo adottato a questo scopo.

Successivamente, il set di dati è stato ampliato a 19.000 tweet. Questo set di dati è stato curato utilizzando una combinazione di tecniche automatizzate e semi-automatizzate, sfruttando le informazioni ottenute dall'annotazione manuale iniziale. Il set di dati ampliato è stato ulteriormente perfezionato da un processo di apprendimento iterativo, che ha comportato l'identificazione selettiva e la prioritizzazione di dati/tweet ambigui per l'annotazione e il feedback degli esperti del settore per migliorare l'accuratezza, la coerenza e l'efficienza dell'annotazione. Durante tutto il processo di raccolta dei dati, è stata prestata particolare attenzione al mantenimento dell'equilibrio tra le diverse emozioni, assicurando che il set di dati fosse rappresentativo dei diversi sentimenti espressi riguardo alla guerra e al conflitto. Il set di dati risultante è una risorsa preziosa per l'analisi del testo Hinglish. Per una migliore comprensione, è possibile fare riferimento alla Figura 2 .

Figura 2: Procedura di raccolta dei dataset. La figura illustra lo sviluppo del set di dati dall'identificazione delle parole seme all'etichettatura manuale, seguita dall'apprendimento attivo, fino al set di dati finale annotato. Clicca qui per visualizzare una versione più grande di questa figura.

La preparazione finale del set di dati viene eseguita dopo aver completato il processo di perfezionamento iterativo con l'aiuto dell'apprendimento attivo. L'apprendimento attivo è stato utilizzato in un framework ibrido che includeva regole lessicali, apprendimento automatico e input iterativi di esperti per annotare le emozioni delle espressioni Hinglish. I passaggi sono stati i seguenti:

Il processo inizia con un set di dati etichettato manualmente. Utilizzando un classificatore Random Forest, che è stato utilizzato per identificare i tweet ambigui su cui il modello di apprendimento automatico era incerto. Invia questi campioni ambigui per la categorizzazione a esperti umani. Il modello è stato ripetutamente aggiornato utilizzando i dati annotati di recente, che hanno gradualmente migliorato l'accuratezza e ridotto le classificazioni errate. Finalizza il set di dati e rivedi le annotazioni per garantire l'accuratezza. Preparare il set di dati per l'analisi, assicurandosi che sia adeguatamente documentato e formattato per l'uso futuro da implementare nei casi a valle. Tuttavia, è importante indagare i modelli di emozioni incorporati nelle espressioni in modo che i passaggi futuri diventino più chiari in termini di implementazione. Quindi, nella fase successiva, verrà eseguita l'analisi dei cluster per trovare le emozioni dominanti incorporate nel set di dati. Questo aiuta anche a identificare le emozioni che stiamo ricercando.

Selezione dei cluster di emozioni
La Tabella 2 mostra i gruppi di emozioni e i loro equivalenti Hinglish, insieme al motivo per cui si selezionano le rispettive emozioni. Da ogni gruppo di emozioni, è stata selezionata un'emozione dominante per un'ulteriore elaborazione. Queste emozioni dominanti sono selezionate dall'analisi dei cluster.

Gruppo Emozioni	Equivalente Hinglish	Giustificazione della selezione
Paura (include ansia e panico)	Dar, khauf, Asahaj, Bekabu, Angadai, Chinta, tensione, Fikr, Ashanka, Udaasi, Bechaini, Ghabrahat	La paura è un'emozione comune in guerra e nei conflitti, poiché gli individui affrontano minacce alla loro sicurezza e al loro benessere. Questa paura può manifestarsi in vari modi, come ansia, attacchi di panico e ipervigilanza.
Rabbia (include irritazione, ostilità, frustrazione e dolore)	Gussa, raag, Prakop, Raudra, Chidhaan, Shatruta, Krodh, Gussa dilana, apata, Atyachar, Khushfehmi, hairani, Bhayanak, Chakker Kathinaai	La rabbia è un'altra emozione prevalente in guerra e nei conflitti, spesso derivante da sentimenti di ingiustizia, tradimento o perdita. Questa rabbia può alimentare l'aggressività e la violenza, contribuendo alla natura distruttiva di questi conflitti.
Tristezza (include dolore, disperazione e disperazione)	Udaasi, gham, Shok, Bhavuk, Dukhi, Udas, Vismay, Nirasha, Shok, Dukhi, Vairagya, Aashank, Vishada, Bhavuk, Dukhi, Udas, Vinamrata, Bhavuk, Hridaytoda, Beumaar, nirasha, Vinaash, Bair, Nirasha, Asambhav, Haar	La tristezza è una risposta naturale alla perdita e al dolore, che purtroppo sono esperienze comuni in guerra e nei conflitti. I soldati possono provare tristezza per la perdita dei compagni, i civili possono piangere i propri cari uccisi o sfollati e intere comunità possono piangere la perdita delle loro case e del loro stile di vita. Sentimenti di disperazione e disperazione possono sorgere anche a causa della natura prolungata del conflitto e del ciclo apparentemente infinito di violenza.
Vergogna e senso di colpa	Sharm, lajjabari, Sharm, Laaj, Zillat, Afsos, Gunah, Afsos, Pashchatap, Laaj, Bechaini, Aatmasamarpan, Sharmindagi, Ashru, Pashchatap, Antaratma, Kasoor, gunaah, Khud ko doshi maana, Ninda, Dosha	La vergogna e il senso di colpa sono emozioni complesse che possono derivare da sentimenti di trasgressione personale o collettiva, inadeguatezza o umiliazione. In guerra e nei conflitti, gli individui possono provare vergogna o senso di colpa per le loro azioni, la loro incapacità di prevenire il danno agli altri o la loro sopravvivenza mentre gli altri sono morti.
Disgusto	Ghin, nafrat, Asahayak, Pratikool, Ghrina, Vairagya, Dvesha, Nakaratmak, Vibhavsu, Vairagya, Vairagya, Nirasha	Il disgusto è un sentimento di repulsione o avversione verso qualcosa percepito come sgradevole o offensivo. In guerra e nei conflitti, gli individui possono provare disgusto in risposta ad atti di crudeltà, violenza e barbarie.
Empatia e compassione	Sahaaanubhuti, hamderdari, Samajhdari, Daan Sahabhooti, Sensibilità, Sostegno, Considerazione, Gentilezza, Premura, Calore, Tenerezza, Daya, raham, Sahaaanubhuti, Sahyog, Dayalu, Samajh, Pyar, Daya, Narami, Paropkari	L'empatia e la compassione sono vitali per comprendere e condividere i sentimenti degli altri. In guerra e nei conflitti, l'empatia può essere uno strumento potente per entrare in contatto con altri che hanno subito esperienze simili, promuovere la compassione e promuovere la riconciliazione. La compassione può motivare le persone ad aiutare chi ne ha bisogno e contribuire agli sforzi di guarigione e ricostruzione.
Speranza e gratitudine	Umeed, aasha, Chah, Ichha, Sapna, Unnati, Ashvasan, Khushi, Utsaah, Ashirwad, Samvedansheelata, Vishwas, Bharosa, Shukraguzaar, eshaananand, Shukrana, Aabhaar, Namrata, Samaanya, Naman, Aasherewad, Badhai, Dhanyavaad, Abhivadn, Manobhav, Bhakti	La speranza è un sentimento di ottimismo e di aspettativa che qualcosa di buono accadrà nonostante le sfide e le difficoltà affrontate. La gratitudine è un sentimento di gratitudine e apprezzamento per le cose buone della propria vita. In guerra e nei conflitti, la speranza può essere una fonte di forza e motivazione, consentendo alle persone di perseverare e lavorare per un futuro migliore. La gratitudine può aiutare le persone a concentrarsi sugli aspetti positivi della loro vita, promuovere la resilienza e coltivare un senso di pace in mezzo al tumulto.
Resilienza	Jheelaanek, himmat, Sahasi, Sahas, Dhairya, Majbooti, Samvedansheel, Samarthya, Majbuti, Lachari	La resilienza è la capacità di adattarsi e far fronte a situazioni difficili o impegnative. In guerra e nei conflitti, la resilienza è essenziale per gli individui e le comunità per sopravvivere e perseverare di fronte alle avversità.

Tabella 2: Giustificazione per la selezione dell'emozione. La tabella mappa i gruppi emotivi ai loro equivalenti Hinglish e spiega la loro rilevanza in contesti di guerra e conflitto.

Tuttavia, va notato che la selezione di queste emozioni non si basa solo sull'analisi dei cluster, ma si fonda anche sulle teorie delle emozioni, tra cui la Teoria della Valutazione Cognitiva (CAT), la Teoria delle Emozioni Discrete (DET) e la Teoria Orientata al Processo (POT) dell'Emozione⁴³.

Dettagli del corpus
Il set di dati è costituito da set di dati di tweet specifici del dominio (guerre, conflitti e crisi) e da set di dati aggiuntivi che contengono un mix di tweet in hindi e inglese. La Figura 3 è un'istantanea dei set di dati di tweet disponibili pubblicamente in fase di elaborazione per questo lavoro di ricerca. Il set di dati primario è disponibile pubblicamente all'indirizzo https://data.mendeley.com/datasets/y63frd6pmf/7.

Figura 3: Dettagli del corpus. La disponibilità del set di dati è illustrata qui. Clicca qui per visualizzare una versione più grande di questa figura.

Annotazione delle etichette delle emozioni
Un corpus iniziale di 10.040 tweet di Hinglish relativi a guerre e conflitti è stato annotato manualmente con otto etichette emotive da esperti bilingue. Per affrontare la complessità linguistica del testo misto di codice, è stato sviluppato un framework lessicale basato su regole, che incorpora diversi componenti. Il framework include dizionari specifici per le emozioni che associano termini hindi/inglesi alle emozioni, come fear_words = {Fear, Dread, Bhayanak, , Terror, } e anger_words = {gussa, rage, , irritation, }. Le regole di equivalenza interlinguistiche collegavano i termini (ad esempio, if (Ae == Ah): anger = gussa | ). Vengono utilizzate regole lessicali come i dizionari delle emozioni, la tokenizzazione per le lingue miste e la scomposizione delle sottoparole. Per annotare le emozioni, queste regole pre-elaborano il testo ed estraggono funzionalità, che vengono poi combinate con gli incorporamenti di apprendimento automatico⁴⁵.

Per la tokenizzazione, il framework ha utilizzato regole personalizzate per il cambio di lingua, la punteggiatura, gli emoji e la tokenizzazione delle sottoparole. Il testo hindi (devanagari) era tokenizzato a livello di carattere, mentre l'inglese (romano) utilizzava gli spazi bianchi. Esempio: Mujhe frustration hai → [Mujhe, frustrazione, hai]. I caratteri speciali come gli hashtag (#) e le menzioni (@) sono stati isolati come token individuali (ad esempio, #WarCrimes → [#, WarCrimes]), mentre i segni di punteggiatura come le virgole (,) e i punti esclamativi (!) sono stati suddivisi in token separati (ad esempio, → , !]).

Gli emoji sono stati anche trattati come token autonomi e mappati sulle emozioni (ad esempio, → rabbia, → tristezza). La tokenizzazione delle sottoparole è stata eseguita con la scrittura Devanagari in cui le parole composte sono state divise utilizzando modelli regex per le regole Sandhi (ad esempio, ] [regno + mondo]) e i prefissi/suffissi delle scritture romane sono stati segmentati (ad esempio, unbelievable → [un, believable]). Per l'espansione specifica del dominio, i token sono stati sostituiti con etichette emotive se abbinati nei dizionari. Ad esempio: Bhayanak → paura, Dahad" → paura, gussa → rabbia. Mujhe Bhayanak lag raha hai → Tokens [Mujhe, fear, lag, raha, hai].

Dopo la vettorializzazione, i token elaborati (parole, sottoparole, emoji) sono stati convertiti in incorporamenti a 300 dimensioni utilizzando Word2Vec/fastText. Le rappresentazioni numeriche in vettori di colonne di token, una matrice di vettori corrispondenti a token. Ogni riga corrisponde a un vettore di incorporamento associato a un token nel testo, che rappresenta l'ordine del token. Le colonne in una riga indicano le dimensioni nello spazio di incorporamento. I vettori contengono numeri reali calcolati utilizzando Word2Vec e FastText. I token con zero vettori, rappresentati da righe con tutti i valori zero, possono indicare spazi o caratteri speciali privi di informazioni significative in questa rappresentazione. Gli incorporamenti mirano a catturare le relazioni contestuali tra le parole per migliorare l'annotazione. I vettori diversi da zero indicano rappresentazioni significative di parole o simboli. I valori in questi vettori codificano varie caratteristiche semantiche e sintattiche. I vettori zero rappresentano in genere padding, spazio o token non riconosciuti. La variabilità dei valori riflette la ricchezza delle caratteristiche acquisite dal modello di incorporamento. Diverse dimensioni vettoriali catturano diversi aspetti del significato, del contesto e dell'uso di una parola. La Figura 4 mostra come vengono rappresentati i vettori e dalla Figura 5 si possono comprendere le implicazioni dell'utilizzo del processo di vettorializzazione.

Figura 4: Tokenizzazione personalizzata. La figura mostra come i vettori sono rappresentati nello spazio di incorporamento e illustra come ogni token viene trasferito in un formato numerico Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Processo di vettorializzazione dei token e sue implicazioni. La figura illustra le implicazioni di questi processi, componenti ed evidenzia come questi incorporamenti catturino la semantica delle emozioni per un'accurata classificazione emotiva. Clicca qui per visualizzare una versione più grande di questa figura.

Secondo il flusso di ricerca, il processo inizia con l'analisi del testo di input, l'espansione dei token utilizzando i dizionari basati su regole e quindi la suddivisione di questi token in sottoparole. Questo approccio fornisce una comprensione del contenuto emotivo e del contesto culturale del testo, e la pseudo logica per la ricerca è riportata di seguito.

Inizializza i dizionari delle emozioni (ad esempio, fear_words = {"Paura", "Terrore", "Bhayanak", ...}): Imposta Ae = Ah
SubwordRules(token, script): Se Devanagari → diviso usando regex (composto/Sandhi), Se Roman → diviso prefissi/suffissi usando regex, Restituisci sottoparole
DomainSpecificExpansion(token): Se il token nei dizionari emotivi/linguistici → restituire emozioni
Altrimenti → token di ritorno
ProcessTweet(testo): Definisci regex per Devanagari, Roman, altri; Estrarre i token utilizzando regex; Applicare DomainSpecificExpansion e SubwordRules ai token; Restituisci le sottoparole elaborate
Vettorializzare i token in incorporamenti numerici
Applica l'apprendimento attivo con il feedback umano

Results

I risultati di questa ricerca suggeriscono che l'integrazione delle regole lessicali con l'apprendimento automatico e le tecniche di apprendimento attivo offre un percorso praticabile per migliorare l'efficienza e l'accuratezza dell'annotazione delle emozioni nel testo hinglish misto in codice. Attraverso il perfezionamento iterativo e il suggerimento di esperti, il framework proposto è stato in grado di ottenere notevoli riduzioni dello sforzo manuale, mantenendo al contempo prestazioni ...

Discussion

Il set di dati per questo studio è stato curato utilizzando una combinazione di annotazione manuale e apprendimento attivo. Inizialmente, 10.040 tweet di Hinglish relativi a guerre e conflitti sono stati etichettati manualmente con otto emozioni predefinite. Il set di dati è stato poi ampliato a 19.000 tweet utilizzando un approccio semi-automatizzato. L'apprendimento attivo ha consentito l'intervento selettivo di esperti, riducendo lo sforzo manuale del 40% e mantenendo un'elevata precisione di annotazione dell'81% con ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Testo veloce	Intelligenza artificiale di Facebook	N/A	Rappresentazione e classificazione delle parole
Google Colab	Alessio	N/A	Ambiente Jupyter Notebook basato su cloud
Google Colab GPU/TPU	Alessio	N/A	Accelerazione hardware basata su cloud
Intel Core i5/i7 o AMD Ryzen 5/7	Intel / AMD	N/A	Processore per l'esecuzione locale (se necessario)
Matplotlib	Sorgente aperto	N/A	Libreria di visualizzazione dei dati
NLTK	Sorgente aperto	N/A	Natural Language Toolkit per l'elaborazione del testo
NumPy	Sorgente aperto	N/A	Libreria di calcolo numerico
NVIDIA GTX 1650 o superiore (opzionale)	NVIDIA	N/A	GPU per attività di deep learning
Panda	Sorgente aperto	N/A	Libreria di manipolazione dei dati
Pitone	Fondazione del software Python	N/A	Linguaggio di programmazione per ML e NLP
PyTorch	Meta AI	N/A	Framework di apprendimento profondo
RAM (minimo 8 GB, consigliati 16 GB)	Diverso	N/A	Requisito di memoria per le attività di Machine Learning
Scikit-learn	Sorgente aperto	N/A	Libreria di Machine Learning
Nato in mare	Sorgente aperto	N/A	Visualizzazione statistica dei dati
Spacy	Esplosione AI	N/A	Libreria NLP di livello industriale
Archiviazione SSD (minimo 256 GB, consigliati 512 GB)	Diverso	N/A	Archiviazione per l'elaborazione di set di dati
Flusso di Tensore	Alessio	N/A	Framework di apprendimento profondo