Identificazione linguistica a basse risorse delle frasi miste in codice inglese e Kokborok

Sommario

L'obiettivo del protocollo fornito è identificare correttamente le lingue a livello di parola all'interno del testo misto in codice inglese-Kokborok utilizzando un modello non supervisionato che combina n-grammi di caratteri e dizionari di frequenza.

Abstract

Cresce la necessità di un modello per il rilevamento automatico della lingua a livello di parola a causa dell'uso sempre più diffuso di testi multilingue. Per identificare frasi code-switched e code-mixed nella lingua Kokborok e in inglese a livello di parola, proponiamo un modello non supervisionato. Numerosi studi sul testo code-mixed sono stati pubblicati, inclusi diversi studi per diverse lingue indiane. Tuttavia, per quanto ne sappiamo, il nostro lavoro rappresenta uno sforzo pionieristico, essendo il primo a identificare lingue per coppie linguistiche inglese-Kokborok a basse risorse. Abbiamo impiegato un metodo che unisce dati da un dizionario di frequenze con quelli di un modello a n-grammi di caratteri. La tecnica di Viterbi combina un modello di Markov a n-gramma di caratteri con un lessico di frequenza per facilitare l'identificazione precisa della lingua a livello di parola. Il metodo proposto ha ottenuto buoni risultati, con una precisione a livello di parola del 93,15%, meglio del modello BiLSTM-CRF dell'88,5% e della base basata su regole dell'85,3%. Questo dimostra l'efficacia della combinazione di lessico e metodologia statistica per gestire lingue a basse risorse senza dipendere da enormi dataset annotati.

Introduzione

In questa era digitale, la rapida crescita della comunicazione multilingue di code-mixing e code-switching sulle piattaforme social sta diventando centrale per la comunicazione globale. La necessità di un'identificazione accurata delle lingue all'interno del contenuto testuale è fondamentale. Dopo l'osservazione, abbiamo scoperto che molte lingue indiane come hindi, bengalese e telugu sono già state esplorate nell'identificazione linguistica, e altre lingue indiane a basse risorse come manipuri, bodo e assamese, sono state parzialmente affrontate nella ricerca sull'identificazione linguistica. Tuttavia, esiste ancora un notevole divario nella ricerca nello sviluppo di modelli per il Kokborok, una lingua a poche risorse che è sia linguisticamente che strutturalmente distinta.

A differenza delle lingue manipuri, assamese e bodo, a basso contenuto di risorse, il kokborok presenta un alto livello di variazione ortografica ed è scritto in alfabeto romano o bengalese, spesso in modo intercambiabile nella comunicazione. Questo crea molta ambiguità nei confini dei token, nella traslitterazione e nell'estrazione delle caratteristiche a livello di personaggio, il che presenta sfide distinte e raramente è stato considerato in letteratura. Inoltre, il kokborok è una lingua agglutinativa e la sua morfologia include prefissi e suffissi ricchi (ad esempio, -o, -do, -no) e toni fonemici, rendendo più difficile applicare modelli esistenti di identificazione linguistica a code-mixed sviluppati rispetto alle lingue indo-ariane.

Questi problemi sono ulteriormente aggravati dai social media. I parlanti di kokborok tendono spesso a mescolare parole inglesi nel testo, non solo per il code-mixing e il code-switch, ma anche per compensare la mancanza di elementi lessicali nella frase di Kokborok. Questo porta a ortografie non standard e all'uso delle parole correlato al contesto, il che rappresenta un ostacolo rispetto ai sistemi basati su regole o puramente lessicali.

In questo studio, queste lacune vengono affrontate proponendo un modello non supervisionato che combina dizionari di frequenza e probabilità di n-grammi di caratteri con un framework di decodifica di Viterbi. Il metodo è particolarmente focalizzato sulle complessità ortografiche, morfologiche e contestuali della coppia inglese-Kokborok, ed è quindi uno dei primi tentativi computazionali di trattare e rilevare sistematicamente le barriere linguistiche a livello di parola in questa lingua a basso contenuto di risorse.

CONTESTO DI KOKBOROK
Le parole "Kok", che significa lingua, e "Borok", che implica umano, si combinano per formare la parola composta "Kok-borok", che indica umano. Il termine "Kok-borok" si riferisce alla lingua parlata dal popolo Borok del Tripura, così come da quelli dei paesi confinanti del Bangladesh e del Myanmar, e dagli abitanti di Mizoram, Manipur e Assam. La lingua Kokborok, parlata principalmente in Tripura, è scritta sia in alfabeto romano che bengalese. La scrittura romana è preferita rispetto a quella bengalese dalla maggior parte dei parlanti kokborok. In realtà, il sottogruppo linguistico sino-tibetano noto come tibeto-birmano è il luogo da cui ha avuto origine la lingua kokborok. La lingua Kokborok e la lingua Bodo sono sottilmente simili. Le 36 varietà della lingua kokborok presentano sottili somiglianze sia con le lingue Bodo che con quelle Kachari.

Koloma era conosciuto come la scrittura originale Kokborok. L'unico stato in India, il Tripura, era controllato da 184 persone prima di essere unificato nell'Unione Indiana il 15 ottobre 1949. La scrittura Koloma presente nel libro di Rajratnakar è quella utilizzata per scrivere le narrazioni storiche. Successivamente, nel XIV secolo, due bramini di nome Sukreswar e Vaneswar tradussero la lingua in sanscrito e poi di nuovo in alfabeto bengalese. Esistono omofonia delle radici, tono fonemico, morfologia dei verbi, ordine delle parole e suffissi derivazionali verbali prodotti dai verbi nella lingua kokborok.

Col passare del tempo, Kokborok ha incontrato lingue come inglese, arabo, bengalese, persiano, ecc. Nella lingua Kokborok si possono trovare diversi tipi di strutture agglutinative intricate. Le persone che parlano Kokborok come lingua madre in Tripura non riescono ad accedere facilmente alle informazioni perché la lingua non ha ancora una scrittura ampiamente adottata, ma su questo si sta lavorando.

A Tripura si parlano diversi dialetti del kokborok. In Tripura si parlano vari dialetti, tra cui Tripura/Tripuri, Debbarma, Reang, Jamatia, Uchai, Noatia, Lusai, Kukis, Chaimal, Halam, Santal, Lepcha, Chakma, Khasia, Orango, Mog e Garos. Secondo il rapporto del censimento del 2011, ci sono 1.011.294 parlanti kokborok in India e più di 400.000 in Bangladesh, una nazione confinante.

REVISIONE DELLA LETTERATURA
Gli autori descrivono la loro ricerca in corso sull'identificazione automatica delle lingue utilizzando un nuovo dataset di post su Facebook con codice mescolato in hindi, bengalese e inglese. Sperimentano varie tecniche, come approcci basati su dizionario e classificazione supervisionata, per l'identificazione linguistica a livello di parola, sottolineando l'importanza di considerare indizi contestuali per un'identificazione accurata della lingua in tali ambienti.

L'articolo presenta un dataset di tweet annotati con lo scopo di identificare il discorso d'odio sulle piattaforme social con una combinazione di codice hindi-inglese che utilizza tecniche basate su lessico, a livello di carattere e a livello di^{parola 1}. Un metodo di categorizzazione del testo tollerante agli errori basato su N-grammi è presentato nell'articolo. Innanzitutto, il sistema viene utilizzato per calcolare profili utilizzando dati di set di addestramento, come campioni di materiale o frasi di newsgroup, che riflettono le varie categorie. Dopodiché, il sistema crea un profilo per il documento specifico da categorizzare. Infine, l'algoritmo calcola la misura della distanza tra ogni profilo di categoria e il profilo del documento. La categoria il cui profilo è più vicino al profilo del documento è scelta dal sistema².

Diverse tecniche di incorporamento di parole, tra cui i modelli Continuous Bag of Words e Skip-Gram, sono state confrontate per creare vettori di caratteristiche. Adaboost, Random Forest, K-Nearest Neighbors, Gauss Naive Bayes, Support Vector Machine e Logistic Regression hanno tutti prodotto buoni punteggi di validazione^{incrociata 3}. Un riassunto degli approcci precedenti è fornito nella Tabella 1.

Utilizzando classificatori basati su lessico, lo studio supera i classificatori esistenti su tre abbinamenti linguistici valutati nello studio: spagnolo-inglese, olandese-inglese e tedesco-turco con dataset sui social^{media 4}. L'approccio dello studio mostra una maggiore resilienza dei modelli in termini di convergenza e coerenza nelle prestazioni dei test, superando le tecniche attuali di analisi del sentiment nei testi code-mixed con una precisione del 3,31%⁵.

Nel loro lavoro fondamentale, l'identificazione statistica del linguaggio da parte di Dunning è stata presentata per la prima volta dal Computing Research Lab della New Mexico State University nel Rapporto^{Tecnico 6}. Questo articolo analizza diversi tipi di apprendimento supervisionato utilizzando il Modello di Markov Nascosto, il Metodo del Classificatore della Foresta Casuale, il Campo Casuale Condizionale e il Classificatore Naive Bayes basandosi sulla coppia linguistica di dati misti in codice^{inglese-Telugu 7}. Il documento si concentra sulle lingue indiane tra cui inglese, bodo e assamese, discutendo un approccio innovativo per il riconoscimento delle lingue nei materiali code-mixed dei social media. I ricercatori utilizzano la Memoria Bidirezionale a Breve Termine in un modello di deep^{learning 8}.

In questo articolo hanno utilizzato un ampio dataset relativo alla lingua gujarati, in cui la lingua gujarati è mescolata con inglese e hindi. Utilizzavano una varietà di classificatori per l'apprendimento automatico. Tra questi, il Support Vector Clasificifier ha dato la migliore precisione del 92% e⁹.

Un quadro linguistico viene utilizzato nella fase di classificazione separata per distinguere tra code-switching e prestito di tweet olandese-inglese. Utilizzando LID basati su regole, Support Vector Machines e classificatori a albero decisionale, apprendono che il DTC (micro F1 = 0,95) e il sistema LID basato su regole (micro F1 = 0,95) ottengono il miglior^{risultato di 10}.

Le prestazioni del loro modello sono state valutate utilizzando il dataset TRAC-1 per la rilevazione dell'aggressività a cambio di codice, il dataset Hinglish Offensive Tweet e il dataset di classificazione dell'umorismo¹¹. Per migliorare la ritenzione nell'acquisizione lessicale adulta tramite la lettura, è stato proposto un approccio probabilistico come metodologia L2 per produrre testo misto in codice¹². Un modulo dizionario è incorporato e utilizzato per effettuare test su vari classificatori supervisionati al fine di controllare il code-mixing a livello di^{parola 13}.

Hanno utilizzato una varietà di metriche per analizzare i modelli di commutazione di codice e hanno scoperto che, sia per spagnolo-inglese che per hindi-inglese, i modelli di reti neurali hanno avuto risultati peggiori rispetto al modello Condizionali Random Fields (CRF) con un margine di 2,5 e 3,5 punti percentuali, rispettivamente¹⁴.

Utilizzando un lessico bilingue e un testo inglese come input, il metodo costruisce un grafo fattoriale sopra le menzioni lessicali per produrre un testo code-switched che ottimizza un dato parametro di "apprendimento". In questo articolo, cercano di comprendere meglio i concetti della cassetta degli attrezzi CanVEC basandosi sulle coppie linguistiche di dati codificati Hindi-Inglese. Hanno ottenuto con successo un punteggio F1 dell'87,99% e^{una precisione 15,16}.

Gli autori esaminano innanzitutto il code-mixing tra Gujarati e English¹⁷, applicando una pipeline a tre stadi per identificare la lingua di ciascun token, normalizzare l'ortografia e traslitterare i segmenti nei loro script nativi. Successivamente si concentrano su un corpus¹⁸ hindi-inglese, dove introducono nuovi algoritmi di rilevamento del sentiment specificamente adattati a strutture di frasi bilingue. Per supportare la sperimentazione controllata, generano testo mixato con codice sintetico addestrando modelli skip-gram su dati monolingui e fondendo i risultati¹⁹.

Successivamente, un dataset di social media²⁰ in konkani-inglese viene elaborato tramite un metodo di identificazione a livello di parola basato su regole, ottenendo prestazioni robuste senza alcun dato di addestramento^{annotato manualmente 21}. Ampliando il campo, uno studio sfrutta un ampio corpus traslitterato di inglese, hindi, bengalese e assamese provenienti da piattaforme come Facebook²² per valutare una serie di tecniche di etichettatura a livello di parola. Sulla base di ciò, un altro framework²³ passa dinamicamente da una lingua all'altra per rilevare frasi incorporate o prese in prestito con grande precisione. Nel campo agricolo, i commenti punjabi-inglese sono classificati utilizzando diversi modelli—tra questi, un classificatore n-grammatico offre la migliore^{accuratezza 24}. Per il CMST singalese-inglese, vengono confrontati gli apprendenti in ensemble (Random Forest, SVM, Naive Bayes, Decision Tree, Logistic Regression), con Random Forest che emerge come il^{miglior performer 25}, mentre gli embedding a livello di carattere abbinati a SVM ottengono ottimi risultati sulle coppie Tamil-Inglese e Malayalam-Inglese²⁶. Infine, il Progetto^{Crúbadán 27} viene presentato come un grande sforzo per costruire corpora linguistici sottodotati di risorse attraverso l'esplorazione del web, gettando le basi per future ricerche sul code-mixing.

Dataset	Risultati chiave	Precisione/F1-Score/Accuratezza/Pratica/Richiamo
Dataset Hindi–Bengali–Inglese tratto da post su Facebook	Ha evidenziato le sfide di identificazione linguistica nei testo sui social media a livello di parola	89.30%
Articoli di giornale, documenti	Eseguito efficacemente utilizzando N-grammi per l'identificazione linguistica	0.99%
Dataset indiani code-mixed	Dimostrazione della buona accuratezza nell'identificazione linguistica a livello di parola	Non segnalato (NR)
Dataset basati su Wikipedia	Rilevamento robusto del code-switch a livello di token	Non segnalato (NR)
Tweet hindi–inglese	Prestazioni Migliorate nella classificazione sentimentale di codici misti in hindi e inglese	0.78%
Corpora multilingue	Quadro fondamentale di identificazione linguistica consolidato	78.00%
Code_mixed Dati inglese–telugu	CRF ha raggiunto le migliori prestazioni	89.30%
Testo misto in codice inglese–Bodo	Ha raggiunto un'elevata accuratezza a livello di parola	92.00%
Scritture miste in codice gujarati–hindi	L'accuratezza dell'identificazione linguistica a livello di frase è ≈92%	92.00%
Tweet olandese-inglese	I modelli DTC e basati su regole hanno raggiunto ≈0,95 F1	95.00%
Dataset a commutazione di codice	Prestazioni competitive tra i modelli	Non segnalato (NR)
Testo misto a codice sintetico	Progresso dell'apprendimento lessicale	Non segnalato (NR)
Testo misto inglese–Kannada	LID automatico efficace	Non segnalato (NR)
TRAC-1, dataset hinglish	Il CRF ha superato le prestazioni nei modelli di reti neurali	91.00%
Dati online multilingue	Identificazione accurata a livello di parola in Lnaguage	88.00%
Social media hindi–inglese	Alta accuratezza nell'identificazione linguistica dell'hindi-inglese	0.93%
Codice inglese–gujarati - misto	Elaborazione bilingue efficace
Social media Dataset Code-Mixed	Rilevamento del sentiment migliorato	0.90%
Dati sintetici misti in codice	Rappresentazioni di embedding forte	Non segnalato (NR)
Testo misto sui social media in codice Konkani–Inglese	Prestazioni robuste senza annotazione	0.89%
Dataset code-mixed da Twitter	Rilevamento migliorato degli interruttori	90.20%
Assamese–Bengalese–Hindi–Inglese	Identificazione accurata della lingua multilingue	91.00%
Social media - Testo misto in codice	Punteggio F1 ≈0,95	0.95%
Dati misti in codice inglese–punjabi	Il modello N-gramma ha ottenuto le migliori prestazioni	0.88%
Dati misti in codice singalese–inglese	La RF ha raggiunto la massima precisione	0.92%
Commenti misti in codice su Facebook	LID migliorato a livello di parola	0.93%
Crúbadán Corpus	Ha permesso la ricerca linguistica a basse risorse	Non segnalato (NR)
Dataset code-mixed	Buone prestazioni mostrate nell'Identificazione della Lingua a livello di parola	0.94%

Tabella 1: Riassunto della letteratura linguistica mista in codice.

Protocollo

Il testo code-mixed e code-switched in inglese e Kokborok è stato raccolto manualmente da conversazioni locali e post pubblici disponibili sulle piattaforme social. Non sono state raccolte informazioni personali identificabili o sensibili. Tutte le procedure seguivano linee guida etiche istituzionali.

3. Progettazione e implementazione

3.1 Algoritmo
3.1.1 Per ogni gettone nella Frase (S):
un. Utilizzando il dizionario di frequenza, si calcola la probabilità lessicale P_lexi .
b. Sulla base del modello N-gramma, si calcola la probabilità_{P del carattere} basata sui caratteri
c. interpolazione pesata di entrambi:
P_{combinato =} λ_lexi P_lexi + _λchar P_char
3.1.2. La combinazione di probabilità P_combinata per ogni token è stata memorizzata come probabilità di emissione.
3.1.3. Applicare l'algoritmo di Viterbi:
un. Dato inizialmente con probabilità linguistiche iniziali.
b. Per ogni gettone:
i. Calcolare la_{transizione P count} transition (continuazione nella stessa lingua).
e_{P switch} (probabilità di cambio di lingua).
ii. Selezionare il percorso linguistico e massimizzare la probabilità della sequenza.
3.1.4. Emettere la sequenza linguistica di massima probabilità L con la probabilità complessiva più alta.

3.2 Ambiente computazionale
L'implementazione di tutti gli esperimenti è stata effettuata utilizzando Python 3.10 sulla piattaforma Google Colab. Il sistema utilizzava un insieme di pacchetti Python di base come NumPy, Pandas e Matplotlib per elaborare e visualizzare i dati, e scikit-learn (v1.3) per fare previsioni e analisi statistiche. L'integrazione del dizionario di frequenze, la modellazione n-gram dei caratteri e la decodifica di Viterbi furono implementate con script Python personalizzati. Il modello è stato addestrato e testato su un dataset di 10.000 frasi, con una divisione 70/30 per addestramento e test.

3.3 Identificazione linguistica
Una volta che una frase è stata tokenizzata, il modulo di identificazione linguistica decide se ogni token è in Kokborok o in inglese. L'architettura completa del sistema è illustrata nella Figura 1. Questa assegnazione linguistica viene poi utilizzata per determinare quali moduli di trascrizione sono appropriati. Unendo i dati di un modello a n-grammi di caratteri e da un dizionario di frequenza, si determina il linguaggio di un token.

A causa delle significative differenze ortografiche tra i due linguaggi descritti sopra, un classificatore che utilizza solo le informazioni del token stesso, senza alcuna caratteristica contestuale, già funziona bene. Tuttavia, dopo l'assegnazione iniziale, viene applicato un altro classificatore utilizzando l'algoritmo di Viterbi. Questo secondo classificatore riduce la classificazione errata degli omografi interlinguali e favorisce i raggruppamenti di parole appartenenti alla stessa lingua.

Figura 1: Pattern a livello di parola e cambiamenti di lingua penalizzanti usando il rithm algoritmico di Viterbi. Clicca qui per visualizzare una versione più grande di questa figura. 

Figura 2: Metodo per l'identificazione linguistica delle frasi in codice misto. Clicca qui per visualizzare una versione più grande di questa figura.

Abbiamo raccolto i dati dal corpus^{di Crúbadán 27} per il dizionario e il modello del carattere. In questo corpus sono presenti numerose lingue, incluse molte lingue minoritarie come il kokborok.

Poiché il dataset nel corpus di Crúbadán è insufficiente per il nostro scopo, abbiamo testato un nuovo dataset biblico di Kokborok. Rispetto ad altre lingue, le fonti disponibili sono relativamente poche. Di conseguenza, i dati per le frasi contrastanti di questo articolo sono stati raccolti da gruppi WhatsApp di lingua Kokborok come Platinum Jubilee, Population Group, Restoration International Group, Khumulwng, Depachara Baptist Society, United Tiprasa Forum (UTF), Depachara Youth Fellowship, Krishna Nagar (UE), Uchoi Christian Fellowship (UCF), Tipra Kwsrang Bodol, Tribal Engineering Society, National Institute of Technology Students Borok, Information Yarung e Tripura Uchoi Youth Association (TUYA).

Un totale di 10.000 frasi codificate in kokborok e inglese sono state raccolte da questi gruppi WhatsApp tra agosto 2021 e dicembre 2023. Le fonti e la distribuzione del dominio del dataset sono elencate nella Tabella 2.

Nome	Totale delle parole contate
Parole della Bibbia di Kokborok	718883
Frasi miste in codice inglese e Kokborok	68789

Tabella 2: Parole totali di Kokborok.

Lingua	Token totali
Kokborok (trp)	711509
Inglese (en)	1767141

Tabella 3: Modello del personaggio a 2 grammi.

Sl. No	Frasi Misti Totali di Codice usate
1	10,768

Tabella 4: Totale delle frasi miste addestrate.

Il modello del carattere e il dizionario sono stati tratti dal corpus^{di Crúbadán 27}. Questa collezione, accessibile per una vasta gamma di lingue, incluse numerose lingue minoritarie, viene creata automaticamente cercando su internet materiali nella lingua di destinazione. Il corpus di Kokborok in particolare è piuttosto piccolo perché l'approccio fu inizialmente creato per Kokborok.

Sebbene sia disponibile anche un corpus di Kokborok e inglese, è stato volutamente non utilizzato a causa della mancanza di dataset, in particolare per quanto riguarda il code-mixing e il code-flipping. Ci sono anche diversi termini inglesi nel corpus di Kokborok; alcune di queste parole ( inclusi no, do e o) sono più comuni rispetto al corpus inglese.

Il dizionario e il modello linguistico svolgono il compito di etichettatura indipendente da singola parola. Il nostro compito è paragonabile a quello di King et ^al.28.

Le probabilità lessicali (lex), carattere (ch) e delle parole vengono utilizzate per creare un'interpolazione lineare tra le frequenze delle componenti lessicale (ch) e lessicale (lex). La probabilità combinata (a pettine) che ne deriva è mostrata nell'equazione (1) qui sotto; i parametri dettagliati di interpolazione sono presentati nella Tabella 3. La strategia di interpolazione è raffigurata nella Figura 2.

P_combinato = λ_lexi · P_lexi + λ_char · Personaggio (1)

Dove 0 ≤ λ_lexi, λchar ≤ 1; e λ_lexi + λchar = 1. Le parole senza base lessicale hanno una probabilità lessicale estremamente bassa ma non nulla. Presumibilmente, nel caso in cui una parola sia assente in entrambe le lingue lessiche, per l'implementazione viene utilizzato il modello dei caratteri invece della probabilità lessicale, anche se λ_lexi = 1.

Il nostro metodo per sviluppare il modello del personaggio si basa sulla catena di Markov n-gramma di Dunning (1994). Questo si ottiene contando rispettivamente n-grammi all'inizio e alla fine dei token, per stimare le probabilità iniziali e di transizione.

Il confronto delle prestazioni tra i modelli addestrati da 2 grammi e 4 grammi è mostrato di seguito.

   (2)

·

(3)

Le parole iniziali e di transizione di una probabilità possono essere moltiplicate per ottenere la probabilità di una parola usando il modello linguistico (4).

P(〈w1w2w3〉) = _{P iniziale}(〈w1 w2) · Transizione P (c3|〈w 1w2) · Transizione P(〉|c1w2w3) (4)

La lingua kokborok è molto ricca di prefissi e suffissi ed è una lingua morfologicamente agglutinante in cui suffissi come "o", "do" e "no" sono aggiunti alle parole base. Il 2-grammo aiuta a catturare efficacemente le transizioni morfologiche locali ai confini degli affassi, mentre il 4-grammo può catturare quelle parole di Kokborok che presentano dipendenze ortografiche più lunghe riscontrate nelle radici e nelle parole composte come Phailaidido, Thanlainai e Mwchangkha.

Questo vale per un corpus ampio, che aumenta la probabilità di diversi problemi di scarsità dei dati. Inoltre, la combinazione di caratteri potrebbe non apparire in tutti i casi, il che potrebbe far sì che la probabilità si azero. Il levigamento lambda viene utilizzato per risolvere questi tipi di problemi assegnando a ogni n-grammo contenente caratteri non visti un piccolo valore con probabilità diversa da zero. Il valore di lambda è fissato a 0,001.

  (5)

dove N = rappresenta la quantità di osservazioni distinte in n-grammi.

   (6)

dove D= è il numero di differenze rilevate in n-grammi. Si assume che la probabilità per un n-gramma non osservato sia la stessa.

   (7)

dove C indica la dimensione del carattere.

I valori iniziali di Pcount, λ_lexi e λchar furono impostati empiricamente dall'analisi di frequenza dei corpi di Kokborok e inglese. Per prima cosa, abbiamo inizializzato λ_lexi a 0,5 e pesato sia le probabilità lessicali che basate sui caratteri, rendendo entrambe ugualmente contributive nella prima esecuzione. Questo livello di inizializzazione ci ha permesso di identificare il ruolo comparativo del lessico e del modello a n-grammi di caratteri tra i dataset.

Il parametro di transizione Pcount (che continua nella stessa lingua) è stato impostato a 0,6, basato sul rapporto tra le sequenze monolingui e i punti di interruzione nel dataset segnato manualmente. Questi valori fornivano un buon punto di partenza per la convergenza durante l'accordatura. Successivamente, il perfezionamento di tutti i parametri è stato effettuato attraverso una serie di tentativi ripetuti per massimizzare il Coefficiente di Correlazione di Matthews (MCC), dettagliato nella sezione Risultati.

Identificazione contestuale
Il modello contestuale utilizza le probabilità già inizializzate (Pcount e Pswitch) durante la fase di identificazione indipendente e le affina usando la decodifica di sequenze di Viterbi, così da ridurre le incongruenze di transizione e rilevare in modo ottimale il cambio di lingua.

L'output analitico del modello linguistico dipende dal contesto ed è ottenuto principalmente combinando il token corrente con il token successivo e utilizzando sia i token precedenti che attuali. Poiché esiste la possibilità che due parole con lo stesso valore di frequenza abbiano significati simili e causino una classificazione errata (errata classificazione), è stato utilizzato l'approccio dipendente dal contesto per trovare i termini di somiglianza presenti in entrambe le lingue.

Alcune parole, come "no", "do", "o", "are", "da (giorno)", "va", "sa (di)", "rosa", "anello" e molte altre, sono simili in entrambe le lingue. Di conseguenza, può essere piuttosto difficile identificare il linguaggio corretto quando si presenta questo tipo di ambiguità, e occasionalmente le lingue vengono classificate in modo errato.

Per affrontare questi problemi di identificazione linguistica, abbiamo presentato un insieme di modelli linguistici utilizzando un modello di Markov nascosto discriminativo e un machine learning supervisionato. Si assume che la probabilità di transizione per entrambe le lingue sia la stessa. Per il Pcount della stessa lingua, la probabilità continua è il parametro primario da dichiarare. Attraverso questo possiamo calcolare la probabilità di cambiare lingua.

_{P switch} = 1 − P_count (8)

La classificazione contestuale usando il percorso di Viterbi è mostrata nella Figura 3. L'obiettivo dell'algoritmo di Viterbi è determinare quale dei linguaggi delle sequenze di token sia il migliore secondo Pcount e Pswitch.

L'algoritmo di Viterbi viene applicato alla classificazione contestuale. Pcount e Pswitch sono usati per etichettare gli archi, e i nodi sono etichettati con la verosimiglianza relativa assegnata dal primo classificatore.

A causa della maggiore probabilità di utilizzare la lingua Kokborok, il percorso a tratteggiamenti verrebbe scelto se il primo classificatore fosse l'unico usato e non fossero disponibili informazioni contestuali.

L'impatto dell'aggiustamento basato sul contesto è visualizzato nella Figura 4. Questo dimostra come, in assenza di informazioni contestuali, la seconda, la terza e la quinta parola nella frase "Next week o phaisidi do" verrebbero erroneamente identificate come inglesi (en) (percorso tratteggiato). Sebbene le probabilità siano leggermente maggiori per l'inglese, i valori relativi sono vicini.

Due spostamenti linguistici saranno penalizzati e la probabilità della sequenza sarà inferiore al percorso ottimale dell'algoritmo di Viterbi se si considerano anche le probabilità di transizione. Pertanto, solo parole che hanno una probabilità sostanzialmente maggiore di originare dall'altra lingua — piuttosto che termini comuni in entrambe — possono innescare cambiamenti linguistici in brevi sequenze.

Il coefficiente di correlazione di Matthews è stato scelto come metrica di valutazione perché, rispetto ad altre metriche come precisione, ricordo e accuratezza, è significativamente più adatto per compiti di classificazione binaria, poiché tiene conto sia dei veri positivi e dei veri negativi, sia dei falsi positivi e dei falsi negativi.

   (9)

Risultati

Nella Tabella 4, abbiamo mostrato i punteggi MCC e i risultati della sintonia dei parametri per Ptrp che hanno calcolato il bias iniziale verso sequenze iniziali con parole di Kokborok e calcolato il Pcount, che è la probabilità di continuare nella stessa lingua.

λ_lex

Conteggio = 0,66

Pcount = 0,70

Conteggio = 0,74

Pcount...

Discussione

Sebbene il modello suggerito dimostri un'accuratezza del 93,15% a livello di parola, un'analisi approfondita degli errori rivela diversi schemi ricorrenti che evidenziano le sfide dell'identificazione delle lingue in codice misto inglese-Kokborok.

Uso di parole prese in prestito e parole ambigue
Una parte significativa degli errori deriva dall'uso di parole inglesi prese in prestito, che sono diventate comuni nell'uso di Ko...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Raspberry Pi 4	Fondotinta Raspberry Pi	RPI4-MODBP-4GB	Utilizzato per l'elaborazione di linguaggi a basse risorse
Scheda MicroSD 64GB	SanDisk	SDSQUAR-064G-GN6MA	Per l'archiviazione di sistemi operativi e dataset
Alimentazione 5V/3A	Lampberry Pi ufficiale	SC0218	Per alimentare la scheda Pi
Microfono USB	Boya	BY-M1	Per l'ingresso audio nella raccolta dei dati linguistici
Monitor (HDMI)	LG	22MK600M	Visualizzazione in uscita durante i test
Tastiera & Mouse Combo	Logitech	MK270	Controllo dell'interfaccia
Dongle WiFi (se Pi 3)	TP-Link	TL-WN725N	Trasferimento dati wireless (se non c'è WiFi integrato)
IDE Python (Thonny)	Open Source	-	IDE per la programmazione
Dataset dei lessici	Costruiti su misura	-	Coppia linguistica Kokborok-inglese
Dataset N-gramma	Costruiti su misura		Coppia linguistica inglese-Kokborok
Code-Mixed e Code-Switching	Costruiti su misura	10.000 frasi	Raccolto da testo sui social media, WhatsApp e WhatsApp, ONG, BIBBIA, ecc