Identification linguistique à faible ressource des phrases mixtes en anglais et code de Kokborok

Résumé

L’objectif du protocole donné est d’identifier correctement les langues au niveau des mots dans le texte mixte en code anglais-Kokborok, en utilisant un modèle non supervisé qui combine les n-grammes de caractères et les dictionnaires de fréquence.

Résumé

Le besoin d’un modèle de détection automatique des langues au niveau des mots s’épais, en raison de l’utilisation croissante du texte multilingue. Pour identifier les phrases code-switched et code-mixed dans la langue kokborok et l’anglais au niveau des mots, nous proposons un modèle non supervisé. De nombreuses études sur le texte mixte codé ont été publiées, notamment pour plusieurs langues indiennes. Cependant, à notre connaissance, notre travail représente un effort pionnier, étant le premier à identifier les langues pour des paires anglais-Kokborok à faible niveau de ressources. Nous avons utilisé une méthode qui fusionne les données d’un dictionnaire de fréquences avec celles d’un modèle de caractères n-grammes. La technique de Viterbi combine un modèle de Markov n-gramme de caractères avec un lexique fréquentiel pour faciliter l’identification précise de la langue au niveau des mots. La méthode proposée a bien fonctionné, avec une précision au niveau des mots de 93,15 %, ce qui est mieux que le modèle BiLSTM-CRF de 88,5 % et la base de référence basée sur des règles de 85,3 %. Cela démontre l’efficacité de combiner lexique et méthodologie statistique pour gérer des langues à faible ressources sans dépendre de vastes ensembles de données annotés.

Introduction

À l’ère numérique, la croissance rapide du code-mixing et du code-switching de la communication multilingue sur les plateformes de réseaux sociaux devient centrale dans la communication mondiale. La nécessité d’une identification précise des langues dans le contenu textuel est primordiale. Après observation, nous avons constaté que de nombreuses langues indiennes comme l’hindi, le bengali et le télougou ont déjà été explorées dans l’identification linguistique, et que d’autres langues indiennes à faible ressource comme le manipuri, le bodo et l’assamais, ont été partiellement prises en compte dans la recherche sur l’identification linguistique. Cependant, il existe encore un écart important en recherche dans le développement de modèles pour le kokborok, une langue à faible nombre de ressources qui est à la fois linguistiquement et structurellement distincte.

Contrairement aux langues manipuri, assamais et bodo, à faible ressource, le kokborok présente une grande variation orthographique et est écrit en écriture romaine ou bengalie, souvent de manière interchangeable dans la communication. Cela crée beaucoup d’ambiguïté dans les limites des jetons, la translittération et l’extraction de caractéristiques au niveau des personnages, ce qui pose des défis particuliers et a rarement été pris en compte dans la littérature. De plus, le kokborok est une langue agglutinante, et sa morphologie inclut des préfixes et suffixes riches (par exemple, -o, -do, -no) ainsi que des tons phonémiques, ce qui rend plus difficile l’application des modèles existants d’identification linguistique mixte en code développés par rapport aux langues indo-aryennes.

Ces problèmes sont encore renforcés par les réseaux sociaux. Les locuteurs de kokborok ont souvent tendance à mélanger des mots anglais dans le texte, non seulement pour le mélange et le changement de code, mais aussi pour compenser l’absence d’éléments lexicaux dans la phrase de Kokborok. Cela conduit à des orthographes non standard et à une utilisation contextuelle des mots, ce qui constitue un revers par rapport aux systèmes basés sur des règles ou purement lexicaux.

Dans cette étude, ces lacunes sont comblées en proposant un modèle non supervisé combinant dictionnaires de fréquences et probabilités de n-grammes de caractères avec un cadre de décodage de Viterbi. La méthode se concentre particulièrement sur les complexités orthographiques, morphologiques et contextuelles de la paire anglaise-Kokborok, et constitue ainsi l’une des premières tentatives computationnelles de traiter et de détecter systématiquement les barrières linguistiques au niveau des mots dans cette langue à faible richesse en ressources.

CONTEXTE DE KOKBOROK
Les mots « Kok », qui signifie langue, et « Borok », qui implique humain, forment le mot composé « Kok-borok », qui désigne humain. Le terme « Kok-borok » désigne la langue parlée par le peuple Borok du Tripura, ainsi que par ceux des pays voisins du Bangladesh et du Myanmar, ainsi que par les habitants du Mizoram, du Manipur et de l’Assam. La langue kokborok, parlée principalement au Tripura, est écrite en écriture romaine et bengalie. L’écriture romaine est privilégiée par la majorité des locuteurs de Kokborok. En réalité, c’est le sous-groupe linguistique sino-tibétain connu sous le nom de tibéto-birman qui est l’origine de la langue kokborok. La langue kokborok et la langue bodo sont subtilement similaires. Les 36 variétés de la langue kokborok présentent des similitudes subtiles avec les langues bodo et kachari.

Koloma était connu comme l’écriture originale de Kokborok. Le seul État en Inde, le Tripura, était contrôlé par 184 personnes avant d’être unifié en l’Union indienne le 15 octobre 1949. L’écriture Koloma présente dans le livre de Rajratnakar est celle utilisée pour écrire les récits historiques. Plus tard, au XIVe siècle, deux brahmanes nommés Sukreswar et Vaneswar traduirent la langue en sanskrit puis à nouveau en écriture bengalie. Il existe l’homophonie des radicaux, le ton phonémique, la morphologie des verbes, l’ordre des mots et les suffixes dérivationnels des verbes produits à partir des verbes dans la langue kokborok.

Au fil du temps, Kokborok a découvert des langues telles que l’anglais, l’arabe, le bengali, le persan, etc. Différents types de structures agglutinantes complexes se trouvent dans la langue kokborok. Les personnes parlant le kokborok comme langue maternelle au Tripura ne peuvent pas facilement accéder à l’information car la langue n’a pas encore un alphabet largement adopté, mais cela est en cours de développement.

Plusieurs dialectes du kokborok sont parlés au Tripura. Au Tripura, divers dialectes sont parlés, notamment le tripura/tripuri, le debbarma, le reang, la Jamatia, l’uchai, le noatia, le lusai, le kukis, le chaimal, le halam, le santal, le lepcha, le chakma, le khasia, l’orang, le mog et le garos. Selon le rapport du recensement de 2011, il y a 1 011 294 locuteurs de kokborok en Inde et plus de 400 000 au Bangladesh, un pays voisin.

REVUE DE LA LITTÉRATURE
Les auteurs décrivent leurs recherches en cours sur l’identification automatique des langues à l’aide d’un nouveau jeu de données de publications Facebook mêlant du code en hindi, bengali et anglais. Ils expérimentent diverses techniques, telles que les approches basées sur le dictionnaire et la classification supervisée, pour l’identification linguistique au niveau des mots, soulignant l’importance de prendre en compte les indices contextuels pour une identification linguistique précise dans de tels environnements.

L’article présente un ensemble de données de tweets annotés dans le but d’identifier les discours de haine sur les plateformes de réseaux sociaux avec un mélange de codes hindi-anglais utilisant des techniques basées sur le lexique, au niveau des caractères et au niveau des^{mots 1}. Une méthode de catégorisation de texte tolérante à l’erreur basée sur les N-grammes est présentée dans l’article. Premièrement, le système est utilisé pour calculer des profils à partir de données de l’ensemble d’entraînement, telles que des échantillons de contenus ou expressions de groupes de discussion, qui reflètent les différentes catégories. Ensuite, le système crée un profil pour le document spécifique à catégoriser. Enfin, l’algorithme calcule la mesure de distance entre chaque profil de catégorie et le profil du document. La catégorie dont le profil est le plus proche du profil du document est choisie par le système².

Plusieurs techniques d’inclusion de mots, dont le Continuous Bag of Words et les modèles Skip-Gram, ont été comparées afin de créer des vecteurs de caractéristiques. Adaboost, Random Forest, K-Nearest Neighbors, Gauss Naive Bayes, Support Vector Machine et Logistic Regression ont tous produit de bons scores de validation^{croisée 3}. Un résumé des approches antérieures est fourni dans le Tableau 1.

En utilisant des classificateurs basés sur un lexique, l’étude surpasse les classificateurs existants sur trois appariements linguistiques évalués dans l’étude : espagnol-anglais, néerlandais-anglais et allemand-turc avec des ensembles de données sur les réseaux^{sociaux 4}. L’approche de l’étude montre une meilleure résilience des modèles en termes de convergence et de cohérence dans les performances des tests, surpassant les techniques actuelles d’analyse de sentiment dans les textes mixtes codés avec une précision de 3,31^{% 5}.

Dans leur travail fondamental, l’identification statistique du langage par Dunning a été présentée pour la première fois par le Computing Research Lab de la New Mexico State University dans le Rapport Technique⁶. Cet article analyse différents types d’apprentissage supervisé en utilisant le modèle de Markov caché, la méthode du classificateur de forêt aléatoire, le champ aléatoire conditionnel et le classificateur Naive Bayes, basé sur la paire de langues de données mixtes en code^{anglais-télougou 7}. L’article se concentre sur les langues indiennes, notamment l’anglais, le bodo et l’assamais, tout en abordant une approche novatrice pour reconnaître les langues dans le contenu code-mixé sur les réseaux sociaux. Les chercheurs utilisent la mémoire bidirectionnelle à court terme dans un modèle^{d’apprentissage profond 8}.

Dans cet article, ils ont utilisé un vaste ensemble de données relatif à la langue gujarati — dans lequel celle-ci est mêlée à l’anglais et à l’hindi. Ils utilisaient une variété de classificateurs d’apprentissage automatique. Parmi eux, le Classificateur de Vecteurs de Soutien donnait la meilleure précision de 92 % de^{précision 9}.

Un cadre linguistique est utilisé à l’étape de classification séparée pour différencier le changement de code et l’emprunt de tweets néerlandais-anglais. En utilisant des LID basés sur des règles, des machines à vecteurs de support et des classificateurs d’arbre de décision, ils apprennent que le DTC (micro F1 = 0,95) et le système LID basé sur des règles (micro F1 = 0,95) sont les meilleurs¹⁰.

La performance de leur modèle a été évaluée à l’aide du jeu de données TRAC-1 pour détection d’agressivité commutée par code, du jeu de données Hinglish Offensive Tweet, et du jeu de données de classification^{humoristique 11}. Pour améliorer la rétention dans l’acquisition lexicale adulte par lecture, une approche probabiliste a été proposée comme méthodologie L2 pour produire un texte mixte^{en code 12}. Un module de dictionnaire est intégré et utilisé pour effectuer des tests sur divers classificateurs supervisés afin de contrôler le code-mixing^{au niveau des mots 13}.

Ils ont utilisé divers indicateurs pour analyser les schémas de commutation de code et ont découvert que, pour l’espagnol-anglais et l’hindi-anglais, les modèles de réseaux de neurones performaient moins bien que le modèle des champs aléatoires conditionnels (CRF), avec une marge de 2,5 et 3,5 points de pourcentage, respectivement¹⁴.

En utilisant un lexique bilingue et un texte anglais en entrée, la méthode construit un graphe factoriel sur les mentions lexicales pour produire un texte code-commuté qui optimise un paramètre donné de « capacité d’apprentissage ». Dans cet article, ils cherchent à mieux comprendre les concepts de la boîte à outils CanVEC à partir des paires de langues de données codées hindi-anglais. Ils ont obtenu avec succès un score F1 de 87,99 % avec^{une précision de 15,16}.

Les auteurs examinent d’abord le code-mixing entre le gujarati et l’anglais¹⁷, appliquant un pipeline en trois étapes pour identifier la langue de chaque jeton, normaliser l’orthographe et translittérer les segments dans leurs écritures natives. Ils se concentrent ensuite sur un corpus¹⁸ hindi-anglais, où ils introduisent de nouveaux algorithmes de détection de sentiment spécifiquement adaptés aux structures de phrases bilingues. Pour soutenir l’expérimentation contrôlée, ils génèrent du texte synthétique mixté en code en entraînant des modèles skip-gram sur des données monolingues et en mélangeant les sorties¹⁹.

Ensuite, un jeu de données de réseaux^{sociaux 20} en konkani-anglais est traité via une méthode d’identification au niveau des mots basée sur des règles, atteignant ainsi des performances robustes sans aucune donnée d’entraînement annotée^{manuellement 21}. Pour élargir le champ d’action, une étude utilise un vaste corpus translittéré d’anglais, d’hindi, de bengali et d’assamais provenant de plateformes comme Facebook²² pour évaluer une gamme de techniques de balisage au niveau des mots. En s’appuyant sur cela, un autre framework²³ bascule dynamiquement entre les langues pour détecter avec grande précision les expressions intégrées ou empruntées. Dans le domaine agricole, les commentaires pendjabi-anglais sont classés selon plusieurs modèles — parmi eux, un classificateur n-gramme offre la meilleure^{précision 24}. Pour le CMST cinghalais-anglais, les apprenants d’ensemble (Random Forest, SVM, Naive Bayes, Decision Tree, Logistic Regression) sont comparés, Random Forest se classant^{comme meilleur 25}, tandis que les embeddings au niveau du caractère associés aux SVM obtiennent de bons résultats sur les paires tamoul-anglais et malayalam-anglais²⁶. Enfin, le Projet^{Crúbadán 27} est présenté comme un effort à grande échelle visant à construire des corpus linguistiques sous-financés en explorant le web, posant ainsi les bases de futures recherches sur le code-mixing.

Jeu de données	Résultats clés	Précision/F1-Score/Précision/Pratique/rappel
Jeu de données hindi–bengali–anglais tiré de publications Facebook	Mise en avant les défis liés à l’identification linguistique dans les médias sociaux au niveau des mots. Texte	89.30%
Articles de presse, documents	Effectif effectué à l’aide de N-grammes pour l’identification des langues	0.99%
Ensembles de données indiens mixtes en code	Démontrer la bonne précision dans l’identification linguistique au niveau des mots	Non signalé (NR)
Ensembles de données basés sur Wikipédia	Détection robuste du commutateur de code au niveau du jeton	Non signalé (NR)
Tweets hindi–anglais	Performances : Amélioration de la classification de sentiment du code mixte hindi et anglais	0.78%
Corpus multilingues	Cadre fondamental établi pour l’identification linguistique	78.00%
Code_mixed Données anglophone–télougou	CRF a obtenu ses meilleures performances	89.30%
Texte mixte en code anglais–Bodo	Atteinte d’une grande précision au niveau des mots	92.00%
Écritures codées mixtes gujarati–hindi	La précision de l’identification linguistique au niveau de la phrase est de ≈92 %	92.00%
Tweets néerlandais–anglais	Les modèles DTC et basés sur des règles ont atteint la F1 ≈0,95	95.00%
Ensembles de données à commutation de code	Performance concurrentielle entre modèles	Non signalé (NR)
Texte mixte en code synthétique	Amélioration de l’apprentissage lexical	Non signalé (NR)
Texte mixte anglais–kannada	LID automatique efficace	Non signalé (NR)
TRAC-1, ensembles de données hinglish	Le CRF a surpassé les modèles de réseaux neuronaux	91.00%
Données en ligne multilingues	Identification précise au niveau du Lnaguage au niveau des mots	88.00%
Réseaux sociaux hindi–anglais	Grande précision dans l’identification linguistique de l’hindi-anglais	0.93%
Code anglais–gujarati - Mixte	Traitement bilingue efficace
Réseaux sociaux - Ensembles de données mixtes Code	Détection du sentiment améliorée	0.90%
Données synthétiques mixtes en code	Représentations d’encastrement fortes	Non signalé (NR)
Texte mixte de réseaux sociaux Konkani–Anglais	Performance robuste sans annotation	0.89%
Jeu de données code-mixte de Twitter	Meilleure détection des interrupteurs	90.20%
Assamais–bengali–hindi–anglais	Identification précise multilingue des langues	91.00%
Réseaux sociaux - Code mixte	Note F1 ≈0,95	0.95%
Données mixtes en code anglais–pendjabi	Le modèle N-gramme a été le mieux performé	0.88%
Données mixtes cinghalais–anglais	La RF a atteint la meilleure précision	0.92%
Facebook : Commentaires mixtes en code	LID amélioré au niveau des mots	0.93%
Crúbadán Corpus	A permis la recherche linguistique à faible potentiel en ressources	Non signalé (NR)
Ensembles de données code-mixtes	Bonne performance démontrée dans l’identification linguistique au niveau des mots	0.94%

Tableau 1 : Résumé de la littérature mixte en langage codé.

Protocole

Le texte code-mixé et code-switché en anglais et Kokborok a été collecté manuellement à partir de conversations locales et de publications publiques sur les réseaux sociaux. Aucune information personnelle identifiable ou sensible n’a été recueillie. Toutes les procédures suivaient les directives éthiques institutionnelles.

3. Conception et mise en œuvre

3.1 Algorithme
3.1.1 Pour chaque jeton de la phrase (S) :
un. À l’aide du dictionnaire de fréquences, la probabilité lexicale P_lexi est calculée.
b. Basé sur le modèle N-gramme, la_{probabilité P de caractère} est calculée
c. interpolation pondérée des deux :
P_{combiné =} λ_lexi P_lexi + _λchar P_char
3.1.2. La combinaison de probabilité P_combinée pour chaque jeton a été stockée comme probabilité d’émission.
3.1.3. Appliquer l’algorithme de Viterbi :
un. Données initialement avec des probabilités de langage de départ.
b. Pour chaque jeton :
i. Calculer la transition_{P count} transition (continuation dans la même langue).
et_{P switch} (probabilité de changement de langue).
ii. Sélectionner le chemin du langage et maximiser la probabilité de la séquence.
3.1.4. Produire la séquence de langage de probabilité maximale L avec la probabilité globale la plus élevée.

3.2 Environnement de calcul
La mise en œuvre de toutes les expériences a été réalisée en utilisant Python 3.10 sur la plateforme Google Colab. Le système utilisait un ensemble de packages Python de base comme NumPy, Pandas et Matplotlib pour traiter et visualiser les données, et scikit-learn (v1.3) pour faire des prédictions et analyses statistiques. L’intégration du dictionnaire de fréquences, la modélisation n-gramme de caractères et le décodage Viterbi ont été implémentés avec des scripts Python personnalisés. Le modèle a été entraîné et testé sur un ensemble de données de 10 000 phrases, avec une répartition 70/30 pour l’entraînement et les tests.

3.3 Identification linguistique
Une fois qu’une phrase a été tokenisée, le module d’identification de la langue décide si chaque jeton est en kokborok ou en anglais. L’architecture complète du système est illustrée à la Figure 1. Cette assignation linguistique sert ensuite à déterminer quels modules de transcription sont appropriés. En fusionnant des données d’un modèle n-gramme de caractères et d’un dictionnaire de fréquences, le langage d’un jeton est déterminé.

En raison des différences orthographiques importantes entre les deux langues décrites ci-dessus, un classificateur qui utilise uniquement l’information du jeton lui-même, sans aucune caractéristique contextuelle, fonctionne déjà bien. Cependant, après l’affectation initiale, un autre classificateur utilisant l’algorithme de Viterbi est appliqué. Ce second classificateur réduit la mauvaise classification des homographes interlinguaux et favorise les groupes de mots appartenant à la même langue.

Figure 1 : Motifs au niveau des mots et changements de langue pénalisants à l’aide du rithme de l’algorithme de Viterbi. Veuillez cliquer ici pour voir une version agrandie de cette figure. 

Figure 2 : Méthode pour l’identification linguistique des phrases codées. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Nous avons collecté les données du corpus²⁷ de Crúbadán pour le dictionnaire et le modèle de caractère. De nombreuses langues, y compris de nombreuses langues minoritaires comme le kokborok, sont présentes dans ce corpus.

Comme le jeu de données du corpus de Crúbadán est insuffisant pour notre objectif, nous avons testé un nouveau jeu de données biblique Kokborok. Comparé à d’autres langues, il existe relativement peu de sources disponibles. En conséquence, les données pour les phrases mixtes de cet article ont été recueillies à partir de groupes WhatsApp parlant Kokborok tels que Platinum Jubilee, Population Group, Restoration International Group, Khumulwng, Depachara Baptist Society, United Tiprasa Forum (UTF), Depachara Youth Fellowship, Krishna Nagar (UE), Uchoi Christian Fellowship (UCF), Tipra Kwsrang Bodol, Tribal Engineering Society, National Institute of Technology Students Borok, Information Yarung et Tripura Uchoi Youth Association (TUYA).

Un total de 10 000 phrases codées mixtes en kokborok et en anglais ont été recueillies à partir de ces groupes WhatsApp entre août 2021 et décembre 2023. Les sources et la répartition des domaines de l’ensemble de données sont listées dans le tableau 2.

Nom	Total des mots comptages
Mots bibliques de Kokborok	718883
Phrases mixtes en code anglais et Kokborok	68789

Tableau 2 : Mots totaux de Kokborok.

Langue	Total des jetons
Kokborok (trp)	711509
Anglais (en)	1767141

Tableau 3 : Modèle de personnage à 2 grammes.

Sl. Non	Total des phrases mixtes en code utilisées
1	10,768

Tableau 4 : Total des phrases mixtes entraînées.

Le modèle de caractères et le dictionnaire ont été tirés du corpus²⁷ de Crúbadan. Cette collection, accessible à un large éventail de langues, y compris de nombreuses langues minoritaires, est créée automatiquement en recherchant sur Internet des documents dans la langue de destination. Le corpus de Kokborok en particulier est assez restreint car l’approche a été initialement créée pour Kokborok.

Bien qu’un corpus de Kokborok et d’anglais soit également disponible, il a volontairement été évité en raison du manque de jeux de données, notamment en ce qui concerne le code-mixing et le code-flipping. Il existe également plusieurs termes anglais dans le corpus de Kokborok ; certains de ces mots (dont no, do et o) sont plus courants que dans le corpus anglais.

Le dictionnaire et le modèle linguistique assurent l’étiquetage indépendant d’un mot individuel. Notre tâche est comparable à celle de King et ^al.28.

Les probabilités lexicales (lex), caractères (ch) et étiquettes de mot sont utilisées pour créer une interpolation linéaire entre les fréquences des composantes lexicales (ch) et lexicales (lex). La probabilité combinée (peigne) qui en résulte est indiquée dans l’équation (1) ci-dessous ; les paramètres détaillés d’interpolation sont présentés dans le tableau 3. La stratégie d’interpolation est représentée à la Figure 2.

P_combiné = λ_lexi · P_lexi + λ_char · Char de P₍₁)

Où 0 ≤ λ_lexi, λchar ≤ 1 ; et λ_lexi + λchar = 1. Les mots sans base lexicale ont une probabilité lexicale extrêmement faible mais non nulle. On suppose qu’un mot est absent des deux langues lexiques, le modèle de caractères est utilisé pour l’implémentation au lieu de la probabilité lexicale, même si λ_lexi = 1.

Notre méthode pour développer le modèle de caractère est basée sur la chaîne de Markov de caractères n-grammes de Dunning (1994). Cela se fait en comptant n-grammes au début et à la fin des jetons, respectivement, afin d’estimer les probabilités initiales et de transition.

La comparaison des performances entre les modèles entraînés de 2 grammes et de 4 grammes est présentée ci-dessous.

   (2)

·

(3)

Les mots initiaux et de transition d’une probabilité peuvent être multipliés pour obtenir la probabilité d’un mot en utilisant le modèle de langage (4).

P(〈w1w2w3〉) = P_initial(〈w1w2) · Transition P (c3|〈w1w2) · Transition P(〉|w1w2w3) (4)

La langue kokborok est très riche en préfixes et suffixes et est une langue morphologiquement agglutinante où des suffixes tels que « o », « do » et « no » sont ajoutés aux mots de base. Le 2-gramme aide à capturer efficacement les transitions morphologiques locales aux frontières d’affixes, tandis que le 4-gramme peut capturer les mots de Kokborok qui présentent des dépendances orthographiques plus longues trouvées dans les mots racines et composés tels que Phailaidido, Thanlainai et Mwchangkha.

Cela s’applique à un grand corpus, ce qui augmente la probabilité de plusieurs problèmes de parcipience des données. De plus, la combinaison de caractères peut ne pas apparaître dans tous les cas, ce qui peut faire tomber la probabilité à zéro. Le lissage lambda est utilisé pour résoudre ce type de problèmes en attribuant à chaque n-gramme contenant des caractères invisibles une petite valeur avec une probabilité non nulle. La valeur de lambda est fixée à 0,001.

  (5)

où N = représente la quantité d’observations distinctes en n-grammes.

   (6)

où D= est le nombre de différences détectées dans les n-grammes. On suppose que la probabilité d’obtenir un n-gramme non observé est la même.

   (7)

où C indique la taille du caractère.

Les valeurs initiales de Pcount, λ_lexi et λchar ont été fixées empiriquement par analyse fréquentielle des corpus de Kokborok et anglais. D’abord, nous avons initialisé λ_lexi à 0,5 et pondéré à la fois les probabilités lexicales et basées sur les caractères, rendant ainsi les deux également contribuables lors de la première exécution. Ce niveau d’initialisation nous a permis d’identifier le rôle comparatif du lexique et du modèle n-gramme de caractères entre les ensembles de données.

Le paramètre de transition Pcount (continuant dans la même langue) a été fixé à 0,6, basé sur le rapport des séquences monolingues par rapport aux points de commutation dans l’ensemble de données manuellement marqué. Ces valeurs constituaient un bon point de départ pour la convergence lors de l’accordage. Ensuite, l’affinement de tous les paramètres a été réalisé à travers une série d’essais répétés pour maximiser le coefficient de corrélation de Matthews (MCC), détaillé dans la section Résultats.

Identification contextuelle
Le modèle contextuel utilise les probabilités déjà initialisées (Pcount et Pswitch) lors de la phase d’identification indépendante et les affine grâce au décodage de séquence de Viterbi afin de réduire les incohérences de transition et de détecter de manière optimale le changement de langage.

La sortie analytique du modèle de langage dépend du contexte et est principalement obtenue en combinant le jeton actuel avec le jeton suivant et en utilisant à la fois les jetons précédent et présent. Puisqu’il est possible que deux mots avec la même valeur de fréquence aient des significations similaires et provoquent une mauvaise classification, l’approche dépendante du contexte a été utilisée pour trouver les termes de similarité présents dans les deux langues.

Certains mots, tels que « no », « do », « o », « are », « da (jour) », « go », « sa (dis) », « rose », « ring » et bien d’autres, sont similaires dans les deux langues. En conséquence, il peut être assez difficile d’identifier la langue correcte lorsque ce type d’ambiguïté survient, et il arrive que les langues soient mal classifiées.

Pour résoudre ces problèmes d’identification linguistique, nous avons présenté un ensemble de modèles de langage utilisant un modèle de Markov caché discriminatif et un apprentissage automatique supervisé. La probabilité de transition pour les deux langues est supposée être la même. Pour le Pcount de même langue, la probabilité continue est le paramètre principal à déclarer. Grâce à cela, nous pouvons calculer la probabilité de changer de langue.

_Commutateur P = 1 − _Nombre de P (8)

La classification contextuelle utilisant le chemin de Viterbi est illustrée à la Figure 3. L’objectif de l’algorithme de Viterbi est de déterminer quel langage des séquences de jetons est le meilleur selon Pcount et Pswitch.

L’algorithme de Viterbi est appliqué à la classification contextuelle. Pcount et Pswitch sont utilisés pour étiqueter les arêtes, et les nœuds sont étiquetés avec la vraisemblance relative assignée par le premier classificateur.

En raison de la probabilité plus élevée d’utiliser la langue de Kokborok, le chemin pointillé serait choisi si le premier classificateur était le seul utilisé et qu’aucune information contextuelle n’était disponible.

L’impact de l’ajustement basé sur le contexte est visualisé dans la Figure 4. Cela démontre comment, en l’absence d’informations contextuelles, les deuxième, troisième et cinquième mots de la phrase « Next week o phaisidi do » seraient à tort identifiés comme anglais (en) (chemin pointillé). Bien que les probabilités soient légèrement plus élevées pour l’anglais, les valeurs relatives sont proches.

Deux changements de langage seront pénalisés, et la probabilité de la séquence sera inférieure au chemin optimal de l’algorithme de Viterbi si l’on prend également en compte les probabilités de transition. Ainsi, seuls les mots qui sont nettement plus susceptibles d’évenir de l’autre langue — plutôt que de termes communs apparaissant dans les deux — peuvent déclencher des changements linguistiques dans de brèves séquences.

Le coefficient de corrélation de Matthews a été choisi comme métrique d’évaluation car, comparé à d’autres métriques telles que la précision, la mémoire et la précision, il est nettement plus approprié pour les tâches de classification binaire, car il prend en compte les vrais positifs et vrais négatifs ainsi que les faux positifs et faux négatifs.

   (9)

Résultats

Dans le tableau 4, nous avons montré les scores MCC et les résultats d’ajustement des paramètres pour Ptrp qui ont calculé le biais initial en faveur des séquences de départ avec des mots de Kokborok et calculé le Pcount, qui est la probabilité de continuer dans la même langue.

...

λ_lex

Pcount = 0,66

Pcount = 0,70

Comptage = 0,74

Discussion

Bien que le modèle suggéré démontre une précision de 93,15 % au niveau des mots, une analyse approfondie des erreurs révèle plusieurs schémas récurrents qui mettent en lumière les défis de l’identification linguistique mixte anglais-Kokborok.

Utilisation de mots empruntés et de mots ambigus
Une part importante des erreurs provient de l’utilisation de mots anglais empruntés, qui sont devenus courants dans l’usage du Kokborok...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Raspberry Pi 4	Fond de teint Raspberry Pi	RPI4-MODBP-4GB	Utilisé pour le traitement des langages à faible consommation de ressources
Carte MicroSD 64 Go	SanDisk	SDSQUAR-064G-GN6MA	Pour le stockage du système d’exploitation et des jeux de données
Alimentation 5V/3A	Framboise Pi officiel	SC0218	Pour alimenter la carte Pi
USB Microphone	Boya	BY-M1	Pour l’entrée audio dans la collecte de données linguistiques
Moniteur (HDMI)	LG	22MK600M	Affichage de sortie pendant les tests
Clavier & Combo souris	Logitech	MK270	Contrôle d’interface
Dongle WiFi (si Pi 3)	TP-Link	TL-WN725N	Transfert de données sans fil (si pas de WiFi embarqué)
IDE Python (Thonny)	Open Source	-	IDE pour la programmation
Lexicon Dataset	Construction sur mesure	-	Pair linguistique Kokborok-anglais
Jeu de données N-gramme	Construction sur mesure		Pair anglais-Kokborok
Code-mixé et code-commuté	Construction sur mesure	10 000 sentences	Recueilli à partir de textes sur les réseaux sociaux, de messages WhatsApp, d’ONG, de la BIBLE, etc