Ressourcenarme Spracherkennung von englischen und Kokborok-Code-gemischten Sätzen

Zusammenfassung

Ziel des gegebenen Protokolls ist es, Wortsprachen innerhalb des englisch-Kokborok-Code-gemischten Textes korrekt zu identifizieren, indem ein unüberwachtes Modell verwendet wird, das Zeichen-n-Gramme und Frequenzwörterbücher kombiniert.

Zusammenfassung

Aufgrund der zunehmenden Nutzung mehrsprachiger Texte besteht ein wachsender Bedarf an einem Modell für die automatische Spracherkennung auf Wortebene. Um code-switched und code-gemischte Sätze in der Kokborok-Sprache und im Englischen auf Wortebene zu identifizieren, schlagen wir ein unüberwachtes Modell vor. Zahlreiche Studien zu code-gemischtem Text wurden veröffentlicht, unter anderem für mehrere indische Sprachen. Nach unserem besten Wissen stellt unsere Arbeit jedoch eine Pionierleistung dar, da wir als erste Sprachen für ressourcenarme Englisch-Kokborok-Sprachpaare identifizierten. Wir haben eine Methode verwendet, die Daten aus einem Frequenzwörterbuch mit Daten aus einem Zeichen-n-Gramm-Modell zusammenführt. Die Viterbi-Technik kombiniert ein Zeichen-n-Gramm-Markov-Modell mit einem Frequenzlexikon, um die präzise Sprachidentifikation auf Wortebene zu erleichtern. Die vorgeschlagene Methode schnitt gut ab, mit einer Genauigkeit auf Wortebene von 93,15 %, was besser ist als das BiLSTM-CRF-Modell von 88,5 % und die regelbasierte Basislinie von 85,3 %. Dies zeigt die Wirksamkeit, Lexikon und statistische Methodik zu kombinieren, um ressourcenarme Sprachen zu handhaben, ohne auf riesige annotierte Datensätze angewiesen zu sein.

Einleitung

In diesem digitalen Zeitalter wird das rasante Wachstum von Code-Mixing und Code-Switching mehrsprachiger Kommunikation auf sozialen Medienplattformen zunehmend zentral für die globale Kommunikation. Die Notwendigkeit einer genauen Identifikation von Sprachen im Textinhalt ist von größter Bedeutung. Nach Beobachtung stellten wir fest, dass viele indische Sprachen wie Hindi, Bengalisch und Telugu bereits bei der Sprachidentifikation untersucht wurden und andere indische ressourcenarme Sprachen wie Manipuri, Bodo und Assamesisch teilweise in der Spracherkennungsforschung behandelt wurden. Es gibt jedoch weiterhin eine erhebliche Forschungslücke bei der Entwicklung von Modellen für Kokborok, eine ressourcenarme Sprache, die sowohl sprachlich als auch strukturell unterschiedlich ist.

Im Gegensatz zu Manipuri-, Assamesisch- und Bodo-Low-Resource-Sprachen weist Kokborok eine hohe orthographische Variation auf und wird in römischer oder bengalischer Schrift geschrieben, oft austauschbar in der Kommunikation. Dies führt zu viel Unklarheit bei den Token-Grenzen, der Transliteration und der Feature-Extraktion auf Charakterebene, was deutliche Herausforderungen darstellt und in der Literatur selten berücksichtigt wurde. Außerdem ist Kokborok eine agglutinierende Sprache, und ihre Morphologie enthält reichhaltige Präfixe und Suffixe (z. B. -o, -do, -no) sowie phonemische Töne, was es erschwert, bestehende Code-gemischte Sprachidentifikationsmodelle auf indoarische Sprachen anzuwenden.

Diese Probleme werden durch soziale Medien weiter verstärkt. Kokborok-Sprecher neigen oft dazu, englische Wörter in den Text zu mischen, nicht nur zum Code-Mixing und Code-Switching, sondern auch, um fehlende lexikalische Elemente im Kokborok-Satz auszugleichen. Dies führt zu nicht-standardisierten Orthographien und kontextbezogenen Wortgebrauch, was einen Rückschritt gegenüber regelbasierten oder rein lexikalischen Systemen darstellt.

In dieser Studie werden diese Lücken durch den Vorschlag eines unüberwachten Modells geschlossen, das Frequenzwörterbücher und Wahrscheinlichkeiten des Zeichens n-Gramms mit einem Viterbi-Dekodierungsrahmen kombiniert. Die Methode konzentriert sich besonders auf die orthographischen, morphologischen und kontextuellen Komplexitäten des Englisch-Kokborok-Paares und ist somit einer der ersten rechnergestützten Versuche, die Sprachbarrieren auf Wortebene in dieser ressourcenarmen Sprache systematisch zu behandeln und zu erkennen.

HINTERGRUND VON KOKBOROK
Die Wörter "Kok", was Sprache bedeutet, und "Borok", was "Mensch" impliziert, ergeben zusammen das zusammengesetzte Wort "Kok-borok", das Mensch bezeichnet. Der Begriff "Kok-borok" bezieht sich auf die Sprache, die von den Borok-Völkern von Tripura sowie von denen in den angrenzenden Ländern Bangladesch und Myanmar sowie von den Bewohnern von Mizoram, Manipur und Assam gesprochen wird. Die Kokborok-Sprache, die hauptsächlich in Tripura gesprochen wird, wird sowohl in römischer als auch in bengalischer Schrift geschrieben. Die römische Schrift wird von der Mehrheit der Kokborok-Sprecher gegenüber der bengalischen Schrift bevorzugt. Tatsächlich stammt die sino-tibetische Sprachuntergruppe, die als tibeto-burmanisch bekannt ist, der Ursprung der Kokborok-Sprache. Die Kokborok-Sprache und die Bodo-Sprache sind sich subtil ähnlich. Die 36 Varianten der Kokborok-Sprache weisen subtile Ähnlichkeiten sowohl mit der Bodo- als auch mit der Kachari-Sprache auf.

Koloma war als die ursprüngliche Kokborok-Schrift bekannt. Der einzige Bundesstaat Indiens, Tripura, wurde von 184 Personen kontrolliert, bevor er am 15. Oktober 1949 in die Indische Union vereinigt wurde. Die Koloma-Schrift, die im Rajratnakar-Buch gefunden wurde, ist diejenige, die zur Niederzeichnung der historischen Erzählungen verwendet wurde. Später, im vierzehnten Jahrhundert, übersetzten zwei Brahmanen namens Sukreswar und Vaneswar die Sprache ins Sanskrit und dann erneut in bengalische Schriften. Es gibt Stammhomophonie, phonemischen Tonfall, Verbmorphologie, Wortstellung und Verbableitungssuffixe, die aus den Verben in der Kokborok-Sprache entstehen.

Im Laufe der Zeit ist Kokborok auf Sprachen wie Englisch, Arabisch, Bengalisch, Persisch usw. gestoßen. In der Kokborok-Sprache finden sich verschiedene Arten komplexer agglutinierender Strukturen. Menschen, die Kokborok als Muttersprache in Tripura sprechen, können Informationen nicht leicht zugänglich machen, da die Sprache noch keine weit verbreitete Schrift hat, aber daran wird gearbeitet.

In Tripura werden mehrere Dialekte von Kokborok gesprochen. In Tripura werden verschiedene Dialekte gesprochen, darunter Tripura/Tripuri, Debbarma, Reang, Jamatia, Uchai, Noatia, Lusai, Kukis, Chaimal, Halam, Santal, Lepcha, Chakma, Khasia, Orang, Mog und Garos. Laut dem Volkszählungsbericht von 2011 gibt es in Indien 1.011.294 Kokborok-Sprecher und mehr als 400.000 in Bangladesch, einem Nachbarland.

LITERATURÜBERSICHT
Die Autoren beschreiben ihre laufende Forschung zur automatischen Sprachidentifikation anhand eines neuen Datensatzes aus Facebook-Beiträgen, in denen Hindi-, Bengalisch- und Englischcode gemischt sind. Sie experimentieren mit verschiedenen Techniken, wie wörterbuchbasierten Ansätzen und überwachter Klassifikation, zur Sprachidentifikation auf Wortebene und unterstreichen die Bedeutung der Berücksichtigung kontextueller Hinweise für eine genaue Spracherkennung in solchen Umgebungen.

Das Papier präsentiert einen Datensatz mit annotierten Tweets mit dem Ziel, Hassrede auf sozialen Medienplattformen mit einer Hindi-Englisch-Code-Mischung zu identifizieren, die lexikonbasierte, zeichenbasierte und wortbezogene^Techniken verwendet. Eine fehlertolerante Textkategorisierungsmethode auf Basis von N-Grammen wird im Artikel vorgestellt. Erstens wird das System verwendet, um Profile mit Trainingsdaten, wie Beispielen von Newsgroup-Material oder Phrasen, zu berechnen, die die verschiedenen Kategorien widerspiegeln. Danach erstellt das System ein Profil für das spezifische Dokument, das kategorisiert werden muss. Schließlich berechnet der Algorithmus das Abstandsmaß zwischen jedem Kategorieprofil und dem Profil des Dokuments. Die Kategorie, deren Profil dem Profil des Dokuments am nächsten liegt, wird vom System² gewählt.

Mehrere Word-Embedding-Techniken, darunter Continuous Bag of Words und Skip-Gram-Modelle, wurden verglichen, um Merkmalsvektoren zu erstellen. Adaboost, Random Forest, K-Nearest Neighbors, Gauss Naive Bayes, Support Vector Machine und Logistic Regression erzielten alle gute Kreuzvalidierungswerte³. Eine Zusammenfassung der vorherigen Ansätze findet sich in Tabelle 1.

Mit Verwendung lexikonbasierter Klassifikatoren übertrifft die Studie bestehende Klassifikatoren bei drei in der Studie bewerteten Sprachpaarungen: Spanisch-Englisch, Niederländisch-Englisch und Deutsch-Türkisch mit sozialen Medien-Datensätzen⁴. Der Ansatz der Studie zeigt eine verbesserte Modellresilienz hinsichtlich Konvergenz und Konsistenz in der Testleistung und übertrifft die aktuellen Techniken zur Sentiment-Analyse in code-gemischten Texten um 3,31 Prozent Genauigkeit⁵.

In ihrer bahnbrechenden Arbeit wurde Dunnings statistische Identifizierung der Sprache erstmals vom Computing Research Lab der New Mexico State University im Technical Report⁶ vorgestellt. Diese Arbeit analysiert verschiedene Arten überwachten Lernens mit dem Hidden Markov Model, der Random Forest Classifier Method, dem Conditional Random Field und dem Naive Bayes Classifier basierend auf dem Sprachpaar aus englisch-telugu-codegemischten Daten⁷. Die Arbeit konzentriert sich auf indische Sprachen wie Englisch, Bodo und Assamesisch und diskutiert einen neuartigen Ansatz zur Erkennung von Sprachen in code-gemischten Social-Media-Inhalten. Die Forscher verwenden bidirektionales Langzeitgedächtnis in einem Deep-Learning-Modell⁸.

In dieser Arbeit haben sie einen umfangreichen Datensatz zur Gujarati-Sprache verwendet, in dem Gujarati mit Englisch und Hindi vermischt ist. Sie verwendeten verschiedene maschinelle Lernklassifikatoren. Unter ihnen lieferte der Support Vector Classifier die beste Genauigkeit von 92 Prozent^9.

In der separaten Klassifikationsphase wird ein linguistisches Rahmenwerk verwendet, um zwischen Code-Switching und Entlehnung niederländisch-englischer Tweets zu unterscheiden. Mit regelbasiertem LID, Support Vector Machines und Decision Tree Classifiers lernen sie, dass der DTC (micro F1 = .95) und das regelbasierte LID-System (micro F1 = .95) die besten¹⁰ leisten.

Die Leistung ihres Modells wurde mit dem code-switched aggressiveness detection TRAC-1 Dataset, dem Hinglish Offensive Tweet Dataset und dem Humour-Classification Dataset¹¹ bewertet. Um den Behalten beim lexikalischen Erwerb von Erwachsenen durch Lesen zu verbessern, wurde ein probabilistischer Ansatz als L2-Methodik zur Erstellung von code-mixed-Text¹² vorgeschlagen. Ein Wörterbuchmodul wird integriert und verwendet, um Tests auf verschiedenen überwachten Klassifikatoren durchzuführen, um Code-Mixing auf Wortebene^zu steuern.

Sie verwendeten verschiedene Metriken zur Analyse von Code-Switching-Mustern und stellten fest, dass neuronale Netzwerkmodelle sowohl für Spanisch-Englisch als auch Hindi-Englisch schlechter abschnitten als das Modell der Bedingten Zufallsfelder (CRF), um eine Marge von 2,5 bzw. 3,5 Prozentpunkten, also¹⁴ Prozentpunkte.

Mit einem zweisprachigen Lexikon und einem englischen Text als Eingabe erstellt die Methode einen Faktorgraphen über lexikalischen Erwähnungen, um einen code-gewechselten Text zu erzeugen, der einen gegebenen "Lernbarkeits"-Parameter optimiert. In diesem Artikel versuchen sie, die Konzepte des CanVEC-Werkzeugkastens auf Basis der Sprachpaare von Hindi-Englisch-Code-Switching-Daten besser zu verstehen. Sie erreichten erfolgreich einen F1-Wert von 87,99 Prozent^{Genauigkeit bei 15,16}.

Die Autoren untersuchen zunächst das Code-Mixing zwischen Gujarati und English¹⁷, indem sie eine dreistufige Pipeline anwenden, um die Sprache jedes Tokens zu identifizieren, die Orthographie zu normalisieren und Segmente zurück in ihre Mutterschriften zu transliterieren. Anschließend wechseln sie den Fokus auf ein Hindi-Englisch-Korpus¹⁸, wo sie neuartige Sentimenterkennungsalgorithmen einführen, die speziell auf zweisprachige Satzstrukturen abgestimmt sind. Zur Unterstützung kontrollierter Experimente erzeugen sie synthetischen Code-gemischten Text, indem sie Skip-Gram-Modelle auf monolingualen Daten trainieren und die Ausgaben¹⁹ mischen.

Als Nächstes wird ein Konkani-englischer Social-Media-Datensatz²⁰ mittels einer regelbasierten Wort-Identifikationsmethode verarbeitet, wodurch eine robuste Leistung ohne manuell annotierte Trainingsdaten²¹ erreicht wird. Um den Umfang zu erweitern, nutzt eine Studie ein großes transliteriertes Korpus aus Englisch, Hindi, Bengalisch und Assamesisch von Plattformen wie Facebook²², um eine Reihe von Taktiktechniken auf Wortebene zu bewerten. Aufbauend darauf wechselt ein weiteres^{Framework 23} dynamisch zwischen Sprachen, um eingebettete oder geliehene Phrasen mit hoher Präzision zu erkennen. Im landwirtschaftlichen Bereich werden Punjabi-englische Kommentare nach mehreren Modellen klassifiziert – darunter liefert ein n-Gramm-Klassifikator die beste^{Genauigkeit von 24}. Für Sinhala-Englisch CMST werden Ensemble-Lernende (Random Forest, SVM, Naive Bayes, Decision Tree, Logistic Regression) verglichen, wobei Random Forest als bester Performer²⁵ hervorgeht, während Charakterebene-Einbettungen in Kombination mit SVMs starke Ergebnisse auf Tamil-Englisch- und Malayalam-Englisch-Paaren²⁶ erzielen. Schließlich wird das Crúbadán-Projekt²⁷ als groß angelegte Initiative präsentiert, um unterausgestattete Sprachkorpora durch das Durchsuchen des Webs zu erstellen und so die Grundlage für zukünftige Code-Mixing-Forschung zu legen.

Datensatz	Wichtige Ergebnisse	Genauigkeit/F1-Score/Genauigkeit/Präzision/Präzision/Rückruf
Hindi–Bengalisch–Englischer Datensatz aus Facebook-Beiträgen stammt	Hervorhob die Herausforderungen bei der Sprachidentifikation in Texten auf Wortebene in sozialen Medien	89.30%
Nachrichtenartikel, Dokumente	Effektiv ausgeführt mit N-Grammen zur Sprachidentifikation	0.99%
Indische code-gemischte Datensätze	Die gute Genauigkeit bei der Spracherkennung auf Wortebene zeigen	Nicht gemeldet(NR)
Wikipedia-basierte Datensätze	Robuste Code-Switch-Erkennung auf Token-Ebene	Nicht gemeldet(NR)
Hindi-englische Tweets	Leistung Verbesserte Stimmungsklassifikation von Hindi und englischem Code-Mixed	0.78%
Mehrsprachige Korpora	Etablierter grundlegender Sprachidentifikationsrahmen	78.00%
Code_mixed Englisch-Telugu-Daten	CRF erzielte die beste Leistung	89.30%
Englisch–Bodo-Code-gemischter Text	Erreichte eine hohe Genauigkeit auf Wortebene	92.00%
Code-gemischte Gujarati–Hindi-Schriften	Die Spracherkennungsgenauigkeit auf Satzebene beträgt ≈92 %	92.00%
Niederländisch-englische Tweets	DTC- und regelbasierte Modelle erreichten F1 ≈0,95	95.00%
Codegeschaltete Datensätze	Wettbewerbsleistung über die Modelle hinweg	Nicht gemeldet(NR)
Synthetischer Code-Mixed-Text	Verbessertes lexikalisches Lernen	Nicht gemeldet(NR)
Englisch–Kannada-Code-gemischter Text	Effektives automatisches LID	Nicht gemeldet(NR)
TRAC-1, Hinglish-Datensätze	Die CRF schnitt in neuronalen Netzwerkmodellen besser ab	91.00%
Mehrsprachige Online-Daten	Genaue Wort-Level-Erkennung	88.00%
Hindi–englische soziale Medien	Hohe Genauigkeit bei der Spracherkennung von Hindi-Englisch	0.93%
Englisch-Gujarati-Code – Gemischt	Effektive bilinguale Verarbeitung
Soziale Medien Code-Mixed-Datensätze	Verbesserte Sentiment-Erkennung	0.90%
Code-gemischte synthetische Daten	Starke Einbettungsdarstellungen	Nicht gemeldet(NR)
Konkani–Englisch Code-gemischter Text in sozialen Medien	Robuste Leistung ohne Annotation	0.89%
Code-Mixed-Datensatz von Twitter	Verbesserte Erkennung von Schaltern	90.20%
Assamesisch–Bengalisch–Hindi–Englisch	Genaue mehrsprachige Sprachidentifikation	91.00%
Soziale Medien Code-Mixed-Text	F1-Wert ≈0,95	0.95%
Englisch–Punjabi-Code-gemischte Daten	Das N-Gramm-Modell schnitt am besten ab	0.88%
Singhalesisch-englische Code-gemischte Daten	RF erreichte die beste Genauigkeit	0.92%
Facebook-Code-gemischte Kommentare	Verbesserte LID auf Wortebene	0.93%
Crúbadán Corpus	Ermöglichung von ressourcenarmen Sprachforschungen	Nicht gemeldet(NR)
Code-gemischte Datensätze	Gute Leistung, die in der Sprachidentifikation auf Wortebene gezeigt wird	0.94%

Tabelle 1: Zusammenfassung der Code-Mixed-Language Literatur.

Protokoll

Der code-gemischte und code-switchte Text auf Englisch und Kokborok wurde manuell aus lokalen Gesprächen und öffentlich zugänglichen Beiträgen auf sozialen Medien gesammelt. Es wurden keine personenbezogenen oder sensiblen Informationen gesammelt. Alle Verfahren folgten den ethischen Richtlinien der Institution.

3. Design und Umsetzung

3.1 Algorithmus
3.1.1 Für jedes Token in Satz (S):
ein. Mit dem Frequenzwörterbuch wird die lexikalische Wahrscheinlichkeit P_lexi berechnet.
b. Basierend auf dem N-Gramm-Modell wird die zeichenbasierte Wahrscheinlichkeit_P-Char berechnet
c. Gewichtete Interpolation beider:
P_{kombiniert =} λ_lexi P_lexi + _λchar P_char
3.1.2. Die_kombinierte Wahrscheinlichkeitskombination P für jedes Token wurde als Emissionswahrscheinlichkeit gespeichert.
3.1.3. Anwendung des Viterbi-Algorithmus:
ein. Anfangs mit anfänglichen Sprachwahrscheinlichkeiten.
b. Für jedes Token:
i. Berechnen Sie den Übergang_{P-Zählübergang} (gleichsprachige Fortsetzung).
und_P-Schalter (Wahrscheinlichkeit des Sprachwechsels).
ii. Wählen Sie den Sprachpfad und maximieren Sie die Sequenzwahrscheinlichkeit.
3.1.4. Geben Sie die maximale Wahrscheinlichkeitssprachsequenz L mit der höchsten Gesamtwahrscheinlichkeit aus.

3.2 Rechenumgebung
Die Implementierung aller Experimente erfolgte mit Python 3.10 auf der Google Colab-Plattform. Das System verwendete eine Reihe grundlegender Python-Pakete wie NumPy, Pandas und Matplotlib zur Verarbeitung und Visualisierung von Daten sowie scikit-learn (v1.3) zur Erstellung statistischer Vorhersagen und Analysen. Die Integration des Frequenzwörterbuchs, die Charakter-n-Gramm-Modellierung und die Viterbi-Dekodierung wurden mit benutzerdefinierten Python-Skripten implementiert. Das Modell wurde an einem Datensatz von 10.000 Sätzen trainiert und getestet, mit einer 70/30-Aufteilung für Training und Test.

3.3 Spracherkennung
Sobald ein Satz tokenisiert wurde, entscheidet das Sprachidentifikationsmodul, ob jedes Token in Kokborok oder Englisch ist. Die vollständige Systemarchitektur ist in Abbildung 1 dargestellt. Diese Sprachzuweisung wird dann verwendet, um zu bestimmen, welche Transkriptionsmodule geeignet sind. Durch das Zusammenführen von Daten aus einem Zeichen-n-Gramm-Modell und einem Frequenzwörterbuch wird die Sprache eines Tokens bestimmt.

Aufgrund der wesentlichen orthographischen Unterschiede zwischen den beiden oben beschriebenen Sprachen schneidet ein Klassifikator, der nur Informationen vom Token selbst ohne kontextuelle Merkmale verwendet, bereits gut ab. Nach der Erstzuweisung wird jedoch ein weiterer Klassifikator mit dem Viterbi-Algorithmus angewendet. Dieser zweite Klassifikator reduziert die Fehlklassifizierung interlingualer Homographen und bevorzugt Wortgruppierungen, die zur gleichen Sprache gehören.

Abbildung 1: Muster auf Wortebene und die Bestrafung von Sprachwechseln mit dem Viterbi-Algo-Rithm . Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen. 

Abbildung 2: Methode zur Sprachidentifikation von Code-gemischten Sätzen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Wir sammelten die Daten aus dem Crúbadán-Korpus²⁷ für das Wörterbuch und das Zeichenmodell. Zahlreiche Sprachen, darunter viele Minderheitensprachen wie Kokborok, sind in diesem Korpus vertreten.

Da der Datensatz im Crúbadán-Korpus für unseren Zweck unzureichend ist, haben wir einen neuen Kokborok-Bibel-Datensatz getestet. Im Vergleich zu anderen Sprachen gibt es vergleichsweise wenige verfügbare Quellen. Dementsprechend wurden die Daten für die gemischten Sätze dieses Papiers aus Kokborok-sprechenden WhatsApp-Gruppen wie Platinum Jubilee, Population Group, Restoration International Group, Khumulwng, Depachara Baptist Society, United Tiprasa Forum (UTF), Depachara Youth Fellowship, Krishna Nagar (EU), Uchoi Christian Fellowship (UCF), Tipra Kwsrang Bodol, Tribal Engineering Society, National Institute of Technology Students Borok, Information Yarung und Tripura Uchoi Youth Association (TUYA) gesammelt.

Insgesamt wurden zwischen August 2021 und Dezember 2023 10.000 code-gemischte Sätze in Kokborok und Englisch aus diesen WhatsApp-Gruppen gesammelt. Die Quellen und die Domänenverteilung des Datensatzes sind in Tabelle 2 aufgeführt.

Name	Gesamtzahl der Wörter
Worte der Kokborok-Bibel	718883
Englische und Kokborok-Code-gemischte Sätze	68789

Tabelle 2: Gesamtzahl der Kokborok-Wörter.

Sprache	Gesamtzahl der Tokens
Kokborok (Trp)	711509
Englisch (en)	1767141

Tabelle 3: Charakter-2-Gramm-Modell.

Sl. Nein	Insgesamt verwendete Code-Mixed-Sätze
1	10,768

Tabelle 4: Insgesamt trainierte gemischte Sätze.

Das Zeichenmodell und das Wörterbuch stammen aus dem Crúbadán-Korpus²⁷. Diese Sammlung, die für eine breite Palette von Sprachen, darunter zahlreiche Minderheitensprachen, zugänglich ist, wird automatisch erstellt, indem man im Internet nach Materialien in der Zielsprache sucht. Das Kokborok-Korpus ist insbesondere eher klein, da der Ansatz ursprünglich für Kokborok geschaffen wurde.

Obwohl auch ein Kokborok- und ein englischer Korpus verfügbar ist, wurde er absichtlich nicht verwendet, da es an Datensätzen mangelt, insbesondere im Hinblick auf Code-Mixing und Code-Flipping. Im Kokborok-Korpus gibt es auch mehrere englische Begriffe; einige dieser Wörter (einschließlich no, do und o) sind häufiger als im englischen Korpus.

Das Wörterbuch- und Sprachmodell übernehmen die Aufgabe der individuellen wortunabhängigen Bezeichnung. Unsere Aufgabe ist vergleichbar mit der von King et ^al.28.

Die Wahrscheinlichkeiten des lexikalischen Wortes (lex), des Zeichens (ch) und der Wortbezeichnung werden verwendet, um eine lineare Interpolation zwischen den Frequenzen der lexikalischen (ch) und lexikalischen (lexikalischen) Komponenten zu erzeugen. Die kombinierte (Kamm-)Wahrscheinlichkeit, die sich daraus ergibt, wird in Gleichung (1) unten dargestellt; die detaillierten Interpolationsparameter sind in Tabelle 3 dargestellt. Die Interpolationsstrategie ist in Abbildung 2 dargestellt.

P_kombiniert = λ_lexi · P_lexi + λ_Char · P-Char (1)

Wobei 0 λ_lexi ≤, λchar ≤ 1; und λ_lexi + λchar = 1. Wörter ohne lexikalische Basis haben eine extrem geringe, aber nicht null lexikalische Wahrscheinlichkeit. Vermutlich wird, falls in beiden Lexikonsprachen ein Wort fehlt, das Zeichenmodell für die Implementierung anstelle der lexikalischen Wahrscheinlichkeit verwendet, selbst wenn λ_lexi = 1 gilt.

Unsere Methode zur Entwicklung des Charaktermodells basiert auf Dunnings Zeichen-n-Gramm-Markov-Kette (1994). Dies wird erreicht, indem n-Gramm am Anfang bzw. Ende der Token gezählt werden, um die Anfangs- und Übergangswahrscheinlichkeiten abzuschätzen.

Der Leistungsvergleich der trainierten 2-Gramm- und 4-Gramm-Modelle ist unten dargestellt.

   (2)

·

(3)

Die Anfangs- und Übergangswörter einer Wahrscheinlichkeit können multipliziert werden, um die Wahrscheinlichkeit eines Wortes mithilfe des Sprachmodells (4) zu erhalten.

P(〈w1w2w3〉) = P_initial(〈w1w2) · P-Übergang (c3|〈w1w2) · P-Übergang(〉|w1w2w3) (4)

Die Kokborok-Sprache ist sehr reich an Präfixen und Suffixen und morphologisch agglutinierend geprägt, bei der Suffixe wie "o", "do" und "no" den Grundwörtern angehängt werden. Das 2-Gramm hilft dabei, lokale morphologische Übergänge an Affixgrenzen effektiv zu erfassen, während 4-Gramm jene Kokborok-Wörter erfassen können, die längere orthographische Abhängigkeiten in Wurzel- und Zusammensetzungswörtern wie Phailaidido, Thanlainai und Mwchangkha aufweisen.

Dies gilt für einen großen Korpus, was die Wahrscheinlichkeit mehrerer Datenknappheitsprobleme erhöht. Außerdem muss die Zeichenkombination nicht in allen Fällen erscheinen, was dazu führen kann, dass die Wahrscheinlichkeit auf null fällt. Lambda-Glättung wird verwendet, um solche Probleme zu lösen, indem jedem n-Gramm mit unsichtbaren Zeichen ein kleiner Wert mit einer von null verschiedenen Wahrscheinlichkeit gegeben wird. Der Wert von Lambda ist auf 0,001 gesetzt.

  (5)

wobei N = die Menge der verschiedenen Beobachtungen in n-Gramm darstellt.

   (6)

wobei D= die Anzahl der detektierten Unterschiede in n-Gramm ist. Es wird angenommen, dass die Wahrscheinlichkeit für ein nicht beobachtetes n-Gramm gleich ist.

   (7)

wobei C die Zeichengröße angibt.

Die Anfangswerte von Pcount, λ_lexi und λchar wurden empirisch durch Frequenzanalyse der Kokborok- und englischen Korpora festgelegt. Zuerst initialisierten wir λ_lexi auf 0,5 und gewichteten sowohl lexikalische als auch zeichenbasierte Wahrscheinlichkeiten, sodass beide im ersten Durchlauf gleichermaßen beitrugen. Dieses Initialisierungsniveau ermöglichte es uns, die vergleichende Rolle des Lexikons und des Zeichen-n-Gramm-Modells zwischen Datensätzen zu identifizieren.

Der Übergangsparameter Pcount (fortgesetzt in derselben Sprache) wurde auf 0,6 gesetzt, basierend auf dem Verhältnis der monolingualen Sequenzen zu den Schaltpunkten im manuell markierten Datensatz. Diese Werte boten einen guten Ausgangspunkt für die Konvergenz während der Abstimmung. Anschließend wurde die Verfeinerung aller Parameter durch eine Reihe wiederholter Versuche durchgeführt, um den Matthews-Korrelationskoeffizienten (MCC) zu maximieren, der im Abschnitt Results detailliert beschrieben wird.

Kontextuelle Identifikation
Das kontextuelle Modell verwendet die bereits initialisierten Wahrscheinlichkeiten (Pcount und Pswitch) während der unabhängigen Identifikationsphase und verfeinert sie mittels der Viterbi-Sequenzdecodierung, sodass Übergangsinkonsistenzen reduziert und der Sprachwechsel optimal erkannt wird.

Die analytische Ausgabe des Sprachmodells ist kontextabhängig und wird hauptsächlich durch die Kombination des aktuellen Tokens mit dem nachfolgenden Token und der Verwendung sowohl des vorherigen als auch des aktuellen Tokens erzielt. Da es möglich ist, dass zwei Wörter mit demselben Frequenzwert ähnliche Bedeutungen haben und zu einer Fehlklassifikation führen, wurde der kontextabhängige Ansatz verwendet, um die Ähnlichkeitsterme zu finden, die in beiden Sprachen vorkommen.

Bestimmte Wörter wie "nein", "tun", "o", "are", "da (Tag)", "geh", "sa (sagen)", "Rose", "Ring" und viele weitere sind in beiden Sprachen ähnlich. Daher kann es ziemlich schwierig sein, die korrekte Sprache zu identifizieren, wenn solche Mehrdeutigkeiten auftreten, und gelegentlich werden die Sprachen falsch klassifiziert.

Um diese Sprachidentifikationsprobleme anzugehen, präsentierten wir eine Reihe von Sprachmodellen mit einem diskriminierenden Hidden Markov Model und überwachtem maschinellem Lernen. Die Übergangswahrscheinlichkeit für beide Sprachen wird als gleich angenommen. Für den gleichsprachigen Pcount ist die fortlaufende Wahrscheinlichkeit der primäre Parameter, der deklariert werden muss. Dadurch können wir die Wahrscheinlichkeit eines Sprachwechsels berechnen.

_P-Schalter = 1 − P-Zahl (8)

Die kontextuelle Klassifikation mittels des Viterbi-Pfades ist in Abbildung 3 dargestellt. Das Ziel des Viterbi-Algorithmus ist es, laut Pcount und Pswitch zu bestimmen, welche der Token-Sequenzen die beste ist.

Der Viterbi-Algorithmus wird auf die kontextuelle Klassifikation angewendet. Pcount und Pswitch werden verwendet, um Kanten zu beschriften, und Knoten werden mit der vom ersten Klassifikator zugewiesenen relative Likelihood beschriftet.

Aufgrund der höheren Wahrscheinlichkeit, die Kokborok-Sprache zu verwenden, würde der gestrichelte Pfad gewählt, wenn nur der erste Klassifikator verwendet wird und keine kontextuellen Informationen verfügbar sind.

Die Auswirkungen der kontextbasierten Anpassung sind in Abbildung 4 dargestellt. Dies zeigt, wie in Abwesenheit von kontextuellen Informationen das zweite, dritte und fünfte Wort in der Phrase "Next week o phaisidi do" fälschlicherweise als Englisch (en) (gestrichelter Pfad) identifiziert würden. Obwohl die Wahrscheinlichkeiten für Englisch etwas höher sind, sind die relativen Werte nah beieinander.

Zwei Sprachverschiebungen werden bestraft, und die Wahrscheinlichkeit der Sequenz ist niedriger als der optimale Weg des Viterbi-Algorithmus, wenn auch Übergangswahrscheinlichkeiten berücksichtigt werden. Daher können nur Wörter, die wesentlich wahrscheinlicher aus der anderen Sprache stammen – und nicht gebräuchliche Begriffe, die in beiden vorkommen – Sprachveränderungen in kurzen Sequenzen auslösen.

Matthews' Korrelationskoeffizient wurde als Bewertungskoeffizient ausgewählt, weil er im Vergleich zu anderen Kennzahlen wie Genauigkeit, Abruf und Genauigkeit deutlich besser für binäre Klassifikationsaufgaben geeignet ist, da er sowohl wahre positive als auch wahre negative sowie falsch-positive und falsch-negative Ergebnisse berücksichtigt.

   (9)

Ergebnisse

In Tabelle 4 haben wir die MCC-Werte und Parameter-Tuning-Ergebnisse für Ptrp gezeigt, die die anfängliche Verzerrung zugunsten von Startsequenzen mit Kokborok-Wörtern berechnet und den Pcount berechnet haben, also die Wahrscheinlichkeit, in derselben Sprache weiterzumachen.

λ_lex

Pcount = 0,66

Pcount = 0,70

Pcount = 0,74

...

Diskussion

Während das vorgeschlagene Modell auf Wortebene eine Genauigkeit von 93,15 % zeigt, zeigt eine gründliche Analyse der Fehler mehrere wiederkehrende Muster, die die Herausforderungen der englisch-Kokborok-Code-gemischten Sprachidentifikation hervorheben.

Verwendung von Entlehnten und mehrdeutigen Wörtern
Ein erheblicher Teil der Fehler entsteht durch die Verwendung entlehnter englischer Wörter, die im Kokborok-Gebrauch üblic...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Raspberry Pi 4	Raspberry Pi Stiftung	RPI4-MODBP-4GB	Verwendung für ressourcenarme Sprachverarbeitung
MicroSD-Karte 64GB	SanDisk	SDSQUAR-064G-GN6MA	Für Betriebssysteme und Datensatzspeicherung
Stromversorgung 5V/3A	Offizieller Raspberry Pi	SC0218	Um das Pi-Board mit Strom zu versorgen
USB-Mikrofon	Boya	BY-M1	Für Audioeingaben in der Sprachdatenerfassung
Monitor (HDMI)	LG	22MK600M	Ausgangsanzeige während der Tests
Tastatur & Maus-Kombo	Logitech	MK270	Schnittstellensteuerung
WLAN-Dongle (wenn Pi 3)	TP-Link	TL-WN725N	Drahtlose Datenübertragung (falls kein Bord-WLAN)
Python IDE (Thonny)	Open Source	-	IDE für Programmierung
Lexicon-Datensatz	Maßgefertigt	-	Kokborok-Englisch-Sprachpaar
N-Gramm-Datensatz	Maßgefertigt		Englisch-Kokborok-Sprachpaar
Code-gemischt und code-umgeschaltet	Maßgefertigt	10.000 Sätze	Gesammelt von Social-Media-Texten, WhatsApp-Videos, NGOs, BIBLE usw