Machine learning en lexicale, op regels gebaseerde, kostenefficiënte emotie-annotatie van Hinglish-uitingen

Summary

Deze studie combineert de op regels gebaseerde strategie met machine learning en deskundige hulp om de Hinglish- en Engelse tekst te annoteren. De gegevens zijn getest op 19,000 tweets met een nauwkeurigheid van 81% en het is veel goedkoper dan het handmatig te doen. Het kan nuttig zijn voor het volgen van emoties tijdens een crisis.

Abstract

Emotie-annotatie in code-gemengde talen zoals Hinglish (Hindi-Engels) brengt unieke uitdagingen met zich mee vanwege de taalkundige complexiteit en beperkte middelen. Deze studie introduceert een hybride actief leerraamwerk dat lexicale regels, machine learning en iteratieve feedback van experts combineert om kostenefficiënte, zeer nauwkeurige emotie-annotatie te bereiken. Gebaseerd op psychologische theorieën over emotie, waaronder de Discrete Emotions Theory en de Cognitive Appraisal Theory, maakt het raamwerk gebruik van tweetalige emotiewoordenboeken (bijv. Gussa en woede in kaart brengen tot woede), subwoordtokenisatie voor samengestelde termen (bijv. opsplitsen in ), en actief leren om dubbelzinnige steekproeven te prioriteren. Geëvalueerd op een dataset van 19.000 oorlogs- en conflictgerelateerde Hinglish-tweets, bereikte het framework een nauwkeurigheid van 81% (F-score: 0,76) terwijl de operationele kosten met 40% werden verlaagd in vergelijking met handmatige annotatie. Lexicale regels losten 89% van de ambiguïteiten bij het wisselen van codes op, en iteratieve verfijningen zorgden voor een incrementele nauwkeurigheidswinst van 72% naar 81%. De efficiëntie van het systeem komt voort uit het beperken van menselijke inspanning tot 73% van de dataset, met geautomatiseerde voorverwerking van emoji's, hashtags en jargon. Deze studie is gebaseerd op de hypothese dat het integreren van lexicale, op regels gebaseerde methoden met actief leren en machine learning de nauwkeurigheid van emotieannotatie in Hinglish-tekst kan verbeteren, terwijl tegelijkertijd de handmatige labeling en de algehele annotatie-inspanning worden verminderd.

Introduction

Wanneer twee of meer talen in één regel of spraak met elkaar worden gemengd, wordt dit een codegemengde taal genoemd. Het is gebruikelijk in informele dialogen zoals Hinglish. Er zijn meerdere manieren waarop menselijke emoties kunnen worden begrepen, en het computationeel modelleren van een reeks emotionele uitspraken is het annoteren ervan door de mensen die die zinnen hebben uitgesproken. Het kan worden begrepen in termen van biologische, fysiologische, psychologische niveaus, enzovoort. Volgens wetenschappers zoals Roger Penrose zijn veel fenomenen in onze wereld niet-computationeel, en wetenschappers zoals Wolfram zijn van mening....

Protocol

In dit deel wordt ook uitgelegd hoe het multimodale raamwerk voor 8 emotie-annotatie is geconstrueerd. De sectie begint met een bespreking van de eigenschappen van de dataset, gevolgd door de daaropvolgende procedures. Voor een beter begrip van de onderzoeksprocedure, zie Figuur 1.

Figuur 1: Systematisch kader van emotie-annotatie. De figuur verklaart de effectieve emotie, annotatie van scharnierende tekst die ....

Results

De bevinding van dit onderzoek suggereert dat de integratie van de lexicale regels met machine learning en actieve leertechnieken een levensvatbare weg biedt voor het verbeteren van de efficiëntie en nauwkeurigheid van emotie-annotatie in code-gemengde scharniertekst. Door iteratieve verfijning en suggesties van experts was het voorgestelde raamwerk in staat om opmerkelijke reducties in handmatige inspanning te bereiken, terwijl hoge prestaties in alle ev.......

Discussion

De dataset voor dit onderzoek is samengesteld met behulp van een combinatie van handmatige annotatie en actief leren. Aanvankelijk werden 10.040 Hinglish-tweets met betrekking tot oorlog en conflict handmatig gelabeld met acht vooraf gedefinieerde emoties. De dataset werd vervolgens uitgebreid tot 19.000 tweets met behulp van een semi-geautomatiseerde aanpak. Actief leren maakte selectieve interventie van experts mogelijk, waardoor handmatige inspanning met 40% werd verminderd met behoud.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
fastText	Facebook AI	N/A	Word representation and classification
Google Colab	Google	N/A	Cloud-based Jupyter Notebook environment
Google Colab GPU/TPU	Google	N/A	Cloud-based hardware acceleration
Intel Core i5/i7 or AMD Ryzen 5/7	Intel / AMD	N/A	Processor for local execution (if required)
Matplotlib	Open-source	N/A	Data visualization library
NLTK	Open-source	N/A	Natural Language Toolkit for text processing
NumPy	Open-source	N/A	Numerical computing library
NVIDIA GTX 1650 or Higher (Optional)	NVIDIA	N/A	GPU for deep learning tasks
Pandas	Open-source	N/A	Data manipulation library
Python	Python Software Foundation	N/A	Programming language for ML and NLP
PyTorch	Meta AI	N/A	Deep Learning framework
RAM (8GB Minimum, 16GB Recommended)	Various	N/A	Memory requirement for ML tasks
Scikit-learn	Open-source	N/A	Machine Learning library
Seaborn	Open-source	N/A	Statistical data visualization
SpaCy	Explosion AI	N/A	Industrial-strength NLP library
SSD Storage (256GB Minimum, 512GB Recommended)	Various	N/A	Storage for dataset processing
TensorFlow	Google	N/A	Deep Learning framework