Aprendizaje automático y anotación de emociones rentable basada en reglas léxicas de expresiones hinglish

Summary

Este estudio combina la estrategia basada en reglas con el aprendizaje automático y la asistencia de expertos para anotar el texto en hinglish e inglés. Los datos se prueban en 19,000 tweets con un 81% de precisión, y es mucho más barato que hacerlo manualmente. Podría ser útil para rastrear las emociones durante una crisis.

Abstract

La anotación de emociones en lenguajes mixtos de código como el hinglish (hindi-inglés) presenta desafíos únicos debido a la complejidad lingüística y las limitaciones de recursos. Este estudio presenta un marco de aprendizaje activo híbrido que combina reglas léxicas, aprendizaje automático y comentarios iterativos de expertos para lograr una anotación de emociones rentable y de alta precisión. Basado en teorías psicológicas de la emoción, incluida la teoría de las emociones discretas y la teoría de la evaluación cognitiva, el marco emplea diccionarios de emociones bilingües (por ejemplo, mapear gussa y rabia a la ira), tokenización de subpalabras para términos compuestos (por ejemplo, dividir en ) y aprendizaje activo para priorizar muestras ambiguas. Evaluado en un conjunto de datos de 19,000 tweets Hinglish relacionados con la guerra y el conflicto, el marco logró una precisión del 81% (puntuación F: 0.76) al tiempo que redujo los costos operativos en un 40% en comparación con la anotación manual. Las reglas léxicas resolvieron el 89% de las ambigüedades de cambio de código, y los refinamientos iterativos permitieron ganancias de precisión incrementales del 72% al 81%. La eficiencia del sistema se deriva de limitar el esfuerzo humano al 73% del conjunto de datos, con preprocesamiento automatizado de emojis, hashtags y jerga. Este estudio se basa en la hipótesis de que la integración de métodos léxicos basados en reglas con aprendizaje activo y aprendizaje automático puede mejorar la precisión de la anotación de emociones en el texto en hinglish, al tiempo que reduce el etiquetado manual y el esfuerzo general de anotación.

Introduction

Cuando dos o más idiomas se mezclan en una sola línea o voz, esto se denomina lenguaje de código mixto. Es común en diálogos casuales como Hinglish. Hay múltiples formas en que se pueden entender las emociones humanas, y modelar computacionalmente una serie de declaraciones emocionales es anotarlas por las personas que pronunciaron esas oraciones. Se puede entender en términos de niveles biológicos, fisiológicos, psicológicos, etc. Según científicos como Roger Penrose, muchos fenómenos en nuestro mundo no son computacionales, y científicos como Wolfram consideran que todo (cada fenómeno) se puede modelar computacionalmente

Protocol

Esta sección también explica cómo se ha construido el marco multimodal para la anotación de 8 emociones. La sección comienza con una discusión de las propiedades del conjunto de datos, seguida de los procedimientos posteriores. Para una mejor comprensión del procedimiento de investigación, consulte la Figura 1.

Figura 1: Marco sistemático de anotación de emociones. La figura explica la emoción efectiva, la anotación de texto hinglish que combin....

Results

El hallazgo de esta investigación sugiere que la integración de las reglas léxicas con el aprendizaje automático y las técnicas de aprendizaje activo ofrece una vía viable para mejorar la eficiencia y la precisión de la anotación de emociones en texto hinglish mezclado con código. A través del refinamiento iterativo y la sugerencia de expertos, el marco propuesto pudo lograr reducciones notables en el esfuerzo manual mientras mantenía un alto rendimiento en las matrices de evolución. Los .......

Discussion

El conjunto de datos para este estudio se seleccionó utilizando una combinación de anotación manual y aprendizaje activo. Inicialmente, 10.040 tweets hinglish relacionados con la guerra y el conflicto se etiquetaron manualmente con ocho emociones predefinidas. Luego, el conjunto de datos se amplió a 19,000 tweets utilizando un enfoque semiautomatizado. El aprendizaje activo permitió la intervención selectiva de expertos, reduciendo el esfuerzo manual en un 40% mientras mantenía una alta precisión de anotación del 81% con.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
fastText	IA de Facebook	N/A	Representación y clasificación de palabras
Google Colab	Google	N/A	Entorno de Jupyter Notebook basado en la nube
Google Colab GPU/TPU	Google	N/A	Aceleración de hardware basada en la nube
Intel Core i5/i7 o AMD Ryzen 5/7	Intel / AMD	N/A	Procesador para ejecución local (si es necesario)
Matplotlib	Código abierto	N/A	Biblioteca de visualización de datos
NLTK	Código abierto	N/A	Kit de herramientas de lenguaje natural para el procesamiento de texto
NumPy	Código abierto	N/A	Biblioteca de computación numérica
NVIDIA GTX 1650 o superior (opcional)	NVIDIA	N/A	GPU para tareas de aprendizaje profundo
Pandas	Código abierto	N/A	Biblioteca de manipulación de datos
Python	Fundación de software Python	N/A	Lenguaje de programación para ML y NLP
PyTorch	Meta IA	N/A	Marco de aprendizaje profundo
RAM (8 GB como mínimo, se recomiendan 16 GB)	Varios	N/A	Requisito de memoria para tareas de ML
Scikit-learn	Código abierto	N/A	Biblioteca de aprendizaje automático
Nacido en el mar	Código abierto	N/A	Visualización de datos estadísticos
Spacy	IA de explosión	N/A	Biblioteca de NLP de potencia industrial
Almacenamiento SSD (mínimo 256 GB, se recomiendan 512 GB)	Varios	N/A	Almacenamiento para el procesamiento de conjuntos de datos
TensorFlow	Google	N/A	Marco de aprendizaje profundo