基于机器学习和词汇规则的低成本的印度格里什语话语情感注释

Summary

这项研究将基于规则的策略与机器学习和专家协助相结合，对印度英语和英语文本进行注释。数据在 19,000 条推文上进行了测试，准确率为 81%，比手动作便宜得多。它对于在危机期间跟踪情绪可能很有用。

Abstract

由于语言复杂性和资源限制，印度语（印地语-英语）等代码混合语言中的情感注释提出了独特的挑战。本研究引入了一种混合主动学习框架，该框架结合了词汇规则、机器学习和迭代专家反馈，以实现经济高效、高精度的情感注释。该框架以情绪心理学理论为基础，包括离散情绪理论和认知评估理论，采用双语情绪词典（例如，将 gussa 和 rage 映射到愤怒）、复合词的子词标记化（例如，拆分为）和主动学习来优先考虑模棱两可的样本。在 19,000 条与战争和冲突相关的 Hinglish 推文数据集上进行评估，该框架实现了 81% 的准确率（F 分数：0.76），同时与手动注释相比，运营成本降低了 40%。词法规则解决了 89% 的代码转换歧义，迭代细化使准确性从 72% 增加到 81%。该系统的效率源于将人力限制在数据集的 73%，并自动预处理表情符号、主题标签和俚语。本研究基于以下假设：将基于词汇规则的方法与主动学习和机器学习相结合可以提高印度英语文本中情感注释的准确性，同时减少手动标记和整体注释工作。

Introduction

当两种或多种语言在一行或语音中混合在一起时，这称为代码混合语言。这在像 Hinglish 这样的休闲对话中很常见。理解人类情感的方式有很多种，对一系列情感陈述进行计算建模就是由说出这些句子的人对它们进行注释。它可以从生物学、生理、心理等层面来理解。根据罗杰·彭罗斯等科学家的说法，我们世界上的许多现象都是非计算的，沃尔夫拉姆等科学家认为一切（每种现象）都可以通过计算建模¹。彭罗斯认为，意识涉及的过程（可能与大脑内的量子力学有关）超出了任何分步算法程序所能实现的范围。例如，他经常引用哥德尔的不完备性定理来支持人类数学洞察力超越形式系统的观点²。如果意识是非计算的，那么情绪作为意识体验的一个关键方面，也可能具有非计算元素。以 Mathematica 及其在元胞自动机方面的工作而闻名的斯蒂芬·沃尔夫勒姆 （Stephen Wolfram） 提出了“计算等价原理”。这表明，即使是非常复杂的系统，包括潜在的宇宙本身和其中的现象（如情绪），最终也可以通过计算规则来描述和建模，即使这些规则非常简单，会产生复杂的行为。但实际上，这是不可能的，我们需要一个被称为专家或只是可以进行情绪分析的注释者的人³.

在这项研究中，我们传播了构建计算模型的想法。但该模型将是准计算的。我们在这方面的研究旨在以计算的形式进行，但可能无法完美地捕捉所有方面，可能会为难以或不可能完全计算的复杂性留下空间。情绪很难通过计算建模，因为它们依赖于主观体验、文化背景和细微差别的表达，而这些表达无法通过固定算法完全捕捉。

因此，为了使用基于变量的计算方法对人类情感进行建模，有必要对人类的情感话语进行注释。该注释应由专家或精通情绪分析的注释者执行¹。理解人类情感的复杂性并不是一件容易的事，尤其是在处理混合语言时。此外，与规模相关的问题意味着仅依靠人工手动注释不是一个可行的选择。最近的研究表明，在为此类复杂任务构建系统时，始终需要人机交互方法。因此，一种半自动方法似乎最适合开发该领域的自然语言系统，该方法涉及自动化更简单的部分，同时为注释者保留需要人工细微差别的任务。

当然，人类注释者将手动完成工作，而在计算时代，这不是当代科学家所期望的。如果注释者（手动、半自动或全自动）能够智能地猜测话语中体现的情感类型，这些话语由多种类型的情感组成，以符号表示，口语化或代码混合并使用多种模态，那么任务既困难又容易。印度格里什语话语中情感注释的复杂性取决于表达的性质。当使用熟悉的单词或表情符号清楚地传达情感时，注释相对简单。然而，当话语涉及多种情绪、代码混合或模棱两可的符号表达时，这项任务就变得具有挑战性。因此，注释既容易又困难，这取决于情感表达的直接程度。

当代识别情绪和情感的方法应对了这些挑战，包括情感的主观性、人类表达的模糊性、印度英语等代码混合语言的复杂性以及手动注释的耗时和不一致的性质。与构建计算模型和管理繁琐的注释任务相关。最近的研究表明，研究人员正在采用多种方法来实现这一目标，包括机器学习、深度学习和各种混合方法。最近的研究表明，为了克服这些问题，研究人员正在采用多种技术，例如机器学习、深度学习和混合模型。

最近的研究表明，研究人员正在采用各种方法，包括机器学习、深度学习³ 和混合方法。术语“情感分析”是指当情绪的极性被认为是理解人类原始情绪的标志时使用的程序 ^3,4。此类技术的发展有助于识别情绪、情绪、言语、面部情绪和非语言线索，并且已经进入了允许实时翻译的应用程序²。多模式方法可用于将印度语翻译成英语，并可能有助于将来使偏远社会更容易接触到印度电影 ^5,6。例如，在印度，英语通常是第二语言。这方面的研究表明，通过分析印度语音（混合代码语言）每个单词的表达能力或感觉和情感程度，这提高了英语教学的质量。

在这种研究背景下，混合代码语言与翻译相结合已被证明可以提高英语教学质量。这是通过分析印度语音（混合代码语言）来确定每个单词的表现力或情感效价来实现的。通过应用深度学习来训练计算机进行语音翻译，这项研究已经提高了计算机语音分析的准确性，并促进了对交流的更好理解 ^4,5。根据 2001 年的人口普查结果，印度目前估计有 1.2 亿人使用印度语，这是一种印地语和英语的混合语言⁶。

从当代学习算法的格局来看，很明显，主动学习已成为一种强大的工具，可以显着减少人类在注释大型数据集时的工作量，特别是在情绪识别和识别领域。这种迭代方法有选择地注释有影响力的注释（使用适当的指标），不仅提高了注释的准确性，还提高了效率⁵。先前的研究已经证明，它可以有效大幅减少手动注释工作量，同时保持甚至提高性能，同时使用较小的训练数据集来保持甚至提高性能，并提出了一种基于聚类分析的信息实例选择方法^7,8。在印度语情绪识别的特定背景下，研究人员通过深度学习模型和多标签注释数据集^9,10,11做出了宝贵的贡献。先前的研究^12,13 引入了主动学习和半监督方法，以最大限度地减少对人类标记数据的依赖，进一步提高效率并降低注释成本。此外，主动学习已在许多项目中得到证明，可以提高分类性能，特别是在多标签情绪分类中¹⁴。

主动学习在提高分类器性能方面的功效已在各种机器学习应用中得到认可。研究^15,16 强调了其通过关注教育应用在提高绩效方面的关键作用。同样，一项早期研究引入了一种使用支持向量机进行主动学习的新算法，显着减少了对标记实例的需求¹⁷。另一项工作还探讨了它在涉及结构化实例的任务中的应用，例如文本分类¹⁸。主动学习对情绪识别任务的影响不仅限于提高效率，特别是在最大限度地减少对人类标记数据的依赖方面。一项研究引入了用于情绪分类和回归的多任务框架，超过了单任务方法的性能¹⁰。

此外，研究人员¹⁹ 在使用主动学习的语音和文本情感识别方面取得了重大进展，同时证明^{了 20} 其在个性化音乐情感分类方面的有效性。然而，正如^21,22 所强调的那样，对情绪进行分类和标记的过程提出了重大挑战，特别是在情感分析环境中。注意到标签的使用可以显着影响情绪分类，特别是对于后来学习的类别²³。为了应对这些挑战，已经开发了各种算法，包括基于关键字和基于学习的方法，并取得了显着的准确率²⁴。基于书面话语和文本的情绪研究已经在许多模型中进行了探索，并且方法已经使用规范数据库实施了维度模型，以进行有效的情绪检测²⁵。在另一项研究²⁶ 中，认知情绪模型增强了用于社会情绪原因识别的顺序方法。作者提供了OCC情感模型的计算语言学解释，而一项类似的研究²⁷提出了一种利用本体来表示单词依赖关系和情感的系统。一项研究的作者²⁸讨论了与情感文字处理相关的信号，强调了大脑在用书面语言表达情感方面的适应能力。注释多个原始情绪数组（包括多模型数据的情绪）具有挑战性。然而，调查与战争和冲突相关的情绪为了解极端情况下的人类心理提供了一个科学和系统的窗口，使我们能够更好地了解个人和社区如何应对创伤、损失和不确定性⁵。另一项研究发现，注释技术有效地增强了体裁分类，标题特征在此过程中发挥了至关重要的作用²⁹。一项研究使用专家和 GPT-4V 创建了一个 44K 视觉触摸数据集，以训练触觉编码器和用于文本生成³⁰ 的 TVL 模型。另一项研究探讨了对政治推文的观点和趋势挖掘，重点关注主动学习过程，以自动注释有关政客的法语推文⁴¹。另一项研究介绍了 CloudFlows，这是一个基于云的科学工作流程平台，专为数据流中的动态自适应中央分析而设计。它使主动学习能够改进情绪分类，使算法能够适应实时数据的变化⁴²。

人类情感的复杂性和对自动化情绪分析的渴望之间存在明显的紧张关系。人类情感的复杂性与自动情绪分析的目标之间存在着内在的紧张关系。大多数当代工作都承认手动注释的局限性，并强调需要复杂的计算方法来应对在不同形式的交流中理解情绪的挑战。这种理想的场景在很大程度上是不切实际的，即从写句子或说句子的人那里获得注释⁴³.获取数据的理想场景，特别是直接从写句子或说句子的人那里获得注释，在很大程度上是不切实际的。这种不切实际源于无法大规模收集和处理此类个性化注释。因此，目前的工作必须依靠专家注释器或自动情绪检测算法来分析和标记文本中表达的情绪。在这项研究工作中，我们试图克服这些领域挑战的某些方面。下文将介绍这一问题领域的主要贡献⁴⁴.

因此，我们需要依靠专家或标注者以及情绪检测算法来分析和标注文本中表达的情绪。大规模收集和处理此类个性化注释是不可能的。因此，在这项研究工作中，我们试图克服这一领域知识的某些方面。以下是该问题领域的主要贡献。

该框架与基于规则的方法（如情感标记、代码混合检测和表情符号解释）以及随机森林和单词嵌入等机器学习技术配合使用，提高了注释准确性，同时减少了手动工作。分类器的迭代学习采用主动学习和迁移学习来优先考虑模糊的特征样本，从而减少对艰苦劳动的需求。与硬手动贴标相比，这种方法将运营成本降低了 40%。

为了在粒度级别上处理印度英语的细微差别，开发了一种自定义的上下文相关标记化方法。这种方法通过考虑语言切换、标点符号、表情符号和子词分割来处理代码混合文本，从而在混合印地语-英语文本中实现更准确的情感注释。在粒度层面上，我们为印度语文本开发了自定义上下文相关标记。该框架通过结合双语情感词典、子词标记和自定义上下文相关标记来解决代码混合文本的复杂性。词汇规则解决了 89% 的语码转换歧义。

我们的工作以既定的情绪心理学理论为基础，例如离散情绪理论和认知评估理论。该研究展示了危机应对和社交媒体监控方法的可扩展性，为低资源、多语言 NLP 应用提供了蓝图。

表 1解释了同一问题领域的可用研究。从文献调查和表格摘要中可以推断，大多数研究都无法逃脱使用手动方法进行一些注释的初步工作。很少有研究人员遵循半自动方法⁴¹.然而，性能的真正差异来自于使用可以自动化注释过程的有效学习模型。推文的情感内容必须与解释人类情绪途径和情感组织的理论相匹配。下一节根据现有方法的局限性和论文的实证结果来定义问题。

研究	数据	情感	方法	域	贴标流程	差距			未来范围
[31]	9,000,000 条推文	紧张、抑郁、愤怒、精力、疲劳、	情绪状态的混乱特征	英语	无标签	该研究忽略了惊讶、喜悦或恐惧等细微的情绪差异，表明情绪标签可以增强情绪趋势的可解释性和粒度，特别是与社会经济事件相关的趋势。			它可以研究如何利用自动分类方法和完善的情绪分类法来更好地捕捉和检查社交媒体数据中的一系列情绪表达。
[32]	7000 条推文	愤怒、厌恶、恐惧、喜悦、爱、悲伤、	支持向量机	英语	手动	由于其主题特异性和缺乏对整体 Twitter 使用的代表性，该数据集的通用性受到限制。 由于主观解释和最少的上下文（在适度的注释者间协议中表现出来），在简短、随意的推文中注释情绪具有挑战性。			未来的工作将侧重于通过区分特定主题和特定情感的语言风格来开发改进的情绪检测模型，从而在不同的推文上下文中实现更准确的分类。
[33]	21,000 条推文	愤怒、厌恶、恐惧、喜悦、悲伤、惊讶	支持向量机	------	使用标签	现有的情绪标记语料库在规模和领域上受到限制，缺乏大型、多样化的微博数据集。推文简短、嘈杂且受上下文限制，使得准确的情绪检测和注释变得困难。			在未来的工作中，研究可能包括使用同义词和附加主题标签扩展情绪词典，以提高覆盖范围和检测准确性。
[34]	16485 条推文	愤怒、厌恶、恐惧、喜悦、悲伤、惊讶	支持向量回归	中文	手动	传统的情绪分类方法往往忽视了情绪的根本原因，限制了特征质量。 从简短的非正式微博文章中准确提取情绪原因需要强大的基于规则的系统和领域知识。			进一步探索情绪原因分析可以增强情绪检测模型，为文本情感理解开辟新的方向。
[35]	10,040 条推文	恐惧、希望、喜悦、愤怒、惊讶、悲伤、厌恶	LDA，评估者间协议	印度英语	手动	缺乏公开可用的、结构化的印度英语数据集，尤其是那些捕捉危机相关内容中语用和情感细微差别的数据集。印度英语是一种非标准的、代码混合的语言，区域差异使准确的情感分析和注释变得复杂。			为了扩展多模态数据集，将深度语用分析与机器学习模型集成，并解决冲突话语中实时情绪跟踪的可扩展性问题。
[36]	134,000 条推文	活跃、不活跃快乐、不快乐	支持向量机和 K 最近邻	印度英语	使用主题标签	推文的手动情感标记是劳动密集型且不一致的，限制了大规模的情绪分类工作 众包注释缺乏可靠性，特别是在识别情绪唤醒水平方面，突出了情绪解释的主观性。			专注于完善基于主题标签的标签和扩展情绪检测模型，以提高不同情感背景下的准确性和普遍性。
[37]	来自37个国家的3,000名学生、心理学家和非心理学家	喜悦、恐惧、愤怒、悲伤、厌恶、羞耻和内疚。	--	-----	手动	对文化因素如何影响不同社会中特定情感的调节和表达的探索有限。平衡普遍情绪模式的证据与情感引发和解释的文化特定差异仍然很复杂。			进一步的研究应调查生物普遍性与文化背景在塑造情感体验和沟通方面的相互作用
[38]	12000	快乐、悲伤和愤怒	评估者间协议	印地语+英语	手动	目前的研究缺乏用于印度语情绪检测的全面、带注释的数据集和标准化模型。社交媒体文本的不规则语法和代码混合性使得准确的情绪分类变得困难。			未来的工作将侧重于扩展情绪类别和开发更大的多语言代码混合数据集。
[39]	2866	快乐、悲伤、愤怒、惊讶和悲伤	支持向量机	印度英语（印地语+英语）	手动	缺乏情绪注释的代码混合数据集。 代码混合文本中的情感表达因语言和脚本而异，使得注释和分类变得复杂。			未来的工作可以扩展语料库，包括更多的情感多样性，整合词性标记，并探索多语言代码混合内容。
[40]	13738	---	机器翻译 谷歌翻译	印度英语	手动	由于缺乏大型、特定领域的并行语料库，现有的机器翻译系统对代码混合的社交媒体数据缺乏准确性。高拼写差异、非正式结构和语言识别的歧义使罗马化印地语-英语文本的翻译变得复杂。			语料库可以支持代码混合翻译系统的开发，并扩展到其他低资源语言和 NLP 任务，如命名实体识别
[41]	11527	积极的，非常积极的和消极的，非常消极的	基于kNN的分类，BOW表示	法国政客	手动	用于非英语语言政治观点挖掘的高质量注释数据集的可用性有限。在标注降噪与信息保留之间取得平衡，以及处理大规模推文数据集中的标签分布不均匀是关键难点。			未来的工作可能会改进主动学习方法，以更好地保留关键内容，同时最大限度地减少多语言政治话语中的注释噪音。
[42]	764,416	---	Kmeans 聚类，SVM	英语	半监督	情感分析中的实时标注和模型更新受到数据流可变性、标注成本和系统可扩展性的限制。			未来的工作将探索多类情感分类，集成额外的标记策略，并扩大对初始模型生成的控制

表1：具有相应标记方法的可用研究。该表提供了现有研究的完整比较概述，解决了情感注释并建立了方法论景观，并概念化了本工作在现有文献中的贡献。

问题陈述
注释中最常研究的情绪深受 Ekman 和 Plutchik 等基础心理学模型的影响，主要关注愤怒、恐惧、幸福、悲伤、惊讶等核心类别⁴⁴ 。因此，在这项研究工作中，我们打算研究公认的情绪内涵。挑战在于开发一个动态计算框架 F，能够准确地注释语料库 T 中的印度格里什文本实例 （ti），重点关注战争和冲突，并带有来自预定义集合 E = {e₁， e₂， ...， e₈} 的情感标签 （ei）。该框架必须综合建构主义情感理论、情感事件理论 （AET）、离散情绪理论和认知评估理论的原则，以模拟冲突相关话语的多方面情感景观。T 中的每个文本实例 ti 在语言上都很复杂，融合了印地语（罗马文字）、英语、表情符号和符号，需要采用多层次的方法来捕捉细致入微的情感表达。

与战争相关的情绪计算模型（作为案例研究）可能涉及多方面的方法，从解决基于印度语的细微差别的词汇规则开始。标记化，表示为 T，包括罗马文字（用罗马文字书写的印地语），以及表情符号和标点符号，构成了语言处理的基础。情绪词典，表示为 D，将跨语言的单词映射到特定的情绪，例如愤怒、喜悦等，其中每个emotion_i都关联了language_k中的words_j。子词分解 S 将复合词分解为其组成子词，从而能够更深入地理解复杂的表达式。随后，机器学习技术 M 利用嵌入 E（例如 Word2Vec/fastText）将标记转换为向量表示，vector_v，从而促进数值分析。集成分类器 C（如随机森林）然后从这些向量集emotion_label_p预测情绪标签。为了迭代改进标注学习模型，采用主动学习机制AL。专家反馈 F ambiguous_sample_q通过分配refined_label_r来完善模棱两可的情况，提供关键的更正。样本优先级 P 侧重于低置信度样本，low_confidence_sample_s，annotation_priority_t分配它们，从而优化注释过程。

通过整合这些组成部分和理论，该框架旨在动态处理印度语文本，弥合语言和文化的细微差别，并自适应地完善情感注释，为分析冲突话语中的情感维度提供可扩展的解决方案。

Protocol

本节还解释了 8 情感注释的多模态框架是如何构建的。本节首先讨论数据集的属性，然后是后续过程。为了更好地理解研究过程，请参阅 图 1。

图 1：情绪注释的系统框架。 该图解释了有效的情感，通过专家输入结合机器学习、主动学习和动态词汇规则的印度语文本的注释，错误分类的示例逐渐得到改进，以提高准确性并降低注释成本。 请点击此处查看此图的大图。

数据集准备
数据收集首先确定与战争冲突和相关情绪相关的关键字和主题标签的完整列表。学术文献、新闻文章和社交媒体趋势等资源被用来编制相关和现有的列表。

如 图 1 所示，在收集推文和数据预处理完成后，人类专家将参与手动标记和制定需要合并的词汇规则以改进注释过程。使用这些关键字（冲突、战争、危机、古萨等），收集了 10,040 条推文的初始数据集，并作为手动标记的基础，其中每条推文都标注了八种预定义的情绪（愤怒、恐惧、幸福、悲伤、沮丧、同情、混合、其他与战争和冲突领域相关的情绪。手动贴标过程由精通印地语和英语的专家团队进行，确保准确捕捉英语的细微差别。

下面描述了一个示例处理。

标记化和预处理：
输入推 文：“Mujhe Bhayanak lag raha hai ”
代币化输出： [“Mujhe”， “Bhayanak”， “lag”， “raha”， “hai”， “”]
罗马文字处理：印地语单词（“Mujhe”、“Bhayanak”）保留在罗马文字中。
表情符号/符号检测：“”被隔离为符号标记。

情绪词典映射（D）：
使用双语（印地语/英语）情绪词典将标记映射到 E 中的情绪：“Bhayanak”（印地语“可怕”的意思）→恐惧;“lag raha hai”（暗示持续情绪的上下文短语）→恐惧;“”→愤怒

子词分解 （S）：
分解复杂术语以进行更深入的分析：“Bhayanak”→ [“Bhay”（恐惧），“anak”（后缀）]，以阐明其恐惧的语义根源。

嵌入生成 （E）：
使用 Word2Vec/fastText 生成标记嵌入：向量 v₁、v₂、v₃、v₄、v₅、v₆ 的 [“Mujhe”、“Bhayanak”、“lag”、“lag”、“raha”、“hai”、“”→“] 的嵌入。
聚合规则：平均标记嵌入以创建全局语义向量：
V_avg = （v₁ + v₂ + v₃ + v₄ + v₅ + v₆） / 6

基于规则的特征提取：
提取辅助特征以进行串联。情绪标签计数：恐惧：2 次（“Bhayanak”、“lag raha hai”）;愤怒：1 个实例 （“”）。
代码切换标志：二进制标志 = 1（混合印地语和英语标记：“Mujhe”[印地语]、“lag”、“raha”、“hai”[印地语派生]）。

功能融合：
将聚合的嵌入和基于规则的特征组合成一个统一的输入向量：全局语义向量=V_avg（平均嵌入），情绪计数=[恐惧：2，愤怒：1，其他：0]，代码开关标志=1
串联规则最终输入向量 = V_avg [恐惧：2，愤怒：1，其他：0] [1]
机器学习算法处理这个最终向量，注释改进的迭代过程开始了。在下一节中，我们将讨论为此目的采用的主动学习方法的性能。

此后，数据集扩展到 19,000 条推文。该数据集是使用自动化和半自动化技术的组合进行整理的，利用从初始手动注释中获得的见解。扩展的数据集是从迭代学习过程中进一步完善的，它涉及有选择地识别和优先考虑模棱两可的数据/推文，以进行专家注释和领域专家的反馈，以提高注释的准确性、一致性和效率。在整个数据收集过程中，特别注意保持不同情绪之间的平衡，确保数据集能够代表对战争和冲突表达的不同情绪。生成的数据集是分析印度语文本的宝贵资源。为了更好地理解，可以参考 图2 。

图 2：数据集收集过程。 该图描述了从种子词识别到手动标记，然后是主动学习，再到最终注释数据集的数据集开发过程。 请点击此处查看此图的大图。

数据集的最终准备是在主动学习的帮助下完成迭代细化过程后完成的。主动学习被用于混合框架，其中包括词汇规则、机器学习和迭代专家输入，以注释印度语话语的情绪。步骤如下：

该过程从手动标记的数据集开始。使用随机森林分类器，用于识别机器学习模型不确定的模棱两可的推文。将这些模棱两可的样本发送给人类专家进行分类。使用最近注释的数据对模型进行了反复更新，逐渐提高了准确性并减少了错误分类。最终确定数据集并查看注释以确保准确性。准备数据集进行分析，确保其正确记录和格式化，以便将来在下游案例中实施。然而，重要的是要调查话语中嵌入的情绪模式，以便未来的实施步骤变得更加清晰。因此，在下一步中，将进行聚类分析以找到嵌入在数据集中的主导情绪。这也有助于识别我们正在研究的情绪。

情绪簇的选择
表 2 显示了情绪组及其对应的印度英语，以及选择相应情绪的原因。从每组情绪中，选择一种主导情绪进行进一步处理。这些主导情绪是从聚类分析中选择的。

情绪组	印度英语等效	选择的理由
恐惧（包括焦虑和恐慌）	达尔、考夫、阿萨哈吉、贝卡布、安加代、钦塔、紧张、菲克尔、阿尚卡、乌达西、贝查尼、加布拉哈特	恐惧是战争和冲突中常见的情绪，因为个人面临安全和福祉的威胁。这种恐惧可以通过多种方式表现出来，例如焦虑、惊恐发作和过度警觉。
愤怒（包括恼怒、敌意、沮丧和伤害）	Gussa、raag、Prakop、Raudra、Chidhaan、Shatruta、Krodh、Gussa dilana、apata、Atyachar、Khushfehmi、hairani、Bhayanak、Chakker Kathinaai	愤怒是战争和冲突中另一种普遍的情绪，通常源于不公正、背叛或失落的感觉。这种愤怒会助长侵略和暴力，加剧这些冲突的破坏性。
悲伤（包括悲伤、绝望和绝望）	乌达西、加姆、肖克、巴武克、杜基、乌达斯、维斯梅、尼拉沙、肖克、杜基、瓦拉吉亚、阿尚克、维沙达、巴武克、杜基、乌达斯、维纳姆拉塔、巴武克、赫里达托达、贝马尔、尼拉沙、维纳什、拜尔、尼拉沙、阿桑巴夫、哈尔	悲伤是对失落和悲伤的自然反应，不幸的是，这是战争和冲突中的常见经历。士兵可能会因失去战友而感到悲伤，平民可能会为亲人遇难或流离失所而悲痛，整个社区可能会为失去家园和生活方式而哀悼。由于冲突的长期性和看似无休止的暴力循环，也可能产生绝望和绝望的感觉。
羞耻和内疚	沙姆沙伊、拉贾巴里、沙姆沙伊、拉吉、齐拉特、阿夫索斯、古纳、阿夫索斯、帕什恰塔普、拉吉、贝查尼、阿特马萨马潘、沙明达吉、阿什鲁、帕什恰塔普、安塔拉特玛、卡苏尔、古纳、库德科多希马纳、宁达、多沙	羞耻和内疚是复杂的情绪，可能由个人或集体的不当行为、不足或羞辱感引起。在战争和冲突中，个人可能会对自己的行为、无法防止对他人的伤害或在他人死亡时的生存感到羞耻或内疚。
厌恶	Ghin、nafrat、Asahayak、Pratikool、Ghrina、Vairagya、Dvesha、Nakaratmak、Vibhavsu、Vairagya、Vairagya、Nirasha	厌恶是对被视为令人反感或冒犯的事物的厌恶或厌恶感。在战争和冲突中，个人可能会对残忍、暴力和野蛮行为感到厌恶。
同理心和同情心	Sahaaanubhuti， hamderdari， Samajhdari， Daan Sahabhooti， 敏感， 支持， 体贴， 善良， 关怀， 温暖， 温柔， 达亚， 拉罕， 萨哈努布提， 萨希奥格， 达亚鲁， 萨马吉， 皮亚尔， 达亚， 纳拉米， 帕罗普卡里	同理心和同情心对于理解和分享他人的感受至关重要。在战争和冲突中，同理心可以成为与遭受类似经历的其他人联系、培养同情心和促进和解的有力工具。同情心可以激励个人帮助有需要的人，并为康复和重建工作做出贡献。
希望与感恩	Umeed、aasha、Chah、Ichha、Sapna、Unnati、Ashvasan、Khushi、Utsaah、Ashirwad、Samvedansheelata、Vishwas、Bharosa、Shukraguzaar、eshaananand、Shukrana、Aabhaar、Namrata、Samaanya、Naman、Aasherewad、Badhai、Dhanyavaad、Abhivadn、Manobhav、Bhakti	希望是一种乐观和期待的感觉，尽管面临挑战和困难，但还是会有好事发生。感恩是一种对生活中美好事物的感激和欣赏的感觉。在战争和冲突中，希望可以成为力量和动力的源泉，使个人能够坚持不懈，为更美好的未来而努力。感恩可以帮助个人专注于生活中的积极方面，培养适应力，并在动荡中培养平静感。
达观	Jheelaanek、himmat、Sahasi、Sahas、Dhairya、Majbooti、Samvedansheel、Samarthya、Majbuti、Lachari	韧性是适应和应对困难或具有挑战性的情况的能力。在战争和冲突中，韧性对于个人和社区在逆境中生存和坚持下去至关重要。

表 2：选择情绪的理由。 该表将情绪群体与其对应的印度格里什语对应物进行了映射，并解释了它们在战争和冲突背景下的相关性。

然而，必须注意的是，这些情绪的选择不仅基于聚类分析，还基于情绪理论，包括认知评估理论（CAT）、离散情绪理论（DET）和情感过程导向理论（POT）⁴³。

语料库详细信息
该数据集由特定领域（战争、冲突和危机）和其他推文数据集组成，其中包含印地语和英语推文的混合。 图 3 是为这项研究工作处理的公开可用的推文数据集的快照。主要数据集在 https://data.mendeley.com/datasets/y63frd6pmf/7 公开提供。

图 3：语料库详细信息。 此处介绍了数据集的可用性。 请点击此处查看此图的大图。

情绪标签的注释
最初的语料库包含 10,040 条与战争和冲突相关的印度语推文，由双语专家手动注释了八个情感标签。为了解决代码混合文本的语言复杂性，开发了一个基于词汇规则的框架，其中包含多个组件。该框架包括将印地语/英语术语映射到情绪的特定词典，例如 fear_words = {恐惧、恐惧、Bhayanak、 、恐怖、 } 和 anger_words = {gussa、愤怒、 、刺激、 }。跨语言等效规则将术语联系起来（例如，if （Ae == Ah）：anger = gussa | ）。使用词汇规则，例如情感词典、混合语言的标记化和子词分解。为了注释情绪，这些规则预处理文本并提取特征，然后将其与机器学习嵌入⁴⁵相结合。

对于标记化， 该框架利用自定义规则进行语言切换、标点符号、表情符号和子词标记化。印地语（梵文）文本在字符级别进行标记化，而英语（罗马语）使用空格。示例： Mujhe frustration hai → [Mujhe，沮丧，hai]。主题标签 （#） 和提及 （@） 等特殊字符被隔离为单独的标记（例如， #WarCrimes → [#， WarCrimes]），而逗号 （，） 和感叹号 （！） 等标点符号被拆分为单独的标记（例如， → ， ！]）。

表情符号也被视为独立的标记并映射到情绪（例如， →愤怒、→悲伤）。使用梵文脚本完成子词标记，其中复合词使用 Sandhi 规则的正则表达式模式进行拆分（例如， ] [王国 + 世界]），罗马文字前缀/后缀被分割（例如， 难以置信 → [un， believable]）。对于特定领域的扩展，如果在字典中匹配，则标记被替换为情感标签。例如： Bhayanak →恐惧， Dahad“→ 恐惧， gussa →愤怒。推特 Mujhe Bhayanak lag raha hai → Tokens [Mujhe，恐惧，滞后，raha，hai]。

矢量化后，使用 Word2Vec/fastText 将处理后的标记（单词、子词、表情符号）转换为 300 维嵌入。标记的列向量中的数值表示，标记对应的向量矩阵。每一行对应于与文本中标记关联的嵌入向量，表示标记的顺序。行中的列表示嵌入空间中的维度。向量包含使用 Word2Vec 和 FastText 计算的实数。向量为零的标记，由所有零值的行表示，可能表示在此表示中缺乏有意义信息的空格或特殊字符。嵌入旨在捕获上下文单词关系以改进注释。非零向量表示单词或符号的有意义表示。这些向量中的值编码各种语义和句法特征。零向量通常表示填充、空格或无法识别的标记。值的可变性反映了嵌入模型捕获的特征的丰富性。不同的矢量维度捕获单词含义、上下文和用法的不同方面。 图 4 显示了矢量的表示方式，从 图 5 中可以理解使用矢量化过程的含义。

图 4：自定义标记化。该图显示了向量在嵌入空间中的表示方式，并描述了每个标记如何转换为数字格式请 点击此处查看此图的大图。

图 5：标记矢量化过程及其影响。 该图说明了这些过程、组件的含义，并强调了这些嵌入如何捕获情绪语义以实现准确的情绪分类。 请点击此处查看此图的大图。

根据研究流程，该过程首先解析输入文本，使用基于规则的词典扩展标记，然后将这些标记分解为子词。这种方法提供了对文本情感内容和文化背景的理解，下面给出了研究的伪逻辑。

初始化情绪词典（例如，fear_words = {“fear”， “dread”， “bhayanak”， ...}）：设置 ae = ah
SubwordRules（token， script）：如果梵文→使用正则表达式（复合词/Sandhi）拆分，如果罗马→使用正则表达式拆分前缀/后缀，则返回子字
DomainSpecificExpansion（token）：如果情感/语言词典中的 token →返回情感
否则→返回令牌
ProcessTweet（text）：为梵文、罗马文等定义正则表达式;使用正则表达式提取代币;将 DomainSpecificExpansion 和 SubwordRules 应用于令牌;返回已处理的子词
将标记矢量化为数字嵌入
将主动学习与人工反馈应用

Results

这项研究的结果表明，将词汇规则与机器学习和主动学习技术相结合，为提高代码混合印度语文本中情感注释的效率和准确性提供了一条可行的途径。通过迭代改进和专家建议，所提出的框架能够显着减少人工工作，同时保持跨进化矩阵的高性能。结果表明，在需要可扩展情绪识别解决方案的领域具有更广泛的适用性潜力，特别是在社交媒体分析和危机信息学等多语言和资源受限的环境中。

词法规则和机器学习功能的集成
该框架还包括使用随机森林分类器的主动学习工作流程，该分类器可以识别模棱两可的推文（例如，混合的愤怒/沮丧线索）以进行专家重新标记。人类反馈迭代改进了词典和模型，在八次迭代中将准确率从 72% 提高到 81%。词法规则和机器学习特征的集成将基于词法规则的特征与分布语义嵌入相结合，为随机森林分类器创建了稳健的输入表示。基于规则的特征提取词法规则从原始文本生成结构化元数据，这些元数据以情感标签的形式转换为分类或数字特征：与情感词典匹配的标记（例如，...

Discussion

本研究的数据集是结合手动注释和主动学习来策划的。最初，10,040 条与战争和冲突相关的印度英语推文被手动标记为八种预定义的情绪。然后使用半自动方法将数据集扩展到 19,000 条推文。主动学习实现了选择性专家干预，将手动工作量减少了 40%，同时保持了 81% 的高注释准确率，F 分数为 0.76。词汇规则和特定于情感的词典在解决 89% 的语码转换歧义方面发挥了至关重要的作用。主动学习框架迭代完善了模型，准确率从 72% 递增到 81%。

词法规则和机器学习集成
该框架有效地将基于规则的功能与机器学习相结合。词汇规则应用于标记化、子词分解和情感映射，而嵌入（Word2Vec、fastText）则提供上下文表示。使用随机森林分类器来识别需要专家重新注释的模棱两可的推文。该模型在多次迭代中得到了改进，降低了错误分类率，同时提高了精度和召回率。

机器学习模型的性能
梯度提升和随机森林分类器的比较分析显示出相似的性能，标注准确率为81%。随机森林模型在...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
快速文本	Facebook 人工智能	不适用	单词表示和分类
谷歌 Colab	谷歌	不适用	基于云的 Jupyter Notebook 环境
谷歌 Colab GPU/TPU	谷歌	不适用	基于云的硬件加速
英特尔酷睿 i5/i7 或 AMD 锐龙 5/7	英特尔 / AMD	不适用	用于本地执行的处理器（如果需要）
Matplotlib	开源	不适用	数据可视化库
NLTK的	开源	不适用	用于文本处理的自然语言工具包
数字	开源	不适用	数值计算库
NVIDIA GTX 1650 或更高版本（可选）	英伟达	不适用	用于深度学习任务的 GPU
熊猫	开源	不适用	数据作库
蟒蛇	Python 软件基础	不适用	ML 和 NLP 的编程语言
PyTorch	元人工智能	不适用	深度学习框架
RAM（最低 8GB，推荐 16GB）	各种	不适用	ML 任务的内存要求
Scikit-学习	开源	不适用	机器学习库
海裔	开源	不适用	统计数据可视化
空间赛	爆炸人工智能	不适用	工业级 NLP 库
SSD 存储（最低 256GB，推荐 512GB）	各种	不适用	用于数据集处理的存储
张量流	谷歌	不适用	深度学习框架