Машинное обучение и экономичная аннотация эмоций на основе лексических правил для высказываний Hinglish

Summary

Это исследование сочетает в себе стратегию, основанную на правилах, с машинным обучением и экспертной помощью для аннотирования текста на хинглише и английском языке. Данные протестированы на 19 000 твитов с точностью 81%, и это намного дешевле, чем делать это вручную. Это может быть полезно для отслеживания эмоций во время кризиса.

Abstract

Аннотация эмоций в языках со смешанным кодом, таких как хинглиш (хинди-английский), представляет собой уникальную проблему из-за лингвистической сложности и ограниченности ресурсов. В этом исследовании представлена гибридная среда активного обучения, которая сочетает в себе лексические правила, машинное обучение и итеративную экспертную обратную связь для достижения экономичной и высокоточной аннотации эмоций. Основанный на психологических теориях эмоций, включая теорию дискретных эмоций и теорию когнитивной оценки, фреймворк использует двуязычные словари эмоций (например, сопоставление gussa и ярости с гневом), токенизацию подслов для сложных терминов (например, разделение на ) и активное обучение для определения приоритетности неоднозначных выборок. Оцениваясь на основе 19 000 данных о твитах Hinglish, связанных с войной и конфликтами, фреймворк достиг точности 81% (F-балл: 0,76) при одновременном снижении эксплуатационных расходов на 40% по сравнению с ручным комментированием. Лексические правила устранили 89 % неоднозначностей переключения кодов, а итеративные уточнения позволили увеличить точность с 72 % до 81 %. Эффективность системы обусловлена ограничением человеческих усилий до 73% набора данных с автоматизированной предварительной обработкой эмодзи, хэштегов и сленга. Это исследование основано на гипотезе о том, что интеграция методов, основанных на лексических правилах, с активным обучением и машинным обучением может повысить точность аннотации эмоций в тексте на хинглише, одновременно сокращая ручную маркировку и общие усилия по аннотации.

Introduction

Когда два или более языков смешиваются в одной строке или речи, это называется смешанным языком кода. Это обычное явление в непринужденных диалогах, таких как Hinglish. Существует множество способов понять человеческие эмоции, и для компьютерного моделирования серии эмоциональных высказываний необходимо аннотировать их людьми, которые произнесли эти предложения. Его можно понимать с точки зрения биологического, физиологического, психологического уровней и так далее. По мнению таких ученых, как Роджер Пенроуз, многие явления в нашем мире не поддаются вычислениям, и такие ученые, как Вольфрам, считают, что все (каждое явление) может быть смоделировано вычислительно^. Пенроуз считает, что сознание включает в себя процессы (возможно, связанные с квантовой механикой в мозге), которые выходят за рамки того, что может быть достигнуто с помощью любой пошаговой алгоритмической процедуры. Он часто цитирует теоремы Гёделя о неполноте, чтобы поддержать идею о том, что человеческая математическая интуиция, например, выходит за рамки формальных^{систем.} Если сознание не является вычислительным, то эмоции, как ключевой аспект сознательного опыта, также могут иметь невычислительные элементы. Стивен Вольфрам, известный благодаря системе Mathematica и своей работе над клеточными автоматами, предлагает «Принцип вычислительной эквивалентности». Это говорит о том, что даже очень сложные системы, включая потенциально саму Вселенную и явления в ней (например, эмоции), в конечном итоге могут быть описаны и смоделированы вычислительными правилами, даже если эти правила очень просты, порождая сложное поведение. Но на практике это невозможно, и нам нужен кто-то, кого называют либо экспертом, либо просто аннотатором, который может^{проводить анализ эмоций}.

В этом исследовании мы пропагандируем идею построения вычислительных моделей. Но эта модель будет квазивычислительной. Наше исследование в этом контексте нацелено на то, чтобы быть вычислительным по форме, но может не охватить все аспекты идеально, возможно, оставляя место для сложностей, которые трудно или невозможно полностью вычислить. Эмоции трудно моделировать вычислительно, потому что они зависят от субъективного опыта, культурного контекста и нюансов выражений, которые не могут быть полностью зафиксированы с помощью фиксированных алгоритмов.

Поэтому для моделирования человеческих эмоций с использованием переменных вычислительных подходов необходимо аннотировать человеческие эмоциональные высказывания. Это аннотирование должно быть выполнено экспертом или аннотатором, обладающим навыками анализа эмоций¹. Понимание сложностей человеческих эмоций — непростая задача, особенно когда имеешь дело со смешанными языками. Кроме того, проблемы, связанные с масштабом, означают, что полагаться исключительно на ручное аннотирование человеком не является жизнеспособным вариантом. Недавние исследования указывают на постоянную потребность в подходе «человек в контуре» при создании систем для таких сложных задач. Следовательно, полуавтоматический подход, который включает в себя автоматизацию более простых частей и резервирование задач, требующих человеческого чутья, для аннотаторов, представляется наиболее подходящим для разработки систем естественного языка в этой области.

Человек-аннотатор, конечно, будет выполнять работу вручную, а в век вычислений это не то, чего ожидают от современных ученых. Если аннотатор (ручной, полуавтоматический или полностью автоматический) способен разумно угадывать тип эмоции, воплощенной в высказываниях, которые состоят из нескольких типов эмоций, выраженных в виде символов, с помощью разговорного языка или смешанного кода и с использованием нескольких модальностей, то задача будет трудной и легкой одновременно. Сложность аннотации эмоций в высказываниях Хинглиша зависит от характера выражения. Когда эмоции четко передаются с помощью знакомых слов или смайликов, аннотация относительно проста. Однако задача становится сложной, когда высказывания включают в себя несколько эмоций, смешивание кодов или неоднозначные символические выражения. Поэтому аннотация может быть как легкой, так и сложной, в зависимости от того, насколько непосредственно выражена эмоция.

Современные подходы к идентификации эмоций и настроений имеют дело с этими проблемами, включая субъективную природу эмоций, неоднозначность человеческих выражений, сложность языков со смешанным кодом, таких как хинглиш, а также трудоемкий и непоследовательный характер ручного аннотирования. связанные с построением вычислительных моделей и управлением утомительными задачами аннотаций. Недавние исследования показывают, что исследователи используют для достижения этой цели широкий спектр методов, включая машинное обучение, глубокое обучение и различные гибридные подходы. Недавние исследования показывают, что для преодоления этих проблем исследователи используют различные методы, такие как машинное обучение, глубокое обучение и гибридные модели.

Недавние исследования показывают, что исследователи используют все виды подходов, включая машинное обучение, глубокое обучение³ и гибридные подходы. Термин «анализ настроений» относится к процедуре, используемой в тех случаях^, когда полярность эмоций считается маркером для понимания необработанных эмоций людей^. Развитие такой технологии помогло распознавать настроение, чувства, речь, мимические эмоции и невербальные сигналы, и уже вторглось в приложения, которые^{позволяют переводить} в режиме реального времени. Мультимодальный подход может быть использован для перевода с хинглиша на английский язык и может быть полезен в будущем, чтобы сделать индийское кино более доступным для отдаленных обществ ^5,6. Например, в Индии английский часто является вторым языком. Исследования в этом контексте показывают, что это улучшило качество преподавания английского языка за счет анализа индийской речи (языка смешанного кода) на предмет выразительности или степени чувств и эмоций каждого слова.

В контексте данного исследования было показано, что использование языка со смешанным кодом в сочетании с переводом повышает качество преподавания английского языка. Это достигается путем анализа индийской речи (языка смешанного кода) для определения выразительности или эмоциональной валентности каждого слова. Благодаря применению глубокого обучения для обучения компьютеров переводу речи, это исследование уже повысило точность компьютеризированного анализа речи и способствовало лучшему пониманию коммуникации ^4,5. Согласно результатам переписи населения 2001 года, хинглиш, язык, представляющий собой смесь хинди и английского, в настоящее время используется примерно 120 миллионами человек^{в Индии.}

Из современного ландшафта алгоритмов обучения становится ясно, что активное обучение стало мощным инструментом для значительного сокращения человеческих усилий по аннотированию больших наборов данных, особенно в области идентификации и распознавания эмоций. Этот итеративный подход, при котором впечатляющие аннотации выборочно аннотируются (с соответствующими метриками), не только повышает точность аннотаций, но и повышает эффективность⁵. Предыдущие исследования продемонстрировали его эффективность в достижении существенного сокращения рабочей нагрузки по ручному аннотированию при сохранении или даже повышении производительности при использовании небольших обучающих наборов данных и предложении метода на основе кластерного анализа для информативного выбора экземпляров ^7,8. В конкретном контексте распознавания эмоций Хинглиша исследователи внесли ценный вклад с помощью моделей глубокого обучения и аннотированного набора данных^с несколькими метками ^9,10,11. В предыдущих исследованиях^12,13 были внедрены методы активного обучения и полуконтролируемые методы для минимизации зависимости от данных, помеченных человеком, что еще больше повысило эффективность и снизило затраты на аннотации. Кроме того, во многих проектах было продемонстрировано активное обучение для повышения эффективности классификации, особенно в классификации эмоций^по нескольким меткам.

Эффективность активного обучения в повышении производительности классификатора была признана в различных приложениях машинного обучения. Исследования^15,16 подчеркнули его решающую роль в повышении производительности за счет сосредоточения внимания на образовательных приложениях. Аналогичным образом, в одном из ранних исследований был представлен новый алгоритм активного обучения с помощью методов опорных векторов, что значительно снизило потребность в меченых экземплярах¹⁷. В другой работе также изучалось его применение в задачах, связанных со структурированными экземплярами, таких как классификация текста¹⁸. Влияние активного обучения на задачи распознавания эмоций выходит за рамки повышения эффективности, особенно в том, что касается минимизации зависимости от данных, помеченных человеком. В одном исследовании была представлена многозадачная структура для классификации и регрессии эмоций, превосходящая по производительности однозадачные методы¹⁰.

Кроме того, исследователи^{добились} значительных успехов в распознавании речевых и текстовых эмоций с помощью активного обучения^{, продемонстрировав} при этом его эффективность в персонализированной классификации музыкальных эмоций. Тем не менее, процесс категоризации и маркировки эмоций представляет собой значительную проблему, как подчеркивается^{в 21,22}, особенно в контексте анализа настроений. Отмечает, что использование ярлыков может существенно повлиять на категоризацию эмоций, особенно^{для категорий,} усвоенных позже. Для решения этих проблем были разработаны различные алгоритмы, в том числе основанные на ключевых словах и на обучении, которые позволили достичь заметных показателей точности²⁴. Исследования эмоций, основанные на письменных высказываниях и текстах, были изучены в многочисленных моделях, а подходы реализовали размерную модель с использованием нормативных баз данных для эффективного обнаружения эмоций^. В другом исследовании²⁶ модель когнитивных эмоций усовершенствовала последовательный метод, используемый для идентификации причин социальных эмоций. Автор предложил вычислительную лингвистическую интерпретацию модели эмоций OCC, в то время как в аналогичном исследовании²⁷была предложена система, использующая онтологии для представления отношений зависимости от слов и эмоций. Авторы одного исследования^{обсуждали}сигналы, которые коррелируют с эмоциональной обработкой текста, подчеркивая адаптацию мозга к выражению эмоций в письменной речи. Аннотирование нескольких массивов необработанных эмоций, в том числе данных мультимоделей, является сложной задачей. Тем не менее, исследование эмоций, связанных с войной и конфликтами, открывает научное и систематическое окно в человеческую психику в экстремальных обстоятельствах, позволяя нам лучше понять, как отдельные люди и сообщества справляются с травмами, потерями^{и неопределенностью}. Другое исследование показало, что техника аннотации эффективно улучшает классификацию жанров, при этом заголовок играет решающую роль в этом процессе^. В одном исследовании был создан набор данных 44K vision-touch с экспертом и GPT-4V для обучения тактильного кодировщика и TVL-модели для генерации текста³⁰. В другом исследовании изучался анализ мнений и тенденций в политических твитах, уделяя особое внимание процессу активного обучения автоматическому аннотированию твитов на французском языке о политиках⁴¹. В другом исследовании была представлена CloudFlows, облачная платформа научного рабочего процесса, предназначенная для динамического адаптивного централизованного анализа потоков данных. Это позволяет активно обучаться для улучшения классификации тональности, позволяя алгоритму адаптироваться к изменениям данных в режиме реального времени⁴².

Существует явное противоречие между сложностью человеческих эмоций и стремлением к автоматизированному анализу эмоций. Существует внутреннее противоречие между сложностью человеческих эмоций и целью автоматизированного анализа эмоций. Большая часть современных работ признает ограничения ручного аннотирования и подчеркивает необходимость сложных вычислительных методов для решения проблем понимания эмоций в различных формах коммуникации. Этот идеальный сценарий в значительной степени непрактичен, т.е. получение аннотаций от людей, которые написали или произнесли предложения⁴³. Идеальный сценарий для получения данных, в частности, для получения аннотаций непосредственно от людей, которые написали или произнесли предложения, в значительной степени непрактичен. Такая непрактичность связана с невозможностью сбора и обработки таких персонализированных аннотаций в больших масштабах. Поэтому в настоящее время необходимо полагаться на эксперты-аннотаторы или автоматизированные алгоритмы обнаружения эмоций для анализа и маркировки эмоций, выраженных в тексте. В этой исследовательской работе мы попытались преодолеть некоторые аспекты этих проблем в предметной области. Основные вклады в эту проблемную область представлены ниже⁴⁴.

Поэтому нам нужно полагаться на экспертов или аннотаторов и алгоритмы обнаружения эмоций для анализа и маркировки эмоций, выраженных в тексте. Собрать и обработать такие персонализированные аннотации в больших масштабах невозможно. Таким образом, в данной исследовательской работе мы попытались преодолеть некоторые аспекты знания этой предметной области. Ниже приведены основные вклады в эту проблемную область.

Фреймворк работает вместе с методами на основе правил, такими как тегирование эмоций, обнаружение сочетания кодов и интерпретация эмодзи, с методами машинного обучения, такими как Random Forest и встраивание слов, повышая точность аннотаций и сокращая ручную работу. Итеративное обучение классификатора использует активное обучение, а также трансферное обучение для определения приоритетов неоднозначных образцов признаков, снижая потребность в тяжелом труде. Такой подход снизил операционные расходы на 40% по сравнению с жесткой ручной маркировкой.

Чтобы учесть нюансы Hinglish на детальном уровне, был разработан пользовательский метод контекстно-зависимой токенизации. Этот подход обрабатывает смешанный текст с учетом переключения языков, пунктуации, эмодзи и сегментации подслов, что позволяет более точно комментировать эмоции в смешанном тексте на хинди и английском языках. На детальном уровне мы разработали пользовательскую контекстно-зависимую токенизацию для текста на языке Hinglish. Платформа решает сложные задачи смешанного текста, включая двуязычные словари эмоций, токенизацию подслов и пользовательскую контекстно-зависимую токенизацию. Лексические правила устранили 89% неоднозначностей при переключении кодов.

Наша работа основана на устоявшихся психологических теориях эмоций, таких как теория дискретных эмоций и теория когнитивной оценки. Исследование демонстрирует масштабируемость подхода к реагированию на кризисы и мониторингу социальных сетей, предоставляя схему для малоресурсных многоязычных приложений NLP.

В таблице 1 представлены доступные исследования по той же проблемной области. Из обзора литературы и сводного резюме можно сделать вывод, что большинство исследований не могут обойтись без проведения некоторой первоначальной работы по аннотированию с использованием ручных методов. Немногие исследователи следуют полуавтоматическим подходам⁴¹. Тем не менее, реальная разница в производительности заключается в использовании эффективной модели обучения, которая может автоматизировать процесс аннотации. Эмоциональное содержание твитов должно соответствовать теориям, объясняющим пути человеческих эмоций и организацию настроений. В следующем разделе проблема определяется исходя из ограниченности существующих подходов и эмпирических результатов работ.

Изучать	Набор данных	Эмоция	Методика	Домен	Процесс маркировки	Пробелы			Будущая сфера деятельности
[31]	9 000 000 твитов	напряжение, депрессия, гнев, энергичность, усталость,	Профиль спутанности сознания состояний настроения	Английский	Без маркировки	В исследовании не учитываются тонкие эмоциональные различия, такие как удивление, радость или страх, предполагая, что маркировка эмоций может улучшить интерпретируемость и детализацию тенденций настроений, особенно в отношении социально-экономических событий.			Он мог бы исследовать, как лучше улавливать и изучать ряд эмоциональных выражений в данных социальных сетей, используя автоматизированные методы категоризации и хорошо зарекомендовавшие себя таксономии эмоций.
[32]	7000 твитов	гнев, отвращение, страх, радость, любовь, печаль,	Метод опорных векторов	Английский	Вручную	Обобщенность набора данных ограничена из-за его специфичности по теме и недостаточной репрезентативности общего использования Twitter.  Из-за субъективной интерпретации и минимального контекста, который проявляется в скромном соглашении между аннотаторами, аннотировать эмоции в кратких, случайных твитах сложно.			Будущая работа будет сосредоточена на разработке улучшенных моделей распознавания эмоций за счет включения различий между тематическими и эмоциональными лингвистическими стилями, что позволит более точно классифицировать их в различных контекстах твитов.
[33]	21 000 твитов	гнев, отвращение, страх, радость, печаль, удивление	Метод опорных векторов	------	Использование хэштега	Существующие корпуса, помеченные эмоциями, ограничены по размеру и предметной области, им не хватает больших и разнообразных наборов данных для микроблогов. Твиты короткие, зашумленные и ограничены контекстом, что затрудняет точное обнаружение эмоций и аннотации.			В будущей работе исследование может включать расширение лексикона эмоций за счет синонимов и дополнительных хэштегов для улучшения охвата и точности обнаружения.
[34]	16485 твитов	гнев, отвращение, страх, радость, печаль, удивление	Регрессия опорных векторов	Китайский	Вручную	Традиционные методы классификации эмоций часто упускают из виду основную причину эмоций, ограничивая качество характеристик. Точное извлечение причин эмоций из коротких, неформальных постов в микроблогах требует надежных систем, основанных на правилах, и знаний предметной области.			Дальнейшее изучение анализа причин эмоций может улучшить модели обнаружения эмоций и открыть новые направления в понимании текстовых эмоций.
[35]	10 040 твитов	Страх, надежда, радость, гнев, удивление, грусть, отвращение	LDA, соглашение между оценщиками	Хинглиш	Вручную	Для Hinglish не хватает общедоступных структурированных наборов данных, особенно тех, которые фиксируют прагматические и эмоциональные нюансы в контенте, связанном с кризисом. Хинглиш — это нестандартный язык со смешанным кодом, а региональные вариации затрудняют точный анализ тональности и аннотирования.			Чтобы расширить мультимодальные наборы данных, интегрировать глубокий прагматический анализ с моделями машинного обучения и решить проблему масштабируемости для отслеживания эмоций в режиме реального времени в дискурсе конфликтов.
[36]	134 000 твитов	активные, неактивные счастливые, несчастные	метод опорных векторов и k-ближайших соседей	Хинглиш	Использование хэштегов	Ручная маркировка эмоций в твитах трудоемка и непоследовательна, что ограничивает масштабные усилия по классификации эмоций Краудсорсинговым аннотациям не хватает надежности, особенно в определении уровней эмоционального возбуждения, подчеркивая субъективность в интерпретации эмоций.			Сосредоточьтесь на совершенствовании маркировки на основе хэштегов и расширении моделей обнаружения эмоций для повышения точности и обобщения в различных эмоциональных контекстах.
[37]	3 000 студентов, психологов и непсихологов из 37 стран	радость, страх, гнев, печаль, отвращение, стыд и вина.	--	-----	Вручную	Ограниченное исследование того, как культурные факторы влияют на регуляцию и выражение конкретных эмоций в различных обществах. Баланс между доказательствами универсальных эмоциональных паттернов и культурно-специфическими вариациями в выявлении и интерпретации эмоций остается сложным.			Дальнейшие исследования должны изучить взаимодействие между биологической универсальностью и культурным контекстом в формировании эмоционального опыта и коммуникации
[38]	12000	Счастье, печаль и гнев	Соглашение между оценщиками	Хинди+Английский	Вручную	В настоящее время в исследованиях отсутствует всеобъемлющий аннотированный набор данных и стандартизированные модели для обнаружения эмоций Хинглиша. Нерегулярная грамматика и смешанный характер текстов в социальных сетях затрудняют точную классификацию эмоций.			Будущая работа будет сосредоточена на расширении категорий эмоций и разработке более крупных, многоязычных наборов данных со смешанным кодом.
[39]	2866	счастье, грусть, гнев, удивление и грусть	Метод опорных векторов	Хинглиш (хинди+английский)	Вручную	Отсутствие аннотированных на эмоции наборов данных со смешанным кодом.  Выражение эмоций в смешанном тексте различается в зависимости от языка и алфавита, что усложняет аннотацию и классификацию.			Будущая работа может расширить корпус, включив в него больше эмоционального разнообразия, интегрировав тегирование частей речи и исследуя многоязычный контент со смешанным кодом.
[40]	13738	---	Машинный перевод Google Translator	Хинглиш	Вручную	Существующим системам машинного перевода не хватает точности в отношении данных социальных сетей со смешанным кодом из-за отсутствия больших параллельных корпусов, специфичных для предметной области. Высокая вариативность орфографии, неформальная структура и неоднозначность в идентификации языка затрудняют перевод латинизированного текста на хинди и английский язык.			Корпус может поддерживать разработку систем перевода со смешанным кодом и может быть расширен на другие языки с ограниченными ресурсами и задачи NLP, такие как распознавание именованных сущностей
[41]	11527	положительный,очень позитивный и отрицательный,очень отрицательный	Классификация на основе kNN, представление BOW	Французские политики	Вручную	Ограниченная доступность высококачественных аннотированных наборов данных для анализа политических мнений на языках, отличных от английского. Ключевыми трудностями являются баланс между шумоподавлением аннотаций и сохранением информации и обработкой неравномерного распределения меток в больших наборах данных твитов.			Будущая работа может усовершенствовать методы активного обучения для лучшего сохранения критического контента и минимизации шума аннотаций в многоязычном политическом дискурсе.
[42]	764,416	---	Кластеризация Kmeans, SVM	Английский	Полуконтролируемый	Маркировка в режиме реального времени и обновление модели при анализе тональности ограничены изменчивостью потока данных, стоимостью маркировки и масштабируемостью системы.			В будущей работе будет изучена многоклассовая классификация тональности, интеграция дополнительных стратегий маркировки и расширен контроль над начальной генерацией модели

Таблица 1: Доступные исследования с соответствующими методами маркировки. Таблица представляет собой полный сравнительный обзор существующих исследований, рассматривая аннотацию эмоций и устанавливая методологический ландшафт и концептуализируя вклад настоящей работы в существующую литературу.

Постановка проблемы
Наиболее часто изучаемые эмоции в аннотации находятся под сильным влиянием фундаментальных психологических моделей, таких как модели Экмана и Плутчика, в первую очередь фокусируясь на основных категориях, таких как гнев, страх, счастье, грусть, удивление^{и так далее} . Следовательно, в данной исследовательской работе мы намерены работать над устоявшимися коннотациями эмоций. Задача состоит в том, чтобы разработать динамическую вычислительную структуру F, способную точно аннотировать экземпляры текста Хинглиша (ti ) из корпуса T, ориентированного на войны и конфликты, с метками эмоций (ei) из предопределенного набора E = {e₁, e₂, ..., e₈}. Эта структура должна синтезировать принципы конструкционистской теории эмоций, теории аффективных событий (AET), теории дискретных эмоций и теории когнитивной оценки для моделирования многогранного эмоционального ландшафта дискурса, связанного с конфликтами. Каждый экземпляр текста в букве Т лингвистически сложен, в нем сочетаются хинди (латинским шрифтом), английский, эмодзи и символы, что требует многоуровневого подхода к передаче нюансов эмоциональных выражений.

Вычислительная модель эмоций, связанных с войной (в качестве тематического исследования), может включать в себя многогранный подход, начиная с лексических правил, которые учитывают нюансы, основанные на Хинглише. Токенизация, обозначаемая как T, включает в себя латинские алфавиты (хинди, написанные латинским шрифтом), а также смайлики и знаки препинания, формирующие основу языковой обработки. Словари эмоций, представленные как D, сопоставляют слова на разных языках с конкретными эмоциями, такими как гнев, радость и другими, где каждый emotion_i ассоциируется с words_j в language_k. Разложение подслов, S, разбивает составные термины на составляющие их подслова, что позволяет глубже понять сложные выражения. Впоследствии, методы машинного обучения M используют встраиваемые элементы E, такие как Word2Vec/fastText, для преобразования токенов в векторные представления vector_v, облегчая численный анализ. Классификаторы ансамбля, C, такие как Random Forest, затем предсказывают метки эмоций, emotion_label_p, из этих векторных наборов. Для итеративного улучшения модели обучения аннотаций используется механизм активного обучения, AL. Экспертная обратная связь, F, уточняет неоднозначные случаи, ambiguous_sample_q, назначая refined_label_r, вносит важные исправления. Приоритизация выборок, P, фокусируется на выборках с низкой достоверностью, low_confidence_sample_s, присваивая им annotation_priority_t, тем самым оптимизируя процесс аннотирования.

Интегрируя эти компоненты и теории, эта структура направлена на динамическую обработку текста на хинглише, преодоление лингвистических и культурных нюансов и адаптивное уточнение аннотаций эмоций, предлагая масштабируемое решение для анализа аффективных измерений в дискурсе конфликта.

Protocol

В этом разделе также объясняется, как была построена мультимодальная структура для аннотации 8 эмоций. Раздел начинается с обсуждения свойств набора данных, за которым следуют последующие процедуры. Для лучшего понимания процедуры исследования обратитесь к рисунку 1.

Рисунок 1: Систематическая структура аннотации эмоций. На рисунке показана эффективная эмоция, аннотация текста, которая сочетает в себе машинное обучение, активное обучение и динамические правила лексикона благодаря экспертному вводу, неправильно классифицированные примеры постепенно улучшаются для повышения точности и снижения стоимости аннотаций. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Подготовка набора данных
Сбор данных начинается с определения полного списка ключевых слов и хэштегов, связанных с военным конфликтом и связанными с ним эмоциями. Для составления актуальных и существующих списков использовались такие ресурсы, как научная литература, новостные статьи и тенденции в социальных сетях.

Как показано на рисунке 1, после сбора твитов и предварительной обработки данных эксперты-люди участвуют в ручной маркировке и создании лексических правил, которые необходимо включить для улучшения процесса аннотации. Используя эти ключевые слова (конфликт, война, кризис, гусса и т. д.), был собран первоначальный набор данных из 10 040 твитов, который послужил основой для ручной маркировки, где каждый твит был аннотирован восемью предопределенными эмоциями (гнев, страх, счастье, грусть, разочарование, сострадание, смешанные и другие, имеющие отношение к войне и конфликту). Процесс ручной маркировки проводился командой экспертов, владеющих как хинди, так и английским языком, что гарантировало точное улавливание нюансов английского языка.

Пример обработки описан ниже.

Токенизация и препроцессирование:
Входной твит: «Mujhe Bhayanak lag raha hai »
Токенизированный вывод: ["mujhe", "bhayanak", "lag", "raha", "hai," ""]
Работа с латинским шрифтом: Слова на хинди («Муджхе», «Бхайанак») сохраняются в латинском алфавите.
Обнаружение эмодзи/символов: "" изолирован как символический токен.

Карта словаря эмоций (D):
Сопоставьте лексемы с эмоциями в Е, используя двуязычный (хинди/английский) лексикон эмоций: «Бхаянак» (на хинди «ужасный») → страх; «лаг раха хай» (контекстуальная фраза, подразумевающая непрекращающуюся эмоцию) → страх; "" → Гнев

Подслово Разложение (S):
Разложите сложные термины для более глубокого анализа: «Бхайанак» → [«Бхай» (страх), «анак» (суффикс)], чтобы прояснить его семантический корень в страхе.

Генерация встраивания (E):
Сгенерируйте вложения токенов с помощью Word2Vec/fastText: Embeddings для ["Mujhe", "Bhayanak", "lag", "raha", "hai", ""] → векторы v₁,_{v 2}, v₃, v₄, v₅, v₆.
Правило агрегирования: Усреднение вложений токенов для создания глобального семантического вектора:
V_avg = (v₁ + v₂ + v₃ + v₄ + v₅ + v₆) / 6

Извлечение признаков на основе правил:
Извлечение вспомогательных признаков для конкатенации. Количество тегов эмоций: Страх: 2 раза («Бхайанак», «лаг раха хай»); Гнев: 1 экземпляр («»).
Флаг переключения кода: Двоичный флаг = 1 (смешанные токены на хинди и английском: "Mujhe" [хинди], "lag", "raha", "hai" [производный от хинди]).

Функция Fusion:
Объедините агрегированные вложения и функции, основанные на правилах, в единый входной вектор: Global Semantic Vector=V_avg(усредненные вложения),Emotion Counts=[Страх: 2, Гнев: 1, Другие: 0], Флаг переключения кода=1
Правило конкатенации Конечный входной вектор = V_avg [Страх: 2, Гнев: 1, Другие: 0] [1]
Алгоритм машинного обучения обрабатывает этот итоговый вектор, и начинается итерационный процесс улучшения аннотаций. В следующем разделе мы обсудим эффективность метода активного обучения, принятого для этой цели.

После этого набор данных был расширен до 19 000 твитов. Этот набор данных был отобран с использованием комбинации автоматизированных и полуавтоматических методов, используя информацию, полученную в результате первоначального ручного аннотирования. Расширенный набор данных был дополнительно усовершенствован в результате итеративного процесса обучения, который включал в себя выборочное выявление и приоритизацию неоднозначных данных/твитов для экспертного комментирования и обратной связи от экспертов в предметной области для повышения точности, согласованности и эффективности аннотаций. На протяжении всего процесса сбора данных особое внимание уделялось поддержанию баланса между различными эмоциями, гарантируя, что набор данных отражает различные чувства, выраженные в отношении войны и конфликта. Полученный набор данных является ценным ресурсом для анализа текста на языке Hinglish. Для лучшего понимания можно обратиться к рисунку 2 .

Рисунок 2: Процедура сбора набора данных. На рисунке изображена разработка набора данных от идентификации исходного слова до ручной маркировки с последующим активным обучением и окончательным аннотированным набором данных. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Окончательная подготовка набора данных производится после завершения процесса итерационной доработки с помощью активного обучения. Активное обучение использовалось в гибридной среде, которая включала лексические правила, машинное обучение и итеративный экспертный ввод для аннотирования эмоций высказываний Хинглиша. Шаги были следующими:

Процесс начинается с набора данных, помеченного вручную. Использование классификатора Random Forest, который был использован для выявления неоднозначных твитов, в отношении которых модель машинного обучения не была уверена. Отправьте эти неоднозначные образцы для категоризации экспертам-людям. Модель неоднократно обновлялась с использованием недавно аннотированных данных, что постепенно повышало точность и уменьшало количество неправильных классификаций. Завершите работу над набором данных и просмотрите аннотации, чтобы убедиться в их точности. Подготовьте набор данных для анализа, убедившись, что он правильно задокументирован и отформатирован для использования в будущем для реализации в последующих случаях. Тем не менее, важно исследовать паттерны эмоций, заложенные в высказываниях, чтобы будущие шаги стали более ясными с точки зрения реализации. Следовательно, на следующем этапе будет выполнен кластерный анализ, чтобы найти доминирующие эмоции, встроенные в набор данных. Это также помогает в определении эмоций, которые мы исследуем.

Подбор кластеров эмоций
В таблице 2 показаны группы эмоций и их эквиваленты в Хинглише, а также причина выбора соответствующих эмоций. Из каждой группы эмоций была выбрана доминирующая эмоция для дальнейшей обработки. Эти доминирующие эмоции отбираются методом кластерного анализа.

Эмоциональная группа	Эквивалент Хинглиша	Обоснование выбора
Страх (включает тревогу и панику)	Дар, хауф, Асахадж, Бекабу, Ангадай, Чинта, Тенион, Фикр, Ашанка, Удааси, Бечайни, Габрахат	Страх является распространенной эмоцией во время войны и конфликтов, когда люди сталкиваются с угрозами своей безопасности и благополучию. Этот страх может проявляться по-разному, например, тревогой, паническими атаками и гипербдительностью.
Гнев (включает раздражение, враждебность, разочарование и обиду)	Гусса, рааг, Пракоп, Раудра, Чидхан, Шатрута, Кродх, Гусса дилана, Апата, Атьячар, Хушфехми, Хайрани, Бхайанак, Чаккер Катинаай	Гнев — еще одна распространенная эмоция во время войны и конфликтов, часто возникающая из-за чувства несправедливости, предательства или потери. Этот гнев может подпитывать агрессию и насилие, способствуя разрушительному характеру этих конфликтов.
Грусть (включает горе, отчаяние и безнадежность)	Удааси, гхам, Шок, Бхавук, Духи, Удас, Висмай, Нираша, Шок, Духи, Вайрагья, Ашанк, Вишада, Бхавук, Духи, Удас, Винамрата, Бхавук, Хридайтода, Бьюмар, Нираша, Винааш, Баир, Нираша, Асамбхав, Хаар	Печаль – это естественная реакция на потерю и горе, которые, к сожалению, являются обычным явлением во время войны и конфликта. Солдаты могут испытывать печаль в связи с потерей товарищей, гражданские лица могут скорбеть об убитых или перемещенных близких, а целые общины могут оплакивать потерю своих домов и образа жизни. Чувства отчаяния и безнадежности также могут возникать из-за затяжного характера конфликта и, казалось бы, бесконечного цикла насилия.
Стыд и вина	Шарм, Ладжабари, Шарм, Лаадж, Зиллат, Афсос, Гунах, Афсос, Пашхатап, Лаадж, Бечайни, Атмасамарпан, Шарминдаги, Ашру, Пашчатап, Антаратма, Касур, Гунаах, Худ ко доши маана, Нинда, Доша	Стыд и вина – это сложные эмоции, которые могут возникать из-за чувства личной или коллективной обиды, неадекватности или унижения. Во время войны и конфликта люди могут испытывать стыд или вину за свои действия, за свою неспособность предотвратить причинение вреда другим или за то, что они выжили, в то время как другие погибли.
Отвращение	Гин, Нафрат, Асахаяк, Пратикул, Грина, Вайрагья, Двеша, Накаратмак, Вибхавсу, Вайрагья, Вайрагья, Нираша	Отвращение — это чувство отвращения или отвращения к чему-то, воспринимаемому как неприятное или оскорбительное. Во время войны и конфликта люди могут испытывать отвращение в ответ на акты жестокости, насилия и варварства.
Сочувствие и сострадание	Сахаанубхути, хамдердари, самаджхдари, даан сахабхути, чуткость, поддержка, внимание, доброта, забота, тепло, нежность, дайя, рахам, сахаанубхути, сахьог, даялу, самаджх, пяр, дайя, нарами, паропкари	Сочувствие и сострадание жизненно важны для понимания и обмена чувствами других людей. Во время войны и конфликта сочувствие может быть мощным инструментом для установления связи с другими людьми, пережившими подобный опыт, воспитания сострадания и содействия примирению. Сострадание может мотивировать людей помогать нуждающимся и вносить свой вклад в усилия по исцелению и восстановлению.
Надежда и благодарность	Умид, Ааша, Чах, Ичха, Сапна, Уннати, Ашвасан, Хуши, Утсаах, Аширвад, Самведаншилата, Вишвас, Бхароса, Шукрагузаар, Эшаанананд, Шукрана, Абхаар, Намрата, Самаанья, Наман, Аашеровад, Бадхай, Дханьяваад, Абхивадн, Манобхав, Бхакти	Надежда – это чувство оптимизма и ожидание того, что, несмотря на вызовы и трудности, с которыми приходится сталкиваться, произойдет что-то хорошее. Благодарность – это чувство благодарности и признательности за хорошие вещи в жизни. Во время войны и конфликта надежда может быть источником силы и мотивации, позволяя людям упорствовать и работать ради лучшего будущего. Благодарность может помочь людям сосредоточиться на положительных аспектах своей жизни, повысить стойкость и взрастить чувство покоя среди неразберихи.
Упругость	Джилаанек, химмат, Сахаси, Сахас, Дхайрия, Маджбути, Самведаншил, Самартхия, Маджбути, Лачари	Жизнестойкость – это способность адаптироваться и справляться с трудными или сложными ситуациями. Во время войн и конфликтов устойчивость имеет важное значение для того, чтобы отдельные люди и сообщества могли выжить и проявить стойкость перед лицом невзгод.

Таблица 2: Обоснование выбора эмоции. Таблица сопоставляет группы эмоций с их эквивалентами в Хинглише и объясняет их актуальность в контексте войн и конфликтов.

Однако следует отметить, что отбор этих эмоций основан не только на кластерном анализе, но и на теориях эмоций, включая теорию когнитивной оценки (CAT), теорию дискретных эмоций (DET) и процессно-ориентированную теорию (POT) эмоций⁴³.

Информация о корпусе
Набор данных состоит из доменных (войны, конфликты и кризисы) и дополнительных наборов данных о твитах, которые содержат смесь твитов на хинди и английском языках. На рисунке 3 представлен снимок общедоступных наборов данных твитов, которые обрабатываются для этой исследовательской работы. Основной набор данных находится в открытом доступе по адресу https://data.mendeley.com/datasets/y63frd6pmf/7.

Рисунок 3: Детали корпуса. Доступность набора данных объясняется здесь. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Аннотация меток эмоций
Первоначальный корпус из 10 040 твитов Хинглиша, связанных с войной и конфликтами, был вручную аннотирован восемью эмоциональными метками двуязычными экспертами. Для решения проблемы лингвистической сложности смешанного текста была разработана структура на основе лексических правил, включающая в себя несколько компонентов. Фреймворк включает в себя словари, специфичные для эмоций, которые сопоставляют термины на хинди/английском языке с эмоциями, такими как fear_words = {Страх, Ужас, Бхайанак, , Террор, } и anger_words = {гусса, ярость, , раздражение, }. Правила межъязыковой эквивалентности связывали термины (например, if (Ae == Ah): anger = gussa | ). Используются лексические правила, такие как словари эмоций, токенизация для смешанных языков и разложение подслов. Для того чтобы аннотировать эмоции, эти правила предварительно обрабатывают текст и извлекают признаки, которые затем объединяются со встроенными функциями^{машинного обучения 45}.

Для токенизации фреймворк использовал пользовательские правила для переключения языка, пунктуации, эмодзи и токенизации подслов. Текст на хинди (деванагари) был токенизирован на уровне символов, в то время как на английском (римском) использовался пробел. Пример: Mujhe frustration hai → [Mujhe, разочарование, хай]. Специальные символы, такие как хэштеги (#) и упоминания (@), были выделены в виде отдельных токенов (например, #WarCrimes → [#, WarCrimes]), в то время как знаки препинания, такие как запятые (,) и восклицательные знаки (!), были разделены на отдельные токены (например, → , !]).

Эмодзи также рассматривались как отдельные токены и сопоставлялись с эмоциями (например, → гневом → грустью). Токенизация подслов выполнена с помощью письма деванагари, в котором составные слова были разделены с использованием шаблонов регулярных выражений для правил Сандхи (например, ] [королевство + мир]), а префиксы/суффиксы латинских алфавитов были сегментированы (например, невероятный → [un, правдоподобный]). Для расширения в зависимости от предметной области токены были заменены метками эмоций, если они совпадают в словарях. Например: Бхаянак → страх, Дахад → страх, гусса → гнев. Tweet Mujhe Bhayanak lag raha hai → Tokens [Mujhe, fear, lag, raha, hai].

После векторизации обработанные токены (слова, подслова, эмодзи) были преобразованы в 300-мерные вложения с помощью Word2Vec/fastText. Числовые представления в столбцовых векторах лексем, матрица векторов, соответствующих лексемам. Каждая строка соответствует вектору внедрения, связанному с лексемой в тексте, представляющему порядок лексемы. Столбцы в строке обозначают размеры в пространстве внедрения. Векторы содержат вещественные числа, вычисленные с помощью Word2Vec и FastText. Лексемы с нулевыми векторами, изображенные строками со всеми нулевыми значениями, могут обозначать пробелы или специальные символы, в которых отсутствует значимая информация в этом представлении. Встраивание направлено на захват контекстуальных отношений слов для улучшения аннотаций. Ненулевые векторы обозначают осмысленные представления слов или символов. Значения в этих векторах кодируют различные семантические и синтаксические особенности. Нулевые векторы обычно представляют отступы, пробелы или нераспознанные лексемы. Вариативность значений отражает богатство признаков, охватываемых моделью внедрения. Различные векторные измерения охватывают различные аспекты значения, контекста и употребления слова. На рисунке 4 показано, как представлены векторы, а на рисунке 5 можно понять последствия использования процесса векторизации.

Рисунок 4: Пользовательская токенизация. На рисунке показано, как векторы представлены в пространстве вложения, и показано, как каждый токен передается в числовой формат Щелкните здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 5: Процесс векторизации токенов и его последствия. На рисунке показано значение этих процессов, компонентов и показано, как эти встраивания улавливают семантику эмоций для точной классификации эмоций. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

В соответствии с исследовательским процессом, процесс начинается с разбора входного текста, расширения лексем с помощью словарей, основанных на правилах, а затем разбивки этих лексем на подслова. Такой подход обеспечивает осмысление эмоционального содержания текста и культурного контекста, а псевдологика исследования приведена ниже.

Инициализируем словари эмоций (например, fear_words = {"Страх", "Ужас", "Бхайанак", ...}): Набор Ae =
SubwordRules(токен, скрипт): Если Devanagari → разделить с помощью регулярного выражения (составной/Sandhi), если Roman → разделить префиксы/суффиксы с помощью регулярного выражения, Вернуть подслова
DomainSpecificExpansion(token): Если токен в эмоциональных/лингвистических словарях → возвращает эмоцию
Else → токен возврата
ProcessTweet(text): Определите регулярное выражение для Devanagari, Roman, других; Извлекать токены с помощью регулярного выражения; Применение DomainSpecificExpansion и SubwordRules к токенам; Возвращает обработанные подслова
Векторизуйте лексемы в числовые вложения
Применяйте активное обучение с обратной связью от человека

Results

Результаты этого исследования свидетельствуют о том, что интеграция лексических правил с машинным обучением и методами активного обучения предлагает жизнеспособный путь для повышения эффективности и точности аннотации эмоций в тексте со смешанным кодом. Благодаря итеративному усовершенствованию и предложениям экспертов, предложенная структура смогла добиться заметного сокращения ручных усилий, сохраняя при этом высокую производительность во всех эволюционных матрицах. Результаты указывают...

Discussion

Набор данных для этого исследования был подобран с использованием комбинации ручного аннотирования и активного обучения. Первоначально 10 040 твитов Hinglish, связанных с войной и конфликтами, были вручную помечены восемью предопределенными эмоциями. Затем набор данных был расширен до 19 000 твитов с использованием полуавтоматического подхода. Активное обучение позволило выборочно вмешаться экспертам, сократив ручную работу на 40% при сохранении высокой точности аннотаций на уровне 81% с F-оценкой 0,76. Лексические прави...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
fastText	ИИ Facebook	Н/Д	Словесное представление и классификация
Google Colab	Гугл	Н/Д	Облачная среда Jupyter Notebook
Google Colab GPU/TPU	Гугл	Н/Д	Аппаратное ускорение на основе облака
Intel Core i5/i7 или AMD Ryzen 5/7	Intel / AMD	Н/Д	Процессор для локального выполнения (при необходимости)
Matplotlib	Открытый исходный код	Н/Д	Библиотека визуализации данных
НЛТК	Открытый исходный код	Н/Д	Набор инструментов для обработки текста на естественном языке
НумПи	Открытый исходный код	Н/Д	Библиотека численных вычислений
NVIDIA GTX 1650 или выше (опционально)	НДВО	Н/Д	GPU для задач глубокого обучения
Панды	Открытый исходный код	Н/Д	Библиотека для работы с данными
Python	Python Software Foundation	Н/Д	Язык программирования для ML и NLP
PyTorch	Мета ИИ	Н/Д	Фреймворк глубокого обучения
Оперативная память (минимум 8 ГБ, рекомендуется 16 ГБ)	Различный	Н/Д	Требования к памяти для задач машинного обучения
Scikit-learn	Открытый исходный код	Н/Д	Библиотека машинного обучения
Сиборн	Открытый исходный код	Н/Д	Визуализация статистических данных
Ошалевшие	Взрывной ИИ	Н/Д	Индустриальная библиотека NLP
SSD-накопитель (минимум 256 ГБ, рекомендуется 512 ГБ)	Различный	Н/Д	Хранилище для обработки наборов данных
ТензорФлоу	Гугл	Н/Д	Фреймворк глубокого обучения