기계 학습 및 어휘 규칙 기반 Hinglish 발화의 비용 효율적인 감정 주석

Summary

이 연구는 규칙 기반 전략과 기계 학습 및 전문가 지원을 결합하여 힝글리시와 영어 텍스트에 주석을 달았습니다. 데이터는 19,000개의 트윗에서 81%의 정확도로 테스트되었으며 수동으로 수행하는 것보다 훨씬 저렴합니다. 위기 상황에서 감정을 추적하는 데 유용할 수 있습니다.

Abstract

Hinglish(힌디어-영어)와 같은 코드 혼합 언어의 감정 주석은 언어적 복잡성과 리소스 제약으로 인해 고유한 문제를 제시합니다. 이 연구는 어휘 규칙, 기계 학습 및 반복적인 전문가 피드백을 결합하여 비용 효율적이고 정확도가 높은 감정 주석을 달성하는 하이브리드 능동적 학습 프레임워크를 소개합니다. 이산 감정 이론 및 인지 평가 이론을 포함한 감정의 심리학 이론에 기반을 둔 이 프레임워크는 이중 언어 감정 사전(예: gussa 및 rage를 분노에 매핑), 복합 용어에 대한 하위 단어 토큰화(예: 분할) 및 능동적 학습을 사용하여 모호한 샘플의 우선 순위를 지정합니다. 19,000개의 전쟁 및 분쟁 관련 Hinglish 트윗 데이터 세트에서 평가한 이 프레임워크는 수동 주석에 비해 운영 비용을 40% 절감하면서 81%의 정확도(F-점수: 0.76)를 달성했습니다. 어휘 규칙은 코드 전환 모호성의 89%를 해결했으며, 반복적인 개선을 통해 정확도를 72%에서 81%로 점진적으로 높일 수 있었습니다. 시스템의 효율성은 이모티콘, 해시태그 및 속어의 자동화된 전처리를 통해 인간의 노력을 데이터 세트의 73%로 제한하는 데서 비롯됩니다. 이 연구는 어휘 규칙 기반 방법을 능동적 학습 및 기계 학습과 통합하면 Hinglish 텍스트에서 감정 주석의 정확성을 향상시키는 동시에 수동 라벨링 및 전반적인 주석 작업을 줄일 수 있다는 가설을 기반으로 합니다.

Introduction

두 개 이상의 언어가 한 줄이나 음성으로 혼합되는 경우를 코드 혼합 언어라고 합니다. Hinglish와 같은 일상적인 대화에서 흔히 볼 수 있습니다. 인간의 감정을 이해할 수 있는 방법은 여러 가지가 있으며, 일련의 감정 진술을 계산적으로 모델링하는 것은 해당 문장을 발화한 사람들이 주석을 달는 것입니다. 생물학적, 생리학적, 심리적 수준 등의 측면에서 이해할 수 있습니다. Roger Penrose와 같은 과학자에 따르면 우리 세계의 많은 현상은 계산되지 않으며 Wolfram과 같은 과학자들은 모든 것(모든 현상)이 계산적으로 모델링될 수 있다고 생각합니다¹. Penrose는 의식이 단계별 알고리즘 절차가 달성할 수 있는 것 이상의 프로세스(아마도 뇌 내의 양자 역학과 관련됨)를 포함한다고 믿습니다. 그는 예를 들어 인간의 수학적 통찰력이^{형식 시스템을 초}월한다는 생각을 뒷받침하기 위해 괴델의 불완전성 정리를 자주 인용합니다2. 의식이 비계산적이라면 의식적 경험의 핵심 측면인 감정도 비계산적 요소를 가질 수 있습니다. Mathematica와 셀룰러 오토마타에 대한 그의 연구로 유명한 Stephen Wolfram은 "계산 동등성의 원리"를 제안합니다. 이는 잠재적으로 우주 자체와 그 안의 현상(예: 감정)을 포함한 매우 복잡한 시스템조차도 궁극적으로 계산 규칙에 의해 설명되고 모델링될 수 있음을 시사합니다. 그러나 실질적으로 이것은 불가능하며 감정 분석을 할 수 있는 전문가 또는 단순히 주석가라고 불리는 사람이 필요합니다³.

이 연구에서 우리는 계산 모델을 구축한다는 아이디어를 전파합니다. 그러나 그 모델은 준 계산이 될 것입니다. 이러한 맥락에서 우리의 연구는 형태상 계산적인 것을 목표로 하지만 모든 측면을 완벽하게 포착하지 못할 수 있으며, 아마도 완전히 계산하기 어렵거나 불가능한 복잡성의 여지를 남길 수 있습니다. 감정은 고정된 알고리즘으로는 완전히 포착할 수 없는 주관적인 경험, 문화적 맥락, 미묘한 표현에 의존하기 때문에 계산적으로 모델링하기 어렵습니다.

따라서 변수 기반 계산 접근 방식을 사용하여 인간의 감정을 모델링하기 위해서는 인간의 감정 발화에 주석을 달아야 합니다. 이 주석은 감정 분석에 능숙한 전문가 또는 주석자가 수행해야 합니다¹. 인간 감정의 복잡성을 이해하는 것은 쉬운 일이 아니며, 특히 혼합 언어를 다룰 때 더욱 그렇습니다. 또한 규모와 관련된 문제는 인간의 수동 주석에만 의존하는 것이 실행 가능한 옵션이 아니라는 것을 의미합니다. 최근 연구에 따르면 이러한 복잡한 작업을 위한 시스템을 구축할 때 휴먼 인 더 루프 접근 방식이 지속적으로 필요하다는 사실이 밝혀졌습니다. 결과적으로, 주석 작성자에게 인간의 뉘앙스가 필요한 작업을 예약하면서 보다 간단한 부분을 자동화하는 반자동 접근 방식이 이 영역에서 자연어 시스템을 개발하는 데 가장 적합한 것으로 보입니다.

물론 인간 주석자는 수동으로 작업을 수행하게 될 것이며 계산 시대에는 현대 과학자들에게 기대되는 것이 아닙니다. 주석자(수동, 반자동 또는 완전 자동)가 발화에 구현된 감정의 유형, 기호로 표현된 여러 유형의 감정으로 구성된 발화, 구어체 또는 코드 혼합 및 여러 양식을 사용하여 지능적으로 추측할 수 있다면 작업은 어렵고 동시에 쉽습니다. Hinglish 발화에서 감정 주석의 복잡성은 표현의 성격에 따라 다릅니다. 친숙한 단어나 이모티콘을 사용하여 감정을 명확하게 전달하면 주석은 비교적 간단합니다. 그러나 발화에 여러 감정, 코드 혼합 또는 모호한 상징적 표현이 포함될 때 작업이 어려워집니다. 따라서 주석은 감정이 얼마나 직접적으로 표현되는지에 따라 쉬울 수도 있고 어려울 수도 있습니다.

감정과 감정을 식별하는 현대적인 접근 방식은 감정의 주관적 특성, 인간 표현의 모호성, 힝글리어와 같은 코드 혼합 언어의 복잡성, 수동 주석의 시간 소모적이고 일관성 없는 특성을 포함하여 이러한 문제를 다룹니다. 계산 모델 구성 및 지루한 주석 작업 관리와 관련이 있습니다. 최근 연구에 따르면 연구자들은 기계 학습, 딥 러닝 및 다양한 하이브리드 접근 방식을 포함하여 이 목표를 위해 다양한 방법을 사용하고 있습니다. 최근 연구에 따르면 이러한 문제를 극복하기 위해 연구자들은 기계 학습, 딥 러닝, 하이브리드 모델 등 다양한 기술을 사용하고 있습니다.

최근 연구에 따르면 연구자들은 머신러닝, 딥러닝³, 하이브리드 접근 방식을 포함한 모든 종류의 접근 방식을 사용하고 있습니다. 감정 분석이라는 용어는 감정의 극성이 인간의 원초적인 감정을 이해하기 위한 지표로 여겨질 때 사용되는 절차를 의미합니다 ^3,4. 이러한 기술의 개발은 기분, 감정, 말, 얼굴 감정 및 비언어적 신호를 인식하는 데 도움이 되었으며 이미 실시간 번역을 허용하는 애플리케이션에 진출했습니다². 다중 모드 접근 방식은 Hinglish를 영어로 번역하는 데 사용될 수 있으며 향후 외딴 사회에서 인도 영화에 더 쉽게 접근할 수 있도록 하는 데 도움이 될 수 있습니다 ^5,6. 예를 들어, 인도에서는 영어가 제2외국어인 경우가 많습니다. 이러한 맥락에서 연구에 따르면 인도 음성(믹스 코드 언어)을 분석하여 각 단어의 표현력 또는 느낌과 감정의 정도를 분석함으로써 영어 교육의 질이 향상되었습니다.

이러한 연구 맥락에서 번역과 함께 혼합 코드 언어를 사용하면 영어 교육의 질이 향상되는 것으로 나타났습니다. 이는 각 단어의 표현력 또는 감정적 원자가를 결정하기 위해 인도 음성(혼합 코드 언어)을 분석함으로써 달성됩니다. 이 연구는 음성 통역에서 컴퓨터를 훈련하기 위해 딥 러닝을 적용함으로써 이미 컴퓨터 음성 분석의 정확도를 향상시켰고 의사소통에 대한 이해를 촉진했습니다 ^4,5. 2001년 인구 조사 결과에 따르면 힌디어와 영어가 혼합된 언어인 힌글리시어는 현재 인도에서 약 1억 2천만 명이 사용하고 있습니다⁶.

학습 알고리즘의 현대 환경에서 능동적 학습은 특히 감정 식별 및 인식 영역에서 대규모 데이터 세트에 주석을 달기 위한 인간의 노력을 크게 줄이는 강력한 도구로 부상했다는 것이 분명합니다. 영향력 있는 주석(적절한 지표 포함)에 선택적으로 주석을 추가하는 이 반복적인 접근 방식은 주석 정확도를 향상시킬 뿐만 아니라 효율성도 향상시킵니다⁵. 이전 연구에서는 더 작은 훈련 데이터 세트로 성능을 유지하거나 개선하고 유익한 인스턴스 선택을 위한 클러스터 분석 기반 방법을 제안하면서 수동 주석 워크로드를 크게 줄이는 데 효과가 있음을 입증했습니다 ^7,8. 힝글리쉬 감정 인식의 특정 맥락에서 연구자들은 딥 러닝 모델과 다중 레이블 주석 데이터 세트 ^9,10,11을 통해 귀중한 기여를 했습니다. 이전 연구^12,13에서는 인간이 레이블을 지정한 데이터에 대한 의존도를 최소화하여 효율성을 더욱 높이고 주석 비용을 줄이기 위해 능동 학습 및 반지도 방법을 도입했습니다. 또한, 능동적 학습은 분류 성능, 특히 다중 레이블 감정 분류¹⁴에서 분류 성능을 향상시키기 위해 많은 프로젝트에서 입증되었습니다.

분류기 성능 향상에 대한 능동적 학습의 효율성은 다양한 기계 학습 응용 프로그램에서 인식되었습니다. 연구^15,16에서는 교육 적용에 중점을 두어 성과를 향상시키는 데 중요한 역할을 강조했습니다. 유사하게, 초기 연구에서는 지원 벡터 머신을 사용한 능동적 학습을 위한 새로운 알고리즘을 도입하여 레이블이 지정된 인스턴스의 필요성을 크게 줄였습니다¹⁷. 또 다른 작업은 텍스트 분류¹⁸과 같은 구조화된 인스턴스와 관련된 작업에서의 적용을 탐구했습니다. 능동적 학습이 감정 인식 작업에 미치는 영향은 효율성 향상을 넘어 특히 사람이 라벨을 붙인 데이터에 대한 의존도를 최소화하는 데 있어 확장됩니다. 한 연구에서는 감정 분류 및 회귀를 위한 다중 작업 프레임워크를 도입하여 단일 작업 방법의 성능을 능가했습니다¹⁰.

또한 연구원¹⁹는 능동적 학습을 사용하여 음성 및 텍스트 감정 인식에 상당한 진전을 이루었으며 개인화된 음악 감정 분류의 효과를 입증했습니다.²⁰. 그러나 감정을 분류하고 라벨링하는 과정은 특히 감정 분석 맥락에서 강조된 바와 같이^21,22 중요한 과제를 제시합니다. 라벨 사용은 특히 나중에 학습한 범주의 경우 감정 분류에 상당한 영향을 미칠 수 있다는 점에 유의하십시오²³. 이러한 문제를 해결하기 위해 키워드 기반 및 학습 기반 방법을 포함한 다양한 알고리즘이 개발되어 주목할만한 정확도를 달성했습니다²⁴. 서면 발화와 텍스트를 기반으로 한 감정에 대한 연구는 수많은 모델에서 탐구되었으며, 접근 방식은 효과적인 감정 감지를 위해 규범적 데이터베이스를 사용하여 차원 모델을 구현했습니다²⁵. 또 다른 연구⁽²⁶)에서는 인지 감정 모델이 사회적 감정 원인 식별에 사용되는 순차적 방법을 향상시켰습니다. 저자는 OCC 감정 모델에 대한 전산적 언어학적 해석을 제공했으며, 유사한 연구²⁷에서는 단어 의존성 관계와 감정을 표현하기 위해 온톨로지를 활용하는 시스템을 제안했습니다. 한 연구의 저자²⁸감정적 워드 프로세싱과 관련된 신호에 대해 논의하여 서면 언어로 감정을 표현하는 뇌의 적응을 강조했습니다. 다중 모델 데이터의 주석을 포함하여 원시 감정의 여러 배열에 주석을 추가하는 것은 어렵습니다. 그럼에도 불구하고 전쟁과 분쟁과 관련된 감정을 조사하는 것은 극한 상황에서 인간의 정신을 과학적이고 체계적으로 들여다볼 수 있는 창을 제공하여 개인과 공동체가 트라우마, 상실 및 불확실성에 어떻게 대처하는지 더 잘 이해할 수 있게 해줍니다⁵. 또 다른 연구에서는 주석 기술이 장르 분류를 효과적으로 향상시켰으며 제목 기능이 프로세스에서 중요한 역할을 하는 것으로 나타났습니다²⁹. 한 연구에서는 전문가와 GPT-4V를 사용하여 44K 비전 터치 데이터 세트를 생성하여 텍스트 생성을 위한 촉각 인코더와 TVL 모델을 훈련했습니다³⁰. 또 다른 연구에서는 정치인에 대한 프랑스어 트윗에 자동으로 주석을 달기 위한 능동적 학습 과정에 초점을 맞춰 정치 트윗에 대한 의견 및 트렌드 마이닝을 조사했습니다⁴¹. 또 다른 연구에서는 데이터 스트림의 동적 적응형 중앙 분석을 위해 설계된 클라우드 기반 과학 워크플로 플랫폼인 CloudFlows를 소개했습니다. 능동적 학습을 통해 감정 분류를 개선하여 알고리즘이 실시간 데이터의 변화에 적응할 수 있습니다⁽⁴²).

인간 감정의 복잡성과 자동화된 감정 분석에 대한 욕구 사이에는 분명한 긴장이 있습니다. 인간 감정의 복잡성과 자동화된 감정 분석의 목적 사이에는 내재된 긴장이 존재합니다. 대부분의 현대 작업은 수동 주석의 한계를 인정하고 다양한 형태의 의사소통에서 감정을 이해하는 문제를 해결하기 위한 정교한 계산 방법의 필요성을 강조합니다. 이 이상적인 시나리오는 대체로 비실용적이며, 즉, 문장을 쓰거나 말한 사람들로부터 주석을 받는 것입니다⁴³. 데이터를 얻는 이상적인 시나리오, 특히 문장을 쓰거나 말한 개인으로부터 직접 주석을 얻는 것은 대체로 비실용적입니다. 이러한 비실용성은 이러한 개인화된 주석을 대규모로 수집하고 처리하는 것이 불가능하기 때문에 발생합니다. 따라서 현재의 노력은 텍스트에 표현된 감정을 분석하고 라벨링하기 위해 전문 주석 작성자나 자동화된 감정 감지 알고리즘에 의존해야 합니다. 이 연구 작업에서 우리는 이러한 영역 문제의 일부 측면을 극복하려고 시도했습니다. 이 문제 영역의 주요 기여는⁴⁴ 아래에 제시됩니다.

따라서 우리는 텍스트에 표현된 감정을 분석하고 라벨링하기 위해 전문가나 주석 작성자와 감정 감지 알고리즘에 의존해야 합니다. 이러한 개인화된 주석을 대규모로 수집하고 처리하는 것은 불가능합니다. 따라서 이 연구 작업에서 우리는 이 도메인 지식의 일부 측면을 극복하려고 시도했습니다. 다음은 이 문제 영역의 주요 기여입니다.

이 프레임워크는 감정 태깅, 코드 믹스 감지, 이모티콘 해석과 같은 규칙 기반 방법과 함께 랜덤 포레스트 및 단어 임베딩과 같은 기계 학습 기술과 함께 작동하여 수동 작업을 줄이면서 주석 정확도를 향상시킵니다. 분류기의 반복 학습은 능동적 학습과 전이 학습을 사용하여 모호한 특징 샘플의 우선 순위를 지정하여 힘든 노동의 필요성을 줄입니다. 이 접근 방식은 하드 수동 라벨링에 비해 운영 비용을 40% 절감했습니다.

Hinglish의 뉘앙스를 세분화된 수준에서 처리하기 위해 맞춤형 상황에 맞는 토큰화 방법이 개발되었습니다. 이 접근 방식은 언어 전환, 구두점, 이모티콘 및 하위 단어 분할을 고려하여 코드 혼합 텍스트를 처리하여 힌디어-영어 혼합 텍스트에서 보다 정확한 감정 주석을 가능하게 합니다. 세분화된 수준에서 우리는 힝글리쉬 텍스트에 대한 맞춤형 상황에 맞는 토큰화를 개발했습니다. 이 프레임워크는 이중 언어 감정 사전, 하위 단어 토큰화 및 사용자 정의 상황에 맞는 토큰화를 통합하여 코드 혼합 텍스트의 복잡성을 해결합니다. 어휘 규칙은 코드 전환 모호성의 89%를 해결했습니다.

우리의 연구는 이산 감정 이론 및 인지 평가 이론과 같은 감정에 대한 확립된 심리학 이론에 기반을 두고 있습니다. 이 연구는 위기 대응 및 소셜 미디어 모니터링을 위한 접근 방식의 확장성을 입증하여 리소스가 적은 다국어 NLP 애플리케이션을 위한 청사진을 제공합니다.

표 1은 동일한 문제 영역에 대해 사용 가능한 연구를 설명합니다. 문헌 조사와 표로 작성된 요약을 통해 대부분의 연구는 수동 방법을 사용하여 주석에 대한 초기 작업을 피할 수 없음을 유추할 수 있습니다. 반자동 접근 방식을 따르는 연구자는 거의 없습니다⁴¹. 그러나 성능의 실제 차이는 주석 프로세스를 자동화할 수 있는 효과적인 학습 모델을 사용하는 데서 비롯됩니다. 트윗의 감정적 내용은 인간의 감정 경로와 감정 구성을 설명하는 이론과 일치해야 합니다. 다음 섹션에서는 기존 접근 방식의 한계와 논문의 실증적 결과를 기반으로 문제를 정의합니다.

공부	데이터 세트	감정	방법	도메인	라벨링 프로세스	간격			미래 범위
[31]	9,000,000 트윗	긴장, 우울, 분노, 활력, 피로,	기분 상태의 혼란 프로필	영어	라벨링 없음	이 연구는 놀라움, 기쁨, 두려움과 같은 미묘한 감정적 차이를 간과하여 감정 라벨링이 특히 사회경제적 사건과 관련하여 감정 추세의 해석 가능성과 세분성을 향상시킬 수 있음을 시사합니다.			자동화된 분류 방법과 잘 확립된 감정 분류법을 활용하여 소셜 미디어 데이터에서 다양한 감정 표현을 더 잘 포착하고 조사하는 방법을 조사할 수 있습니다.
[32]	7000 트윗	분노, 혐오, 두려움, 기쁨, 사랑, 슬픔,	서포트 벡터 머신	영어	수동	데이터 세트의 일반화 가능성은 주제 특이성과 전반적인 트위터 사용에 대한 대표성 부족으로 인해 제한적입니다.  적당한 주석자 간 합의로 표시되는 주관적인 해석과 최소한의 맥락으로 인해 짧고 캐주얼한 트윗에서 감정에 주석을 달기는 것은 어렵습니다.			향후 작업은 주제별 언어 스타일과 감정별 언어 스타일 간의 구별을 통합하여 다양한 트윗 맥락에서 보다 정확한 분류를 가능하게 하여 향상된 감정 감지 모델을 개발하는 데 중점을 둘 것입니다.
[33]	21,000 트윗	분노, 혐오감, 두려움, 기쁨, 슬픔, 놀라움	서포트 벡터 머신	------	해시태그 사용	기존의 감정 레이블 말뭉치는 크기와 영역이 제한되어 있으며 마이크로블로그를 위한 크고 다양한 데이터 세트가 부족합니다. 트윗은 짧고 시끄럽고 문맥이 제한되어 있어 정확한 감정 감지 및 주석 작성이 어렵습니다.			향후 작업 연구에는 적용 범위와 감지 정확도를 향상시키기 위해 동의어와 추가 해시태그로 감정 어휘를 확장하는 것이 포함될 수 있습니다.
[34]	16485 트윗	분노, 혐오감, 두려움, 기쁨, 슬픔, 놀라움	서포트 벡터 회귀 분석	중국어	수동	전통적인 감정 분류 방법은 종종 감정의 근본 원인을 간과하여 특징 품질을 제한합니다. 짧고 비공식적인 마이크로블로그 게시물에서 감정 원인을 정확하게 추출하려면 강력한 규칙 기반 시스템과 도메인 지식이 필요합니다.			감정 원인 분석에 대한 추가 탐구는 감정 감지 모델을 향상시키고 텍스트 감정 이해의 새로운 방향을 열 수 있습니다.
[35]	10,040 트윗	두려움, 희망, 기쁨, 분노, 놀라움, 슬픔, 혐오	LDA, 평가자 간 계약	힝글리시어	수동	Hinglish에 대해 공개적으로 사용 가능한 구조화된 데이터 세트, 특히 위기 관련 콘텐츠에서 실용적이고 감정적인 뉘앙스를 포착하는 데이터 세트가 부족합니다. 힝글리시는 비표준 코드 혼합 언어이며 지역적 차이로 인해 정확한 감정 분석 및 주석이 복잡해집니다.			다중 모드 데이터 세트를 확장하려면 심층적인 실용론적 분석을 기계 학습 모델과 통합하고 갈등 담론에서 실시간 감정 추적을 위한 확장성을 해결하세요.
[36]	134,000개의 트윗	활동적인, 비활동적인, 행복한, 불행한,	서포트 벡터 머신 및 K-최근접 이웃	힝글리시어	해시태그 사용	트윗의 수동 감정 라벨링은 노동 집약적이고 일관성이 없어 대규모 감정 분류 노력을 제한합니다 크라우드소싱 주석은 특히 감정 각성 수준을 식별하는 데 있어 신뢰성이 부족하여 감정 해석의 주관성을 강조합니다.			해시태그 기반 라벨링을 개선하고 감정 감지 모델을 확장하여 다양한 감정적 맥락에서 정확성과 일반화 가능성을 향상시키는 데 중점을 둡니다.
[37]	37개국 학생, 심리학자 및 비심리학자 3,000명	기쁨, 두려움, 분노, 슬픔, 혐오감, 수치심, 죄책감.	--	-----	수동	문화적 요인이 다양한 사회에서 특정 감정의 규제와 표현에 어떤 영향을 미치는지에 대한 제한된 탐구. 보편적인 감정 패턴에 대한 증거와 감정 도출 및 해석의 문화적으로 특정한 변화의 균형을 맞추는 것은 여전히 복잡합니다.			추가 연구는 정서적 경험과 의사소통을 형성하는 데 있어 생물학적 보편성과 문화적 맥락 사이의 상호 작용을 조사해야 합니다
[38]	12000	행복, 슬픔, 분노	평가자 간 계약	힌디어+영어	수동	현재 연구에는 힝글리쉬 감정 감지를 위한 포괄적인 주석 데이터 세트와 표준화된 모델이 부족합니다. 소셜 미디어 텍스트의 불규칙한 문법과 코드가 혼합된 특성으로 인해 정확한 감정 분류가 어렵습니다.			향후 작업은 감정 범주를 확장하고 더 큰 다국어 코드 혼합 데이터 세트를 개발하는 데 중점을 둘 것입니다.
[39]	2866	행복, 슬픔, 분노, 놀라움, 슬픔	서포트 벡터 머신	힌글리시(힌디어+영어)	수동	감정 주석이 달린 코드 혼합 데이터 세트가 부족합니다.  코드 혼합 텍스트의 감정 표현은 언어와 스크립트에 따라 다르기 때문에 주석과 분류가 복잡합니다.			향후 작업은 더 많은 감정적 다양성을 포함하고, 품사 태깅을 통합하고, 다국어 코드 혼합 콘텐츠를 탐색하도록 말뭉치를 확장할 수 있습니다.
[40]	13738	---	기계 번역 구글 번역기	힝글리시어	수동	기존 기계 번역 시스템은 대규모 도메인별 병렬 말뭉치가 없기 때문에 코드가 혼합된 소셜 미디어 데이터에 대한 정확성이 부족합니다. 높은 철자 변형, 비공식적 구조 및 언어 식별의 모호성으로 인해 로마자 표기된 힌디어-영어 텍스트의 번역이 복잡해집니다.			말뭉치는 코드 혼합 번역 시스템의 개발을 지원할 수 있으며 다른 리소스가 적은 언어 및 명명된 엔터티 인식과 같은 NLP 작업으로 확장될 수 있습니다
[41]	11527	긍정적인, 매우 긍정적 및 부정적인, 매우 부정적인	kNN 기반 분류, BOW 표현	프랑스 정치인	수동	영어가 아닌 언어로 된 정치적 의견 마이닝을 위한 고품질 주석이 달린 데이터 세트의 가용성이 제한적입니다. 주석 노이즈 감소와 정보 보존의 균형을 맞추고 대규모 트윗 데이터 세트에서 고르지 않은 레이블 분포를 처리하는 것이 주요 어려움입니다.			향후 작업은 다국어 정치 담론에서 주석 노이즈를 최소화하면서 중요한 콘텐츠를 더 잘 보존하기 위해 능동적 학습 방법을 개선할 수 있습니다.
[42]	764,416	---	Kmeans 클러스터링, SVM	영어	반감독	감정 분석에서 실시간 레이블 지정 및 모델 업데이트는 데이터 스트림 변동성, 레이블 지정 비용 및 시스템 확장성에 의해 제한됩니다.			향후 작업에서는 다중 클래스 감정 분류를 탐색하고, 추가 라벨링 전략을 통합하고, 초기 모델 생성에 대한 제어를 확장할 것입니다

표 1: 해당 라벨링 방법을 사용한 사용 가능한 연구. 이 표는 기존 연구에 대한 완전한 비교 개요를 제공하여 감정 주석을 다루고 방법론적 환경을 설정하며 기존 문헌 내에서 현재 작업의 기여도를 개념화합니다.

문제 설명
주석에서 가장 자주 연구되는 감정은 Ekman 및 Plutchik과 같은 기본 심리학적 모델의 영향을 많이 받으며, 주로 분노, 두려움, 행복, 슬픔, 놀라움 등과 같은 핵심 범주에 초점을 맞춥니다⁴⁴ . 따라서 이번 연구에서는 감정에 대한 잘 확립된 의미에 대해 연구하고자 합니다. 과제는 사전 정의된 집합 E = {e₁, e₂, ..., e₈}의 감정 레이블(ei)과 전쟁 및 갈등에 초점을 맞춘 말뭉치 T의 Hinglish 텍스트 인스턴스(ti)에 정확하게 주석을 달 수 있는 동적 계산 프레임워크 F를 개발하는 것입니다. 이 프레임워크는 갈등 관련 담론의 다면적인 감정 환경을 모델링하기 위해 감정 구성주의 이론, 정서적 사건 이론(AET), 이산 감정 이론 및 인지 평가 이론의 원칙을 종합해야 합니다. T의 각 텍스트 인스턴스는 힌디어(로마 문자), 영어, 이모티콘 및 기호를 혼합하여 언어적으로 복잡하므로 미묘한 감정 표현을 포착하기 위한 다층적인 접근 방식이 필요합니다.

전쟁과 관련된 감정의 계산 모델(사례 연구)에는 힌글리어 기반 뉘앙스를 다루는 어휘 규칙부터 시작하여 다각적인 접근 방식이 포함될 수 있습니다. T로 표시되는 토큰화는 로마자 문자(로마 문자로 작성된 힌디어)와 이모티콘 및 구두점을 포함하여 언어 처리의 기초를 형성합니다. D로 표시되는 감정 사전은 언어 간 단어를 분노, 기쁨 등과 같은 특정 감정에 매핑하며, 각 emotion_i는 language_k words_j 연관시킵니다. 하위 단어 분해 S는 복합 용어를 구성 하위 단어로 분해하여 복잡한 표현을 더 깊이 이해할 수 있도록 합니다. 그 후, 기계 학습 기술인 M은 Word2Vec/fastText와 같은 임베딩인 E를 활용하여 토큰을 벡터 표현으로 변환하여 수치 분석을 용이하게 vector_v합니다. Random Forest와 같은 앙상블 분류기 C는 이러한 벡터 집합에서 감정 레이블 emotion_label_p를 예측합니다. 주석 학습 모델을 반복적으로 개선하기 위해 능동 학습 메커니즘인 AL이 사용됩니다. 전문가 피드백 F는 refined_label_r를 할당하여 모호한 사례를 ambiguous_sample_q개선하고 중요한 수정 사항을 제공합니다. 샘플 우선 순위 지정, P는 신뢰도가 낮은 샘플에 초점을 맞추고 low_confidence_sample_s annotation_priority_t 할당하여 주석 프로세스를 최적화합니다.

이러한 구성 요소와 이론을 통합함으로써 이 프레임워크는 힌글리쉬 텍스트를 동적으로 처리하고, 언어적, 문화적 뉘앙스를 연결하고, 감정 주석을 적응적으로 개선하여 갈등 담론의 정서적 차원을 분석하기 위한 확장 가능한 솔루션을 제공하는 것을 목표로 합니다.

Protocol

이 섹션에서는 8가지 감정 주석을 위한 다중 모드 프레임워크가 어떻게 구성되었는지 설명합니다. 이 섹션은 데이터 세트의 속성에 대한 논의로 시작하여 후속 절차가 이어집니다. 연구 절차에 대한 더 나은 이해는 그림 1을 참조하십시오.

그림 1: 감정 주석의 체계적인 프레임워크. 그림은 효과적인 감정, 기계 학습, 능동적 학습 및 전문가 입력을 통한 동적 어휘 규칙을 결합한 힌글리쉬 텍스트의 주석을 설명하며, 잘못 분류된 예는 정확도를 높이고 주석 비용을 낮추기 위해 점진적으로 개선됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

데이터 세트 준비
데이터 수집은 전쟁 분쟁 및 관련 감정과 관련된 키워드 및 해시태그의 포괄적인 목록을 식별하는 것으로 시작됩니다. 학술 문헌, 뉴스 기사, 소셜 미디어 동향과 같은 리소스를 사용하여 관련 목록과 기존 목록을 작성했습니다.

그림 1에 따르면 트윗 수집 및 데이터 전처리가 완료된 후 인간 전문가는 수동 레이블 지정에 참여하고 주석 프로세스를 개선하기 위해 통합해야 하는 어휘 규칙을 만듭니다. 이러한 키워드(분쟁, 전쟁, 위기, 구사 등)를 사용하여 10,040개의 트윗으로 구성된 초기 데이터 세트를 수집하여 각 트윗에 미리 정의된 8가지 감정(분노, 두려움, 행복, 슬픔, 좌절, 연민, 혼합, 기타 전쟁 및 분쟁 영역과 관련된 감정)이 주석을 달았습니다. 수동 라벨링 프로세스는 힌디어와 영어에 능숙한 전문가 팀에 의해 수행되어 영어의 뉘앙스를 정확하게 포착했습니다.

예제 처리는 아래에 설명되어 있습니다.

토큰화 및 전처리:
입력 트윗: "Mujhe Bhayanak lag raha hai "
토큰화된 출력: ["Mujhe", "Bhayanak", "lag", "raha", "hai", """]
로마자 처리: 힌디어 단어("Mujhe", "Bhayanak")는 로마자 문자로 유지됩니다.
이모티콘/기호 감지: ""는 기호 토큰으로 분리됩니다.

감정 사전 매핑(D):
이중 언어(힌디어/영어) 감정 어휘를 사용하여 E의 감정에 토큰을 매핑합니다: "Bhayanak"("끔찍한"을 뜻하는 힌디어) → Fear; "lag raha hai"(지속적인 감정을 암시하는 문맥적 문구) → 두려움; "" 분노→

하위 단어 분해(S):
심층 분석을 위해 복잡한 용어를 분해합니다: "Bhayanak" → ["Bhay"(두려움), "anak"(접미사)]을 사용하여 두려움의 의미론적 뿌리를 명확히 합니다.

임베딩 생성(E):
Word2Vec/fastText를 사용하여 토큰 임베딩 생성: 벡터 v₁, v₂, v₃, v₄, v₅, v₆ → ["Mujhe", "Bhayanak", "lag", "raha", "hai", ""]에 대한 임베딩.
집계 규칙: 전역 의미 벡터를 생성하기 위한 평균 토큰 임베딩:
V_avg = (v₁ + v₂ + v₃ + v₄ + v₅ + v₆) / 6

규칙 기반 특징 추출:
연결을 위한 보조 기능을 추출합니다. 감정 태그 수: 두려움: 2회("Bhayanak", "lag raha hai"); 분노: 1개의 인스턴스("").
코드 스위치 플래그: 바이너리 플래그 = 1(힌디어 및 영어 혼합 토큰: "Mujhe" [힌디어], "lag", "raha", "hai" [힌디어 파생]).

기능 융합:
집계된 임베딩과 규칙 기반 기능을 통합 입력 벡터로 결합: 전역 의미 체계 벡터=V_avg(평균 임베딩), 감정 수=[두려움: 2, 분노: 1, 기타: 0], 코드 스위치 플래그=1
연결 규칙 최종 입력 벡터 = V_avg [두려움: 2, 분노: 1, 기타: 0] [1]
기계 학습 알고리즘은 이 최종 벡터를 처리하고 주석 개선의 반복 프로세스가 시작됩니다. 다음 섹션에서는 이를 위해 채택된 능동 학습 방법의 성능에 대해 설명합니다.

그 후 데이터 세트는 19,000개의 트윗으로 확장되었습니다. 이 데이터 세트는 초기 수동 주석에서 얻은 통찰력을 활용하여 자동화 및 반자동 기술을 조합하여 선별되었습니다. 확장된 데이터 세트는 반복적인 학습 프로세스를 통해 더욱 개선되었으며, 전문가 주석 및 도메인 전문가의 피드백을 위해 모호한 데이터/트윗을 선택적으로 식별하고 우선 순위를 지정하여 주석의 정확성, 일관성 및 효율성을 개선하는 작업이 포함되었습니다. 데이터 수집 과정 전반에 걸쳐 다양한 감정 간의 균형을 유지하는 데 특별한 주의를 기울여 데이터 세트가 전쟁과 갈등에 대해 표현된 다양한 감정을 대표하도록 했습니다. 결과 데이터 세트는 힌글리쉬 텍스트를 분석하는 데 유용한 리소스입니다. 더 잘 이해하기 위해 그림 2 를 참조할 수 있습니다.

그림 2: 데이터 세트 수집 절차. 이 그림은 시드 단어 식별에서 수동 레이블 지정, 능동적 학습, 최종 주석이 달린 데이터 세트에 이르는 데이터 세트 개발을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

데이터 세트의 최종 준비는 능동적 학습의 도움으로 반복적인 개선 프로세스를 완료한 후에 수행됩니다. 능동적 학습은 어휘 규칙, 기계 학습 및 반복적인 전문가 입력을 포함하는 하이브리드 프레임워크에서 사용되어 힝글리쉬 발화의 감정에 주석을 달았습니다. 단계는 다음과 같습니다.

이 프로세스는 수동으로 레이블이 지정된 데이터 세트로 시작됩니다. 기계 학습 모델이 불확실한 모호한 트윗을 식별하는 데 사용된 랜덤 포레스트 분류기를 사용합니다. 분류를 위해 이러한 모호한 샘플을 인간 전문가에게 보냅니다. 모델은 최근 주석이 달린 데이터를 사용하여 반복적으로 업데이트되어 점차 정확도가 향상되고 오분류가 줄어들었습니다. 데이터 세트를 마무리하고 주석을 검토하여 정확성을 확인합니다. 분석을 위해 데이터 세트를 준비하여 나중에 다운스트림 사례에서 구현하기 위해 사용할 수 있도록 적절하게 문서화되고 형식이 지정되었는지 확인합니다. 그러나 구현 측면에서 향후 단계가 더 명확해지도록 발화에 포함된 감정의 패턴을 조사하는 것이 중요합니다. 따라서 다음 단계에서는 데이터 세트에 포함된 지배적인 감정을 찾기 위해 클러스터 분석을 수행합니다. 이것은 또한 우리가 연구하고 있는 감정을 식별하는 데 도움이 됩니다.

감정 클러스터 선택
표 2는 감정 그룹과 이에 상응하는 힌글리쉬 그룹과 각 감정을 선택하는 이유를 보여줍니다. 각 감정 그룹에서 추가 처리를 위해 지배적인 감정이 선택되었습니다. 이러한 지배적인 감정은 클러스터 분석에서 선택됩니다.

감정 그룹	Hinglish 등가	선택의 정당성
두려움(불안과 공황 포함)	다르, 카우프, 아사하즈, 베카부, 앙가다이, 친타, 긴장, 피크르, 아샨카, 우다시, 베차니, 가브라하트	두려움은 개인이 자신의 안전과 복지에 대한 위협에 직면하기 때문에 전쟁과 분쟁에서 흔히 볼 수 있는 감정입니다. 이러한 두려움은 불안, 공황 발작, 과잉 경계 등 다양한 방식으로 나타날 수 있습니다.
분노(짜증, 적대감, 좌절, 상처 포함)	구사, 라그, 프라콥, 라우드라, 치단, 샤트루타, 크로드, 구사 딜라나, 아파타, 아티야차르, 쿠쉬페미, 하이라니, 바야낙, 차커 카티나아이	분노는 전쟁과 갈등에서 널리 퍼져 있는 또 다른 감정으로, 종종 불의, 배신감 또는 상실감에서 발생합니다. 이러한 분노는 공격성과 폭력을 부추겨 이러한 갈등의 파괴적인 성격에 기여할 수 있습니다.
슬픔(슬픔, 절망, 절망 포함)	우다시, 감, 쇼크, 바부크, 두키, 우다스, 비스메이, 니라샤, 쇼크, 두키, 바이라갸, 아샨크, 비샤다, 바부크, 두키, 우다스, 비남라타, 바부크, 흐리다토다, 베우마르, 니라샤, 비나아시, 바이어, 니라샤, 아삼바브, 하르	슬픔은 상실과 슬픔에 대한 자연스러운 반응이며, 불행히도 전쟁과 분쟁에서 흔히 경험하는 것입니다. 군인들은 전우를 잃은 슬픔을 겪을 수 있고, 민간인들은 사랑하는 사람이 죽거나 실향민이 된 것에 대해 슬퍼할 수 있으며, 지역 사회 전체가 집과 삶의 방식을 잃은 슬픔을 느낄 수 있습니다. 절망과 절망감은 갈등의 장기간과 끝이 없어 보이는 폭력의 순환으로 인해 발생할 수도 있습니다.
수치심과 죄책감	샤름, 라자바리, 샤름, 라즈, 질랏, 아프소스, 구나, 아프소스, 파슈차탑, 라즈, 베체니, 아트마사마르판, 샤르민다기, 아슈루, 파슈차탑, 안타라트마, 카수르, 구나, 쿠드 코 도시 마아나, 닌다, 도샤	수치심과 죄책감은 개인적 또는 집단적 잘못, 부적절함 또는 굴욕감에서 발생할 수 있는 복잡한 감정입니다. 전쟁과 분쟁에서 개인은 자신의 행동, 다른 사람에게 해를 끼치는 것을 막을 수 없음, 다른 사람이 죽은 동안 생존에 대해 수치심이나 죄책감을 경험할 수 있습니다.
혐오	Ghin, nafrat, Asahayak, Pratikool, Ghrina, Vairagya, Dvesha, Nakaratmak, Vibhavsu, Vairagya, Vairagya, Nirasha	Disgust는 불쾌하거나 불쾌한 것으로 인식되는 것에 대한 혐오감이나 혐오감입니다. 전쟁과 분쟁에서 개인은 잔인함, 폭력, 야만적인 행위에 대한 반응으로 혐오감을 경험할 수 있습니다.
공감과 연민	Sahaaanubhuti, hamderdari, Samajhdari, Daan Sahabhooti, 감수성, 지지, 배려, 친절, 배려, 따뜻함, 부드러움, 다야, 라함, 사하아누부티, 사히옥, 다얄루, 사마즈, 피아르, 다야, 나라미, 파롭카리	공감과 연민은 다른 사람의 감정을 이해하고 공유하는 데 필수적입니다. 전쟁과 분쟁에서 공감은 비슷한 경험을 겪은 다른 사람들과 연결하고, 연민을 키우고, 화해를 촉진하는 강력한 도구가 될 수 있습니다. 연민은 개인이 도움이 필요한 사람들을 돕고 치유 및 재건 노력에 기여하도록 동기를 부여할 수 있습니다.
희망과 감사	우메드, 아샤, 차, 이차, 사프나, 운나티, 아쉬바산, 쿠시, 우차, 아시르와드, 삼베단쉴라타, 비슈와스, 바라사, 슈크라구자르, 에샤나난드, 슈크라나, 아브하르, 남라타, 사마냐, 나만, 아셰레와드, 바다이, 단야바드, 아비바돈, 마노바브, 박티	희망은 직면한 도전과 어려움에도 불구하고 좋은 일이 일어날 것이라는 낙관주의와 기대의 감정입니다. 감사는 인생의 좋은 것들에 대한 감사와 감사의 감정입니다. 전쟁과 분쟁에서 희망은 힘과 동기의 원천이 될 수 있으며, 개인이 인내하고 더 나은 미래를 향해 노력할 수 있게 해줍니다. 감사는 개인이 삶의 긍정적인 측면에 집중하고, 회복력을 키우고, 혼란 속에서도 평화로움을 키우는 데 도움이 될 수 있습니다.
탄성	Jheelaanek, himmat, Sahasi, Sahas, Dhairya, Majbooti, Samvedansheel, Samarthya, Majbuti, Lachari	회복력은 어렵거나 도전적인 상황에 적응하고 대처하는 능력입니다. 전쟁과 분쟁에서 회복력은 개인과 지역 사회가 역경에 직면하여 생존하고 인내하는 데 필수적입니다.

표 2: 감정 선택의 정당성. 이 표는 감정 그룹을 힌글리어에 해당하는 감정 그룹에 매핑하고 전쟁과 갈등의 맥락에서 이들의 관련성을 설명합니다.

그러나 이러한 감정의 선택은 군집 분석뿐만 아니라 인지 평가 이론(CAT), 이산 감정 이론(DET), 감정의 과정 지향 이론(POT) 등 감정 이론에 기반을 두고 있다는 점에 유의해야 합니다⁴³.

말뭉치 세부 정보
데이터 세트는 도메인별(전쟁, 분쟁 및 위기)과 힌디어와 영어 트윗이 혼합된 추가 트윗 데이터 세트로 구성됩니다. 그림 3 은 이 연구 작업을 위해 처리되는 공개적으로 사용 가능한 트윗 데이터 세트의 스냅샷입니다. 기본 데이터 세트는 https://data.mendeley.com/datasets/y63frd6pmf/7 에서 공개적으로 사용할 수 있습니다.

그림 3: 말뭉치 세부 정보. 데이터 세트의 가용성은 여기에 설명되어 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

감정 레이블 주석
전쟁 및 분쟁과 관련된 10,040개의 힝글리쉬 트윗으로 구성된 초기 말뭉치에는 이중 언어 전문가가 8개의 감정 레이블을 수동으로 주석을 달았습니다. 코드 혼합 텍스트의 언어적 복잡성을 해결하기 위해 여러 구성 요소를 통합한 어휘 규칙 기반 프레임워크가 개발되었습니다. 이 프레임워크에는 힌디어/영어 용어를 감정에 매핑하는 감정별 사전이 포함되어 있습니다(예: fear_words = {Fear, Dread, Bhayanak, , Terror, } 및 anger_words = {gussa, rage, , irritation, }). 언어 간 동등성 규칙은 용어를 연결했습니다(예: if (Ae == Ah): anger = gussa | ). 감정 사전, 혼합 언어에 대한 토큰화 및 하위 단어 분해와 같은 어휘 규칙이 사용됩니다. 감정에 주석을 달기 위해, 이러한 규칙은 텍스트를 전처리하고 특징을 추출한 다음, 기계 학습 임베딩⁽⁴⁵)과 결합된다.

토큰화의 경우 프레임워크는 언어 전환, 구두점, 이모티콘 및 하위 단어 토큰화에 대한 사용자 정의 규칙을 활용했습니다. 힌디어(데바나가리) 텍스트는 문자 수준에서 토큰화되었고 영어(로마자)는 공백을 사용했습니다. 예: Mujhe 좌절 hai → [Mujhe, 좌절, hai]. 해시태그(#) 및 멘션(@)과 같은 특수 문자는 개별 토큰(예: #WarCrimes → [#, WarCrimes])으로 분리되었으며, 쉼표(,) 및 느낌표(!)와 같은 구두점은 별도의 토큰(예: → , !])으로 분할되었습니다.

이모티콘은 또한 독립형 토큰으로 취급되어 감정(예: 분노 →, 슬픔 →)에 매핑되었습니다. Sandhi 규칙에 대한 정규식 패턴(예 : ] [왕국 + 세계])을 사용하여 복합어를 분할하고 로마자 접두사/접미사를 분할하는 데바나가리 스크립트로 수행된 하위 단어 토큰화(예: 믿 을 수 없는 → [un, believable]). 도메인별 확장의 경우 사전에서 일치하는 경우 토큰이 감정 레이블로 대체되었습니다. 예를 들어: Bhayanak 은 두려움→, Dahad"는 두려움, gussa → 분노→. 트윗 Mujhe Bhayanak lag raha hai → 토큰 [Mujhe, fear, lag, raha, hai].

벡터화 후 처리된 토큰(단어, 하위 단어, 이모티콘)은 Word2Vec/fastText를 사용하여 300차원 임베딩으로 변환되었습니다. 토큰의 열 벡터의 수치 표현, 토큰에 해당하는 벡터의 행렬. 각 행은 토큰의 순서를 나타내는 텍스트의 토큰과 연결된 임베딩 벡터에 해당합니다. 행의 열은 임베딩 공간의 차원을 나타냅니다. 벡터에는 Word2Vec 및 FastText를 사용하여 계산된 실수가 포함되어 있습니다. 값이 모두 0인 행으로 표시되는 벡터가 0인 토큰은 이 표현에서 의미 있는 정보가 부족한 공백 또는 특수 문자를 나타낼 수 있습니다. 임베딩은 향상된 주석을 위해 문맥적 단어 관계를 캡처하는 것을 목표로 합니다. 0이 아닌 벡터는 단어 또는 기호의 의미 있는 표현을 나타냅니다. 이러한 벡터의 값은 다양한 의미론적 및 구문적 특징을 인코딩합니다. 0 벡터는 일반적으로 패딩, 공백 또는 인식할 수 없는 토큰을 나타냅니다. 값의 변동성은 임베딩 모델에 의해 캡처된 기능의 풍부함을 반영합니다. 다양한 벡터 차원은 단어의 의미, 문맥 및 사용법의 다양한 측면을 포착합니다. 그림 4 는 벡터가 표현되는 방식을 보여주며, 그림 5에서 벡터화 프로세스 사용의 의미를 이해할 수 있습니다.

그림 4: 사용자 지정 토큰화. 이 그림은 벡터가 임베딩 공간에서 어떻게 표현되는지 보여주고 각 토큰이 숫자 형식으로 전송되는 방법을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 토큰 벡터화 프로세스와 그 의미. 이 그림은 이러한 프로세스, 구성 요소의 의미를 설명하고 이러한 임베딩이 정확한 감정 분류를 위해 감정의 의미론을 포착하는 방법을 강조합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

연구 흐름에 따라 프로세스는 입력 텍스트를 구문 분석하고 규칙 기반 사전을 사용하여 토큰을 확장한 다음 이러한 토큰을 하위 단어로 나누는 것으로 시작됩니다. 이 접근 방식은 텍스트의 정서적 내용과 문화적 맥락에 대한 이해를 제공하며 연구를 위한 의사 논리는 아래에 나와 있습니다.

감정 사전 초기화(예: fear_words = {"fear", "dread", "bhayanak", ...}): ae = ah 설정
SubwordRules(token, script): 데바나가리→ 정규식(복합/Sandhi)을 사용하여 분할하는 경우, 로마자 → 정규식을 사용하여 접두사/접미사를 분할하는 경우, 하위 단어 반환
DomainSpecificExpansion(token): 감정/언어 사전의 토큰이 감정을 반환→ 경우
그렇지 않으면 토큰→ 반환합니다.
ProcessTweet(text): 데바나가리, 로마 등에 대한 정규식을 정의합니다. 정규식을 사용하여 토큰을 추출합니다. 토큰에 DomainSpecificExpansion 및 SubwordRules를 적용합니다. 처리된 하위 단어 반환
토큰을 숫자 임베딩으로 벡터화
사람의 피드백을 통한 능동적 학습 적용

Results

이 연구 결과는 어휘 규칙을 기계 학습 및 능동적 학습 기술과 통합하면 코드가 혼합된 힌글리시 텍스트에서 감정 주석의 효율성과 정확성을 향상시킬 수 있는 실행 가능한 경로를 제공한다는 것을 시사합니다. 반복적인 개선과 전문가의 제안을 통해 제안된 프레임워크는 진화 매트릭스 전반에 걸쳐 높은 성능을 유지하면서 수동 작업을 눈에 띄게 줄일 수 있었습니다. 결과는 확장 가능한 감정 인식 솔루션이 필요한 영역, 특히 소셜 미디어 분석 및 위기 정보학과 같은 다국어 및 리소스가 제한된 환경에서 더 광범위한 적용 가능성을 나타냅니다.

어휘 규칙과 기계 학습 기능의 통합
이 프레임워크에는 전문가 재라벨링을 위해 모호한 트윗(예: 분노/좌절이 혼합된 단서)을 식별하는 랜덤 포레스트 분류기를 사용하는 능동 학습 워크플로도 포함되어 있습니다. 인...

Discussion

이 연구의 데이터 세트는 수동 주석과 능동적 학습의 조합을 사용하여 선별되었습니다. 처음에는 전쟁 및 분쟁과 관련된 10,040개의 힌글리쉬 트윗에 미리 정의된 8가지 감정이 수동으로 레이블이 지정되었습니다. 그런 다음 데이터 세트는 반자동 접근 방식을 사용하여 19,000개의 트윗으로 확장되었습니다. 능동적 학습을 통해 선택적인 전문가 개입이 가능해 수동 작업을 40% 줄이면서 F-점수 0.76으로 81%의 높은 주석 정확도를 유지했습니다. 어휘 규칙과 감정별 사전은 코드 전환 모호성의 89%를 해결하는 데 중요한 역할을 했습니다. 능동 학습 프레임워크는 모델을 반복적으로 개선하여 정확도가 72%에서 81%로 점진적으로 향상되었음을 보여주었습니다.

어휘 규칙 및 기계 학습 통합
이 프레임워크는 규칙 기반 기능과 기계 학습을 효과적으로 결합했습니다. 어휘 규칙은 토큰화, 하위 단어 분해 및 감정 매핑에 적용되었으며 임베딩(Word2Vec, fa...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
빠른 텍스트	페이스북 AI	해당 사항 없음	단어 표현 및 분류
구글 코랩	구글	해당 사항 없음	클라우드 기반 Jupyter Notebook 환경
구글 코랩 GPU/TPU	구글	해당 사항 없음	클라우드 기반 하드웨어 가속
Intel Core i5/i7 또는 AMD Ryzen 5/7	인텔 / AMD	해당 사항 없음	로컬 실행을 위한 프로세서(필요한 경우)
매트로립	오픈 소스	해당 사항 없음	데이터 시각화 라이브러리
NLTK	오픈 소스	해당 사항 없음	텍스트 처리를 위한 자연어 툴킷
넘파이	오픈 소스	해당 사항 없음	수치 컴퓨팅 라이브러리
NVIDIA GTX 1650 이상(옵션)	엔비디아	해당 사항 없음	딥 러닝 작업을 위한 GPU
팬더	오픈 소스	해당 사항 없음	데이터 조작 라이브러리
파이썬	파이썬 소프트웨어 재단	해당 사항 없음	ML 및 NLP용 프로그래밍 언어
파이토치	메타 AI	해당 사항 없음	딥 러닝 프레임워크
RAM(최소 8GB, 16GB 권장)	다양한	해당 사항 없음	ML 작업에 대한 메모리 요구 사항
시킷 학습	오픈 소스	해당 사항 없음	기계 학습 라이브러리
씨본	오픈 소스	해당 사항 없음	통계 데이터 시각화
스페이시	폭발 AI	해당 사항 없음	산업 수준의 NLP 라이브러리
SSD 스토리지(최소 256GB, 512GB 권장)	다양한	해당 사항 없음	데이터 세트 처리를 위한 스토리지
텐서플로우	구글	해당 사항 없음	딥 러닝 프레임워크