Makine öğrenimi ve hinglish ifadelerin sözcüksel kural tabanlı uygun maliyetli duygu açıklaması

Summary

Bu çalışma, Hinglish ve İngilizce metne açıklama eklemek için kural tabanlı stratejiyi makine öğrenimi ve uzman yardımı ile birleştirir. Veriler 19.000 tweet üzerinde %81 doğrulukla test edilmiştir ve manuel olarak yapmaktan çok daha ucuzdur. Bir kriz sırasında duyguları izlemek için yararlı olabilir.

Abstract

Hinglish (Hintçe-İngilizce) gibi kod karma dillerde duygu açıklamaları, dil karmaşıklığı ve kaynak kısıtlamaları nedeniyle benzersiz zorluklar sunar. Bu çalışma, uygun maliyetli, yüksek doğrulukta duygu açıklaması elde etmek için sözcüksel kuralları, makine öğrenimini ve yinelemeli uzman geri bildirimini birleştiren hibrit bir aktif öğrenme çerçevesi sunmaktadır. Ayrık Duygular Teorisi ve Bilişsel Değerlendirme Teorisi dahil olmak üzere psikolojik duygu teorilerine dayanan çerçeve, iki dilli duygu sözlükleri (örneğin, gussa ve öfkeyi öfkeyle eşleştirme), bileşik terimler için alt kelime tokenizasyonu (örneğin, bölme

Introduction

İki veya daha fazla dil tek bir satırda veya konuşmada karıştırıldığında, buna kod karma dil denir. Hinglish gibi sıradan diyaloglarda yaygındır. İnsan duygularını anlamanın birçok yolu vardır ve bir dizi duygusal ifadeyi hesaplamalı olarak modellemek, bu cümleleri söyleyen insanlar tarafından onlara açıklama eklemektir. Biyolojik, fizyolojik, psikolojik düzeyler vb. açısından anlaşılabilir. Roger Penrose gibi bilim insanlarına göre dünyamızdaki birçok olgu hesaplamalı değildir ve Wolfram gibi bilim insanları her şeyin (her olgunun) bilgisayımsal olarak modellenebileceğini düşünmektedir¹. Penrose, bilincin, herhangi bir adım adım algoritmik prosedürün başarabileceğinin ötesine geçen süreçleri (belki de beyindeki kuantum mekaniği ile ilgili) içerdiğine inanmaktadır. Gödel'in eksiklik teoremlerini, örneğin insanın matematiksel kavrayışının biçimsel sistemleri aştığı fikrini desteklemek için sık sık alıntılar^{yapar 2}. Eğer bilinç hesaplamalı değilse, o zaman bilinçli deneyimin önemli bir yönü olarak duygular da hesaplamalı olmayan unsurlara sahip olabilir. Mathematica ve hücresel otomatlar üzerine yaptığı çalışmalarla tanınan Stephen Wolfram, "Hesaplamalı Eşdeğerlik İlkesi"ni önermektedir. Bu, potansiyel olarak evrenin kendisi ve içindeki fenomenler (duygular gibi) dahil olmak üzere çok karmaşık sistemlerin bile, bu kurallar çok basit olsa bile, nihayetinde hesaplama kurallarıyla tanımlanabileceğini ve modellenebileceğini ve karmaşık davranışlar oluşturabileceğini göstermektedir. Ancak pratik olarak bu mümkün değildir ve duygu analizi yapabilen bir uzman ya da sadece bir yorumcu olarak adlandırılan birine ihtiyacımız var³.

Bu araştırmada, hesaplamalı modeller oluşturma fikrini yayıyoruz. Ancak bu model yarı hesaplamalı olacaktır. Bu bağlamdaki araştırmamız, biçim olarak hesaplamalı olmayı amaçlamaktadır, ancak tüm yönleri mükemmel bir şekilde yakalayamayabilir, belki de tam olarak hesaplanması zor veya imkansız olan karmaşıklıklara yer bırakabilir. Duyguların hesaplamalı olarak modellenmesi zordur çünkü bunlar öznel deneyimlere, kültürel bağlama ve sabit algoritmalarla tam olarak yakalanamayan nüanslı ifadelere bağlıdır.

Bu nedenle, değişken tabanlı hesaplama yaklaşımlarını kullanarak insan duygularını modellemek için, insan duygusal ifadelerini açıklamak gerekir. Bu açıklama, duygu analizi konusunda yetenekli bir uzman veya yorumcu tarafından yapılmalıdır¹. İnsan duygularının karmaşıklığını anlamak, özellikle karışık dillerle uğraşırken kolay bir iş değildir. Ayrıca, ölçekle ilgili sorunlar, yalnızca insanlar tarafından manuel açıklamaya güvenmenin uygun bir seçenek olmadığı anlamına gelir. Son araştırmalar, bu tür karmaşık görevler için sistemler oluştururken döngüdeki insan yaklaşımına tutarlı bir ihtiyaç olduğunu göstermektedir. Sonuç olarak, açıklayıcılar için insan nüansı gerektiren görevleri rezerve ederken daha basit kısımları otomatikleştirmeyi içeren yarı otomatik bir yaklaşım, bu alanda doğal dil sistemleri geliştirmek için en uygun görünmektedir.

Bir insan yorumcu elbette manuel olarak iş yapıyor olacak ve hesaplama çağında, çağdaş bilim adamlarından beklenen şey bu değil. Açıklayıcı, ifadelerde (manuel, yarı otomatik veya tam otomatik) somutlaşan duygu türünü, sembol olarak ifade edilen birden fazla duygu türünden oluşan, konuşma dili veya kod karışımı ve birden fazla modalite kullanan ifadeleri akıllıca tahmin edebiliyorsa, görev aynı anda hem zor hem de kolaydır. Hinglish ifadelerindeki duygu açıklamalarının karmaşıklığı, ifadenin doğasına bağlıdır. Duygular tanıdık kelimeler veya emojiler kullanılarak net bir şekilde iletildiğinde, açıklama nispeten basittir. Ancak, ifadeler birden çok duygu, kod karıştırma veya belirsiz sembolik ifadeler içerdiğinde görev zorlaşır. Bu nedenle, duygunun ne kadar doğrudan ifade edildiğine bağlı olarak açıklama hem kolay hem de zor olabilir.

Duyguların ve duyguların tanımlanmasındaki çağdaş yaklaşımlar, duyguların öznel doğası, insan ifadelerindeki belirsizlik, Hinglish gibi kod karışık dillerin karmaşıklığı ve manuel açıklamanın zaman alıcı ve tutarsız doğası dahil olmak üzere bu zorluklarla ilgilenir. hesaplamalı modeller oluşturma ve sıkıcı açıklama görevlerini yönetme ile ilişkili. Son araştırmalar, araştırmacıların bu hedefe yönelik makine öğrenimi, derin öğrenme ve çeşitli hibrit yaklaşımlar dahil olmak üzere çok çeşitli yöntemler kullandığını gösteriyor. Son araştırmalar, bu sorunların üstesinden gelmek için araştırmacıların makine öğrenimi, derin öğrenme ve hibrit modeller gibi çeşitli teknikler kullandığını gösteriyor.

Son araştırmalar, araştırmacıların makine öğrenimi, derin öğrenme³ ve hibrit yaklaşımlar dahil olmak üzere her türlü yaklaşımı kullandığını gösteriyor. Duygu analizi terimi, duyguların kutupluluğunun insanların ham duygusunu anlamak için bir belirteç olduğuna inanıldığında kullanılan bir prosedürü ifade eder ^3,4. Bu tür bir teknolojinin geliştirilmesi, ruh halini, duyguları, konuşmayı, yüz duygularını ve sözsüz ipuçlarını tanımaya yardımcı oldu ve gerçek zamanlı çeviriye izin veren uygulamalara şimdiden giriş yaptı². Hinglish'i İngilizce'ye çevirmek için çok modlu bir yaklaşım kullanılabilir ve gelecekte Hint sinemasını uzak toplumlar için daha erişilebilir hale getirmek için yardımcı olabilir ^5,6. Örneğin, Hindistan'da İngilizce genellikle ikinci dildir. Bu bağlamda yapılan araştırmalar, bunun, her bir kelimenin ifade ediciliği veya duygu ve duygu derecesi için Hint konuşmasını (karma kod dili) analiz ederek İngilizce öğretiminin kalitesini artırdığını göstermektedir.

Bu araştırma bağlamında, karma kod dilinin çeviri ile birlikte kullanılmasının İngilizce öğretiminin kalitesini artırdığı gösterilmiştir. Bu, her kelimenin ifade gücünü veya duygusal değerini belirlemek için Hint konuşmasının (karma kod dili) analizi yoluyla gerçekleştirilir. Bilgisayarları konuşma yorumlama konusunda eğitmek için derin öğrenmenin uygulanması yoluyla, bu araştırma bilgisayarlı konuşma analizinin doğruluğunu zaten geliştirdi ve iletişimin daha iyi anlaşılmasını kolaylaştırdı ^4,5. 2001 nüfus sayımı sonuçlarına göre, Hintçe ve İngilizce'nin bir karışımı olan Hinglish, şu^{anda Hindistan'da} tahmini 120 milyon kişi tarafından kullanılmaktadır6.

Öğrenme algoritmalarının çağdaş manzarasından, aktif öğrenmenin, özellikle duygu tanımlama ve tanıma alanında, büyük veri kümelerine açıklama eklemede insan çabasını önemli ölçüde azaltmak için güçlü bir araç olarak ortaya çıktığı açıktır. Etkili ek açıklamaları seçici olarak (uygun metriklerle) açıklayan bu yinelemeli yaklaşım, yalnızca açıklama doğruluğunu artırmakla kalmaz, aynı zamanda verimliliği de artırır⁵. Önceki çalışmalar, daha küçük eğitim veri kümeleriyle performansı korurken ve hatta iyileştirirken ve bilgilendirici örnek seçimi için küme analizine dayalı bir yöntem önerirken, manuel açıklama iş yükünde önemli azalmalar elde etmedeki etkinliğini göstermiştir ^7,8. Hinglish duygu tanımanın özel bağlamında, araştırmacılar derin öğrenme modelleri ve çok etiketli açıklamalı bir veri seti ^9,10,11 aracılığıyla değerli katkılarda bulundular. Önceki çalışmalar^12,13, insan etiketli verilere bağımlılığı en aza indirmek, verimliliği daha da artırmak ve açıklama maliyetlerini azaltmak için aktif öğrenme ve yarı denetimli yöntemler getirmiştir. Ayrıca, aktif öğrenme, özellikle çok etiketli duygu sınıflandırmasında sınıflandırma performansını artırmak için birçok projede gösterilmiştir¹⁴.

Sınıflandırıcı performansını iyileştirmede aktif öğrenmenin etkinliği, çeşitli makine öğrenimi uygulamalarında kabul edilmiştir. Çalışmalar^15,16, eğitim uygulamalarına odaklanarak performansı artırmadaki önemli rolünü vurgulamıştır. Benzer şekilde, erken bir çalışma, destek vektör makineleriyle aktif öğrenme için yeni bir algoritma tanıttı ve etiketli örneklere olan ihtiyacı önemli ölçüde azalttı¹⁷. Başka bir çalışma, metin sınıflandırması¹⁸ gibi yapılandırılmış örnekleri içeren görevlerde uygulamasını da araştırdı. Aktif öğrenmenin duygu tanıma görevleri üzerindeki etkisi, özellikle insan etiketli verilere olan bağımlılığı en aza indirmede, verimlilik kazanımlarının ötesine uzanır. Bir çalışma, duygu sınıflandırması ve regresyon için çok görevli bir çerçeve sunmuş ve tek görevli yöntemlerin performansını aşmıştır¹⁰.

Ayrıca, araştırmacılar¹⁹ aktif öğrenmeyi kullanarak konuşma ve metin duygu tanımada önemli adımlar atarken,²⁰ kişiselleştirilmiş müzik duygu sınıflandırmasındaki etkinliğini gösterdi. Bununla birlikte, duyguları kategorize etme ve etiketleme süreci, özellikle duygu analizi bağlamlarında^21,22 vurgulandığı gibi önemli bir zorluk teşkil etmektedir. Etiket kullanımının, özellikle daha sonra öğrenilen kategoriler için duygu kategorizasyonunu önemli ölçüde etkileyebileceğini not eder²³. Bu zorlukların üstesinden gelmek için, anahtar kelime tabanlı ve öğrenmeye dayalı yöntemler de dahil olmak üzere çeşitli algoritmalar geliştirilmiş ve kayda değer doğruluk oranları elde edilmiştir²⁴. Yazılı ifadelere ve metinlere dayalı duygular üzerine yapılan araştırmalar çok sayıda modelde incelenmiş ve yaklaşımlar, etkili duygu tespiti için normatif veri tabanlarını kullanarak boyutsal bir model uygulamıştır²⁵. Başka bir çalışmada²⁶, bilişsel bir duygu modeli, sosyal duygu nedenlerinin tanımlanması için kullanılan sıralı bir yöntemi geliştirmiştir. Yazar, OCC duygu modelinin hesaplamalı dilbilimsel bir yorumunu sağlarken, benzer bir çalışma²⁷kelime bağımlılık ilişkilerini ve duyguları temsil etmek için ontolojileri kullanan bir sistem önerdi. Bir çalışmanın^{yazarları 28}duygusal kelime işleme ile ilişkili sinyalleri tartıştı ve beynin yazılı dilde duyguları ifade etmedeki adaptasyonunu vurguladı. Çok modelli verilerinki de dahil olmak üzere birden fazla ham duygu dizisinin açıklanması zordur. Bununla birlikte, savaş ve çatışmayla ilgili duyguları araştırmak, aşırı koşullar altında insan ruhuna bilimsel ve sistematik bir pencere açarak, bireylerin ve toplulukların travma, kayıp ve belirsizlikle nasıl başa çıktıklarını daha iyi anlamamızı sağlar⁵. Başka bir çalışma, açıklama tekniğinin tür sınıflandırmasını etkili bir şekilde geliştirdiğini ve başlık özelliğinin süreçte çok önemli bir rol oynadığını buldu²⁹. Bir çalışma, metin oluşturma³⁰ için dokunsal bir kodlayıcı ve bir TVL modeli eğitmek için uzman ve GPT-4V ile bir 44K görsel dokunmatik veri kümesi oluşturdu. Başka bir çalışma, politikacılar hakkında Fransızca tweet'lere otomatik olarak açıklama eklemek için aktif öğrenme sürecine odaklanarak, siyasi tweet'ler üzerinde fikir ve trend madenciliğini araştırdı⁴¹. Başka bir çalışma, veri akışlarında dinamik uyarlanabilir merkezi analiz için tasarlanmış bulut tabanlı bir bilimsel iş akışı platformu olan CloudFlows'u tanıttı. Algoritmanın gerçek zamanlı verilerdeki değişikliklere uyum sağlamasına olanak tanıyarak duygu sınıflandırmasını iyileştirmek için aktif öğrenmeyi mümkün kılar⁴².

İnsan duygularının karmaşıklığı ile otomatik duygu analizi arzusu arasında açık bir gerilim vardır. İnsan duygularının karmaşıklığı ile otomatik duygu analizinin amacı arasında doğal bir gerilim vardır. Çağdaş çalışmaların çoğu, manuel açıklamanın sınırlamalarını kabul eder ve çeşitli iletişim biçimlerinde duyguları anlamanın zorluklarının üstesinden gelmek için karmaşık hesaplama yöntemlerine duyulan ihtiyacı vurgular. Bu ideal senaryo büyük ölçüde pratik değildir, yani cümleleri yazan veya söyleyen kişilerden ek açıklamalar almak⁴³. Veri elde etmek, özellikle de cümleleri yazan veya söyleyen kişilerden doğrudan ek açıklamalar almak için ideal senaryo, büyük ölçüde pratik değildir. Bu kullanışsızlık, bu tür kişiselleştirilmiş ek açıklamaların büyük ölçekte toplanmasının ve işlenmesinin imkansızlığından kaynaklanmaktadır. Bu nedenle, mevcut çabalar, metinde ifade edilen duyguları analiz etmek ve etiketlemek için uzman açıklayıcılara veya otomatik duygu algılama algoritmalarına dayanmalıdır. Bu araştırma çalışmasında, bu alan zorluklarının bazı yönlerinin üstesinden gelmeye çalıştık. Bu sorun alanındaki temel katkılar aşağıda sunulmuştur⁴⁴.

Bu nedenle, metinde ifade edilen duyguları analiz etmek ve etiketlemek için uzmanlara veya açıklayıcılara ve duygu algılama algoritmalarına güvenmemiz gerekir. Bu tür kişiselleştirilmiş ek açıklamaları büyük ölçekte toplamak ve işlemek imkansızdır. Bu nedenle, bu araştırma çalışmasında, bu alan bilgisinin bazı yönlerinin üstesinden gelmeye çalıştık. Aşağıdakiler, bu sorun alanındaki temel katkılardır.

Çerçeve, duygu etiketleme, kod karışımı algılama ve Rastgele Orman ve kelime yerleştirmeleri gibi makine öğrenimi teknikleriyle emoji yorumlama gibi kural tabanlı yöntemlerle birlikte çalışarak manuel çabayı azaltırken açıklama doğruluğunu artırır. Sınıflandırıcının Yinelemeli Öğrenmesi, belirsiz özellik örneklerini önceliklendirmek için aktif öğrenmenin yanı sıra transfer öğrenmeyi de kullanır ve ağır iş gücü ihtiyacını azaltır. Bu yaklaşım, sert manuel etiketlemeye kıyasla operasyonel maliyetleri %40 oranında azalttı.

Hinglish'in nüanslarını ayrıntılı bir düzeyde ele almak için, bağlama duyarlı özel bir tokenizasyon yöntemi geliştirildi. Bu yaklaşım, dil değiştirme, noktalama işaretleri, emojiler ve alt kelime segmentasyonunu hesaba katarak kod karışık metni işler ve karışık Hintçe-İngilizce metinde daha doğru duygu açıklaması sağlar. Ayrıntılı düzeyde, Hinglish metni için özel bağlama duyarlı tokenizasyon geliştirdik. Çerçeve, iki dilli duygu sözlükleri, alt kelime tokenizasyonu ve özel bağlama duyarlı tokenizasyonu bir araya getirerek kod karma metnin karmaşıklıklarını ele alır. Sözcüksel kurallar, kod değiştirme belirsizliklerinin %89'unu çözdü.

Çalışmamız, Ayrık Duygular Teorisi ve Bilişsel Değerlendirme Teorisi gibi yerleşik psikolojik duygu teorilerine dayanmaktadır. Araştırma, krize müdahale ve sosyal medya izleme yaklaşımının ölçeklenebilirliğini göstererek, düşük kaynaklı, çok dilli NLP uygulamaları için bir plan sağlıyor.

Tablo 1, aynı problem alanı için mevcut çalışmaları açıklamaktadır. Literatür taramasından ve tablo haline getirilmiş özetten, çalışmaların çoğunun, manuel yöntemler kullanarak açıklama üzerinde bazı başlangıç çalışmaları yapmaktan kaçamayacağı sonucuna varılabilir. Çok az sayıda araştırmacı yarı otomatik yaklaşımları takip etmektedir⁴¹. Bununla birlikte, performanstaki gerçek fark, açıklama sürecini otomatikleştirebilen etkili bir öğrenme modelinin kullanılmasından kaynaklanmaktadır. Tweetlerin duygusal içeriği, insanların duygularının yollarını ve duyguların organizasyonunu açıklayan teorilerle eşleşmelidir. Bir sonraki bölüm, mevcut yaklaşımların sınırlamalarına ve makalelerin ampirik sonuçlarına dayalı olarak sorunu tanımlar.

Okumak	Dataset	Duygu	Yöntemler	Alan	Etiketleme İşlemi	Boşluk			Gelecek Kapsam
[31]	9.000.000 Tweet	gerginlik, depresyon, öfke, canlılık, yorgunluk,	Bilinç bulanıklığı: Duygudurum durumlarının profili	İngilizce	Etiketleme yok	Çalışma, şaşkınlık, neşe veya korku gibi ince duygusal farklılıkları göz ardı ederek, duygu etiketlemenin, özellikle sosyoekonomik olaylarla ilgili olarak, duygu eğilimlerinin yorumlanabilirliğini ve ayrıntı düzeyini artırabileceğini düşündürmektedir.			Otomatik kategorizasyon yöntemleri ve iyi kurulmuş duygu sınıflandırmaları kullanarak sosyal medya verilerindeki bir dizi duygusal ifadenin nasıl daha iyi yakalanacağını ve inceleneceğini araştırabilir.
[32]	7000 Tweet	öfke, iğrenme, korku, sevinç, aşk, üzüntü,	Destek Vektör Makinesi	İngilizce	El ile	Veri kümesinin genelleştirilebilirliği, konuya özgülüğü ve genel Twitter kullanımını temsil etmemesi nedeniyle sınırlıdır.  Mütevazı bir yorumcular arası anlaşmada gösterilen öznel yorum ve minimal bağlam nedeniyle, kısa, sıradan tweet'lerde duyguları açıklamak zordur.			Gelecekteki çalışmalar, konuya özgü ve duyguya özgü dil stilleri arasındaki ayrımları bir araya getirerek gelişmiş duygu algılama modelleri geliştirmeye odaklanacak ve çeşitli tweet bağlamlarında daha doğru sınıflandırma sağlayacaktır.
[33]	21.000 Tweet	öfke, iğrenme, korku, sevinç, üzüntü, şaşkınlık	Destek Vektör Makinesi	------	Hashtag Kullanma	Mevcut duygu etiketli külliyat, boyut ve etki alanı açısından sınırlıdır ve mikrobloglar için büyük, çeşitli veri kümelerinden yoksundur. Tweetler kısa, gürültülü ve bağlam sınırlıdır, bu da doğru duygu algılamayı ve açıklama eklemeyi zorlaştırır.			Gelecekteki çalışmalarda, çalışma, kapsamı ve algılama doğruluğunu artırmak için duygu sözlüğünü eşanlamlılar ve ek hashtag'lerle genişletmeyi içerebilir.
[34]	16485 Tweetler	öfke, iğrenme, korku, sevinç, üzüntü, şaşkınlık	Vektör Regresyonunu Destekleyin	Çince	El ile	Geleneksel duygu sınıflandırma yöntemleri genellikle duyguların altında yatan nedeni gözden kaçırır ve özellik kalitesini sınırlar. Kısa, gayri resmi mikroblog gönderilerinden duygu nedenlerini doğru bir şekilde çıkarmak, sağlam kural tabanlı sistemler ve alan bilgisi gerektirir.			Duygu neden analizinin daha fazla araştırılması, duygu algılama modellerini geliştirebilir ve metinsel duygu anlamada yeni yönler açabilir.
[35]	10.040 Tweet	Korku, umut, sevinç, öfke, şaşkınlık, üzgün, iğrenme	LDA, değerlendiriciler arası anlaşma	Hinglish (İngilizce)	El ile	Hinglish için, özellikle krizle ilgili içerikte pragmatik ve duygusal nüansları yakalayanlar olmak üzere, kamuya açık, yapılandırılmış veri kümelerinin eksikliği var. Hinglish, standart olmayan, kod karışık bir dildir ve bölgesel farklılıklar, doğru duygu analizini ve açıklamayı karmaşıklaştırır.			Çok modlu veri kümelerini genişletmek, derin pragmatik analizi makine öğrenimi modelleriyle entegre etmek ve çatışma söyleminde gerçek zamanlı duygu takibi için ölçeklenebilirliği ele almak.
[36]	134.000 tweet	Aktif, Aktif Değil Mutlu, Mutsuz	Destek Vektör Makinesi ve K-En Yakın Komşular	Hinglish (İngilizce)	Hashtag'leri Kullanma	Tweet'lerin manuel olarak duygu etiketlemesi, emek yoğun ve tutarsızdır, bu da büyük ölçekli duygu sınıflandırma çabalarını sınırlar Kitle kaynaklı ek açıklamalar, özellikle duygu uyarılma düzeylerini belirlemede güvenilirlikten yoksundur ve duygu yorumlamada öznelliği vurgular.			Farklı duygusal bağlamlarda daha iyi doğruluk ve genelleştirilebilirlik için hashtag tabanlı etiketlemeyi iyileştirmeye ve duygu algılama modellerini genişletmeye odaklanın.
[37]	37 ülkeden 3.000 öğrenci, psikolog ve psikolog olmayan	sevinç, korku, öfke, üzüntü, iğrenme, utanç ve suçluluk.	--	-----	El ile	Kültürel faktörlerin çeşitli toplumlarda belirli duyguların düzenlenmesini ve ifade edilmesini nasıl etkilediğine dair sınırlı araştırma. Evrensel duygusal kalıplar için kanıtları, duygu ortaya çıkarma ve yorumlamadaki kültürel olarak spesifik varyasyonlarla dengelemek karmaşık olmaya devam etmektedir.			Daha ileri çalışmalar, duygusal deneyim ve iletişimi şekillendirmede biyolojik evrensellik ve kültürel bağlam arasındaki etkileşimi araştırmalıdır
[38]	12000	Mutluluk, Üzüntü ve Öfke	Değerlendiriciler Arası Anlaşma	Hintçe + İngilizce	El ile	Mevcut araştırma, Hinglish duygu tespiti için kapsamlı, açıklamalı bir veri setinden ve standartlaştırılmış modellerden yoksundur. Sosyal medya metinlerinin düzensiz dilbilgisi ve kod karışımı doğası, doğru duygu sınıflandırmasını zorlaştırıyor.			Gelecekteki çalışmalar, duygu kategorilerini genişletmeye ve daha büyük, çok dilli kod karma veri kümeleri geliştirmeye odaklanacak.
[39]	2866	mutluluk, üzüntü, öfke, şaşkınlık ve üzüntü	Destek Vektör Makinesi	Hinglish (Hintçe + İngilizce)	El ile	Duygu açıklamalı kod karışık veri kümelerinin eksikliği.  Kod karışık metindeki duygu ifadesi, diller ve komut dosyaları arasında farklılık gösterir ve bu da açıklama ve sınıflandırmayı karmaşık hale getirir.			Gelecekteki çalışmalar, külliyatı daha fazla duygusal çeşitlilik içerecek şekilde genişletebilir, konuşma parçası etiketlemeyi entegre edebilir ve çok dilli kod karma içeriği keşfedebilir.
[40]	13738	---	Makine Çevirisi Google Çevirmen	Hinglish (İngilizce)	El ile	Mevcut makine çevirisi sistemleri, büyük, alana özgü paralel külliyatın olmaması nedeniyle kod karma sosyal medya verilerinde doğruluktan yoksundur. Yüksek yazım çeşitliliği, gayri resmi yapı ve dil tanımlamasındaki belirsizlik, Romanize Hintçe-İngilizce metnin çevirisini zorlaştırır.			Derlem, kod karma çeviri sistemlerinin geliştirilmesini destekleyebilir ve diğer düşük kaynaklı dillere ve adlandırılmış varlık tanıma gibi NLP görevlerine genişletilebilir
[41]	11527	pozitif, çok olumlu ve negatif, çok olumsuz	kNN tabanlı sınıflandırma, BOW gösterimi	Fransız siyasetçiler	El ile	İngilizce dışındaki dillerde siyasi görüş madenciliği için yüksek kaliteli açıklamalı veri kümelerinin sınırlı kullanılabilirliği. Ek açıklama gürültüsünü azaltmayı bilgi saklama ile dengelemek ve büyük ölçekli tweet veri kümelerinde eşit olmayan etiket dağıtımını ele almak temel zorluklardır.			Gelecekteki çalışmalar, çok dilli siyasi söylemde açıklama gürültüsünü en aza indirirken kritik içeriği daha iyi korumak için aktif öğrenme yöntemlerini iyileştirebilir.
[42]	764,416	---	Kmeans Kümeleme, SVM	İngilizce	Yarı denetimli	Duygu analizinde gerçek zamanlı etiketleme ve model güncelleştirme, veri akışı değişkenliği, etiketleme maliyeti ve sistem ölçeklenebilirliği ile kısıtlanır.			Gelecekteki çalışmalar, çok sınıflı duygu sınıflandırmasını keşfedecek, ek etiketleme stratejilerini entegre edecek ve ilk model oluşturma üzerindeki kontrolü genişletecektir

Tablo 1: Karşılık gelen etiketleme yöntemlerine sahip mevcut çalışmalar. Tablo, mevcut çalışmalara tam bir karşılaştırmalı genel bakış sağlar, duygu açıklamasını ele alır ve metodolojik manzarayı oluşturur ve mevcut çalışmanın mevcut literatüre katkısını kavramsallaştırır.

Sorun bildirimi
Ek açıklamalarda en sık çalışılan duygular, Ekman'ın ve Plutchik'in gibi temel psikolojik modellerden büyük ölçüde etkilenir ve öncelikle öfke, korku, mutluluk, üzüntü, şaşkınlık vb. gibi temel kategorilere odaklanır⁴⁴ . Bu nedenle, bu araştırma çalışmasında, duyguların köklü çağrışımları üzerinde çalışmayı amaçlıyoruz. Buradaki zorluk, önceden tanımlanmış bir kümeden duygu etiketleriyle (ei) savaşlara ve çatışmalara odaklanan bir derlem T'den Hinglish metin örneklerini (ti ) doğru bir şekilde açıklama yapabilen dinamik bir hesaplama çerçevesi olan F'yi geliştirmektir E = {e₁, e₂, ..., e₈}. Bu çerçeve, çatışmayla ilgili söylemin çok yönlü duygusal manzarasını modellemek için Yapılandırmacı Duygu Teorisi, Duygusal Olaylar Teorisi (AET), Ayrık Duygular Teorisi ve Bilişsel Değerlendirme Teorisi'nden ilkeleri sentezlemelidir. T'deki her metin örneği ti dilsel olarak karmaşıktır, Hintçe (Latin alfabesiyle), İngilizce, emojiler ve sembolleri harmanlar ve nüanslı duygusal ifadeleri yakalamak için çok katmanlı bir yaklaşım gerektirir.

Savaşla ilgili duyguların hesaplamalı modeli (bir vaka çalışması olarak), Hinglish temelli nüansları ele alan sözcüksel kurallarla başlayan çok yönlü bir yaklaşım içerebilir. T olarak gösterilen tokenizasyon, dil işlemenin temelini oluşturan emojiler ve noktalama işaretleriyle birlikte Roma alfabelerini (Roma alfabesiyle yazılmış Hintçe) kapsar. D olarak temsil edilen duygu sözlükleri, diller arasındaki sözcükleri öfke, neşe ve diğerleri gibi belirli duygularla eşleştirir ve her emotion_i language_k words_j ilişkilendirir. Alt sözcük ayrıştırma, S, bileşik terimleri kurucu alt sözcüklere ayırarak karmaşık ifadelerin daha derin bir şekilde anlaşılmasını sağlar. Daha sonra, makine öğrenimi teknikleri, M, belirteçleri vektör temsillerine dönüştürmek için Word2Vec/fastText gibi gömmeleri, E'yi kullanır vector_v sayısal analizi kolaylaştırır. Topluluk sınıflandırıcıları, C, Random Forest gibi, daha sonra bu vektör kümelerinden duygu etiketlerini emotion_label_p tahmin eder. Ek açıklama öğrenme modelini yinelemeli olarak geliştirmek için aktif bir öğrenme mekanizması olan AL kullanılır. Uzman geri bildirimi, F, belirsiz durumları iyileştirir ambiguous_sample_q refined_label_r atayarak önemli düzeltmeler sağlar. Örnek önceliklendirme, P, low_confidence_sample_s düşük güvenilirlikli örneklere odaklanır, bunları annotation_priority_t atar ve böylece açıklama sürecini optimize eder.

Bu çerçeve, bu bileşenleri ve teorileri entegre ederek, Hinglish metnini dinamik olarak işlemeyi, dilsel ve kültürel nüanslar arasında köprü kurmayı ve duygu açıklamalarını uyarlanabilir bir şekilde iyileştirmeyi ve çatışma söylemindeki duygusal boyutları analiz etmek için ölçeklenebilir bir çözüm sunmayı amaçlamaktadır.

Protocol

Bu bölüm aynı zamanda 8 duygu açıklaması için çok modlu çerçevenin nasıl oluşturulduğunu da açıklamaktadır. Bu bölüm, veri kümesinin özelliklerinin tartışılmasıyla başlar ve ardından sonraki yordamlar gelir. Araştırma prosedürünü daha iyi anlamak için Şekil 1'e bakın.

Şekil 1: Duygu açıklamalarının sistematik çerçevesi. Şekil, etkili duyguyu, makine öğrenimini, aktif öğrenmeyi ve dinamik sözlük kurallarını uzman girdisi aracılığıyla birleştiren hinglish metninin açıklamasını açıklar, yanlış sınıflandırılmış örnekler, doğruluğu artırmak ve açıklama maliyetini düşürmek için aşamalı olarak iyileştirilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Veri seti hazırlama
Veri toplama, savaş, çatışma ve ilgili duygularla ilgili kapsamlı bir anahtar kelime ve hashtag listesi belirleyerek başlar. İlgili ve mevcut listeleri derlemek için akademik literatür, haber makaleleri ve sosyal medya trendleri gibi kaynaklardan yararlanıldı.

Şekil 1'e göre, tweet'lerin toplanması ve verilerin ön işlenmesi yapıldıktan sonra, insan uzmanlar manuel etiketleme ve açıklama sürecini iyileştirmek için dahil edilmesi gereken sözcüksel kuralların oluşturulmasında yer alır. Bu anahtar kelimeler (çatışma, savaş, kriz, gussa, vb.) kullanılarak, 10.040 tweet'ten oluşan bir ilk veri seti toplandı ve her tweet'in önceden tanımlanmış sekiz duygu (öfke, korku, mutluluk, üzüntü, hayal kırıklığı, merhamet, karışık, savaş ve çatışma alanıyla ilgili diğerleri) ile açıklandığı manuel etiketleme için temel olarak hizmet etti. Manuel etiketleme süreci, hem Hintçe hem de İngilizce konusunda yetkin uzmanlardan oluşan bir ekip tarafından gerçekleştirildi ve İngilizce'nin nüanslarının doğru bir şekilde yakalanmasını sağladı.

Örnek bir işleme aşağıda açıklanmıştır.

Tokenizasyon ve Ön İşleme:
Giriş Tweet: "Mujhe Bhayanak lag raha hai "
Tokenize Çıktı: ["Mujhe", "Bhayanak", "lag", "raha", "hai", ""]
Roma Alfabesinin İşlenmesi: Hintçe kelimeler ("Mujhe", "Bhayanak") Roma alfabesinde korunur.
Emoji/Sembol Algılama: "" sembolik bir belirteç olarak izole edilmiştir.

Duygu Sözlüğü Eşleme (D):
İki dilli (Hintçe/İngilizce) duygu sözlüklerini kullanarak belirteçleri E'deki duygularla eşleştirin: "Bhayanak" (Hintçe "korkunç" anlamına gelir) → Korku; "lag raha hai" (devam eden duyguyu ima eden bağlamsal ifade) → Korku; "" → Öfke

Alt Kelime Ayrıştırma (S):
Daha derin analiz için karmaşık terimleri ayrıştırın: "Bhayanak", korkudaki anlamsal kökünü açıklığa kavuşturmak için ["Bhay" (korku), "anak" (sonek)] →.

Gömme Oluşturma (E):
Word2Vec/fastText kullanarak belirteç eklemeleri oluşturun: ["Mujhe", "Bhayanak", "lag", "raha", "hai", ""] → vektörleri v₁, v₂, v₃, v₄, v₅, v₆ için gömmeler.
Toplama Kuralı: Genel bir anlamsal vektör oluşturmak için ortalama belirteç eklemeleri:
V_avg = (v₁ + v₂ + v₃ + v₄ + v₅ + v₆) / 6

Kural Tabanlı Özellik Çıkarma:
Birleştirme için yardımcı özellikleri ayıklayın. Duygu Etiketi Sayıları: Korku: 2 örnek ("Bhayanak", "lag raha hai"); Öfke: 1 örnek ("").
Kod Değiştirme Bayrağı: İkili bayrak = 1 (karışık Hintçe ve İngilizce belirteçler: "Mujhe" [Hintçe], "lag", "raha", "hai" [Hintçe türetilmiş]).

Özellik Füzyonu:
Toplanan eklemeleri ve kural tabanlı özellikleri birleşik bir giriş vektöründe birleştirin: Global Semantic Vector=V_avg(ortalama yerleştirmeler),Duygu Sayıları=[Korku: 2, Öfke: 1, Diğerleri: 0], Kod Değiştirme Bayrağı=1
Birleştirme Kuralı Son Giriş Vektörü = V_avg [Korku: 2, Öfke: 1, Diğerleri: 0] [1]
Makine öğrenimi algoritması bu son vektörü işler ve yinelemeli açıklama iyileştirme süreci başlar. Bir sonraki bölümde, bu amaç için benimsenen Aktif öğrenme yönteminin performansını tartışıyoruz.

Bundan sonra, veri seti daha sonra 19.000 tweet'e genişletildi. Bu veri seti, otomatik ve yarı otomatik tekniklerin bir kombinasyonu kullanılarak küratörlüğünü yaptı ve ilk manuel açıklamadan elde edilen bilgilerden yararlanıldı. Genişletilmiş veri seti, yinelemeli bir öğrenme sürecinden daha da rafine edildi, ek açıklamanın doğruluğunu, tutarlılığını ve verimliliğini artırmak için uzman ek açıklaması ve alan uzmanlarından geri bildirim için belirsiz verileri/tweet'leri seçici olarak tanımlamayı ve önceliklendirmeyi içeriyordu. Veri toplama süreci boyunca, farklı duygular arasındaki dengenin korunmasına özel önem verildi ve veri setinin savaş ve çatışma hakkında ifade edilen çeşitli duyguları temsil etmesini sağladı. Ortaya çıkan veri seti, Hinglish metnini analiz etmek için değerli bir kaynaktır. Daha iyi anlamak için Şekil 2'ye başvurulabilir.

Şekil 2: Veri kümesi toplama prosedürü. Şekil, tohum kelime tanımlamasından manuel etiketlemeye, ardından aktif öğrenmeye ve son açıklamalı veri setine kadar veri kümesi gelişimini göstermektedir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Veri setinin son hazırlığı, aktif öğrenme yardımıyla yinelemeli iyileştirme süreci tamamlandıktan sonra yapılır. Aktif öğrenme, Hinglish ifadelerinin duygularını açıklamak için sözcüksel kurallar, makine öğrenimi ve yinelemeli uzman girdisi içeren hibrit bir çerçevede kullanıldı. Adımlar aşağıdaki gibiydi:

İşlem, el ile etiketlenmiş bir veri kümesiyle başlar. Makine öğrenimi modelinin belirsiz olduğu belirsiz tweet'leri belirlemek için kullanılan bir Rastgele Orman sınıflandırıcısı kullanma. Bu belirsiz örnekleri kategorizasyon için insan uzmanlara gönderin. Model, yakın zamanda açıklanan veriler kullanılarak tekrar tekrar güncellendi, bu da doğruluğu kademeli olarak artırdı ve yanlış sınıflandırmaları azalttı. Veri kümesini sonlandırın ve doğruluğu sağlamak için ek açıklamaları gözden geçirin. Veri kümesini analiz için hazırlayın, uygun şekilde belgelendiğinden ve sonraki durumlarda uygulanmak üzere gelecekte kullanılmak üzere biçimlendirildiğinden emin olun. Bununla birlikte, gelecekteki adımların uygulama açısından daha net hale gelmesi için ifadelere gömülü duygu kalıplarını araştırmak önemlidir. Bu nedenle, bir sonraki adımda, veri setine gömülü baskın duyguları bulmak için küme analizi yapılacaktır. Bu aynı zamanda araştırdığımız duyguları tanımlamaya da yardımcı olur.

Duygu kümelerinin seçimi
Tablo 2 , duygu gruplarını ve bunların Hinglish eşdeğerlerini ve ilgili duyguların seçilme nedenini göstermektedir. Her duygu grubundan, daha sonraki işlemler için baskın bir duygu seçilmiştir. Bu baskın duygular küme analizinden seçilmiştir.

Duygu Grubu	Hinglish Eşdeğeri	Seçimin Gerekçesi
Korku (kaygı ve panik içerir)	Dar, khauf, Asahaj, Bekabu, Angadai, Chinta, gerginlik, Fikr, Ashanka, Udaasi, Bechaini, Ghabrahat	Korku, savaş ve çatışmalarda yaygın bir duygudur, çünkü bireyler güvenliklerine ve esenliklerine yönelik tehditlerle karşı karşıyadır. Bu korku, anksiyete, panik atak ve hipervijilans gibi çeşitli şekillerde ortaya çıkabilir.
Öfke (tahriş, düşmanlık, hayal kırıklığı ve incinmeyi içerir)	Gussa, raag, Prakop, Raudra, Chidhaan, Shatruta, Krodh, Gussa dilana, apata, Atyachar, Khushfehmi, hairani, Bhayanak, Chakker Kathinaai	Öfke, savaş ve çatışmalarda yaygın olan ve genellikle adaletsizlik, ihanet veya kayıp duygularından kaynaklanan bir başka yaygın duygudur. Bu öfke, saldırganlığı ve şiddeti körükleyerek bu çatışmaların yıkıcı doğasına katkıda bulunabilir.
Üzüntü (keder, umutsuzluk ve umutsuzluk içerir)	Udaasi, gham, Shok, Bhavuk, Dukhi, Udas, Vismay, Nirasha, Shok, Dukhi, Vairagya, Aashank, Vishada, Bhavuk, Dukhi, Udas, Vinamrata, Bhavuk, Hridaytoda, Beumaar, nirasha, Vinaash, Bair, Nirasha, Asambhav, Haar	Üzüntü, ne yazık ki savaş ve çatışmalarda yaygın deneyimler olan kayıp ve kedere verilen doğal bir tepkidir. Askerler yoldaşlarının kaybından dolayı üzüntü yaşayabilir, siviller öldürülen veya yerinden edilen sevdikleri için yas tutabilir ve tüm topluluklar evlerinin ve yaşam tarzlarının kaybının yasını tutabilir. Umutsuzluk ve umutsuzluk duyguları, çatışmanın uzun süreli doğası ve görünüşte sonsuz şiddet döngüsü nedeniyle de ortaya çıkabilir.
Utanç ve Suçluluk	Şarm, lajjabari, Şarm, Laaj, Zillat, Afsos, Gunah, Afsos, Peşçatap, Laaj, Bechaini, Aatmasamarpan, Sharmindagi, Ashru, Peşçatap, Antaratma, Kasoor, gunaah, Khud ko doshi maana, Ninda, Dosha	Utanç ve suçluluk, kişisel veya kolektif yanlışlık, yetersizlik veya aşağılanma duygularından kaynaklanabilen karmaşık duygulardır. Savaş ve çatışmada, bireyler eylemleri, başkalarına zarar vermeyi önleyememeleri veya başkaları ölürken hayatta kalmaları nedeniyle utanç veya suçluluk yaşayabilirler.
İğrenme	Ghin, nafrat, Asahayak, Pratikool, Ghrina, Vairagya, Dvesha, Nakaratmak, Vibhavsu, Vairagya, Vairagya, Nirasha	İğrenme, nahoş veya saldırgan olarak algılanan bir şeye karşı tiksinti veya isteksizlik duygusudur. Savaş ve çatışmada, bireyler zulüm, şiddet ve barbarlık eylemlerine tepki olarak iğrenme yaşayabilirler.
Empati ve Merhamet	Sahaaanubhuti, hamderdari, samajhdari, daan sahabhooti, duyarlılık, destekleyicilik, düşünce, nezaket, sevecenlik, sıcaklık, hassasiyet, daya, raham, sahaaanubhuti, sahyog, dayalu, samajh, pyar, daya, narami, paropkari	Empati ve şefkat, başkalarının duygularını anlamak ve paylaşmak için hayati önem taşır. Savaş ve çatışmada empati, benzer deneyimler yaşamış diğer kişilerle bağlantı kurmak, şefkati teşvik etmek ve uzlaşmayı teşvik etmek için güçlü bir araç olabilir. Merhamet, bireyleri ihtiyacı olanlara yardım etmeye ve iyileşme ve yeniden inşa çabalarına katkıda bulunmaya motive edebilir.
Umut ve Şükran	Umeed, aasha, Chah, Ichha, Sapna, Unnati, Ashvasan, Khushi, Utsaah, Ashirwad, Samvedansheelata, Vishwas, Bharosa, Shukraguzaar, eshaananand, Shukrana, Aabhaar, Namrata, Samaanya, Naman, Aasherewad, Badhai, Dhanyavaad, Abhivadn, Manobhav, Bhakti	Umut, karşılaşılan zorluklara ve zorluklara rağmen iyi bir şey olacağına dair bir iyimserlik ve beklenti duygusudur. Minnettarlık, kişinin hayatındaki iyi şeyler için minnettarlık ve takdir duygusudur. Savaş ve çatışmada umut, bireylerin sebat etmelerini ve daha iyi bir gelecek için çalışmalarını sağlayan bir güç ve motivasyon kaynağı olabilir. Minnettarlık, bireylerin hayatlarının olumlu yönlerine odaklanmalarına, dayanıklılığı geliştirmelerine ve kargaşanın ortasında bir barış duygusu geliştirmelerine yardımcı olabilir.
Elastikiyet	Jheelaanek, himmat, Sahasi, Sahas, Dhairya, Majbooti, Samvedansheel, Samarthya, Majbuti, Lachari	Dayanıklılık, zor veya zorlu durumlara uyum sağlama ve bunlarla başa çıkma yeteneğidir. Savaş ve çatışmada, bireylerin ve toplulukların zorluklar karşısında hayatta kalmaları ve sebat etmeleri için dayanıklılık şarttır.

Tablo 2: Duygu seçimi için gerekçe. Tablo, duygu gruplarını Hinglish eşdeğerleriyle eşleştiriyor ve savaş ve çatışma bağlamlarındaki alaka düzeylerini açıklıyor.

Bununla birlikte, bu duyguların seçiminin sadece küme analizine dayanmadığı, aynı zamanda Bilişsel Değerlendirme Teorisi (CAT), Ayrık Duygular Teorisi (DET) ve Süreç Odaklı Duygu Teorisi (POT) dahil olmak üzere duygu teorilerine de dayandığı belirtilmelidir⁴³.

Derlem detayları
Veri kümesi, alana özgü (Savaşlar, çatışmalar ve krizler) ve Hintçe ve İngilizce tweet'lerin bir karışımını içeren ek tweet veri kümelerinden oluşur. Şekil 3 , bu araştırma çalışması için işlenmekte olan herkese açık tweet veri kümelerinin bir anlık görüntüsüdür. Birincil veri kümesi https://data.mendeley.com/datasets/y63frd6pmf/7'da genel kullanıma sunulmuştur.

Şekil 3: Derlem detayları. Veri kümesinin kullanılabilirliği burada açıklanmıştır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Duygu etiketlerinin ek açıklaması
Savaş ve çatışmayla ilgili 10.040 Hinglish tweet'inden oluşan ilk külliyat, iki dilli uzmanlar tarafından sekiz duygu etiketi ile manuel olarak açıklandı. Kod karma metnin dilsel karmaşıklığını ele almak için, birkaç bileşeni içeren sözcüksel kural tabanlı bir çerçeve geliştirilmiştir. Çerçeve, Hintçe/İngilizce terimleri duygularla eşleştiren Duyguya Özgü Sözlükleri içerir, örneğin fear_words = {Korku, Dehşet, Bhayanak, , Terör, } ve anger_words = {gussa, öfke, , tahriş, }. Diller arası eşdeğerlik kuralları terimleri birbirine bağladı (örneğin, if (Ae == Ah): öfke = gussa | ). Duygu sözlükleri, karma diller için tokenizasyon ve alt kelime ayrıştırma gibi sözcüksel kurallar kullanılır. Duygulara açıklama eklemek için, bu kurallar metni önceden işler ve özellikleri çıkarır, bunlar daha sonra makine öğrenimi yerleştirmeleriyle^{birleştirilir 45}.

Tokenizasyon için çerçeve, dil değiştirme, noktalama işaretleri, emojiler ve alt kelime tokenizasyonu için özel kurallar kullandı. Hintçe (Devanagari) metin karakter düzeyinde tokenize edilirken, İngilizce (Roman) boşluk kullandı. Örnek: Mujhe frustration hai → [Mujhe, hayal kırıklığı, hai]. Hashtag'ler (#) ve bahsetmeler (@) gibi Özel Karakterler ayrı belirteçler olarak izole edildi (örneğin, #WarCrimes → [#, Savaş Suçları]), virgül (,) ve ünlem işaretleri (!) gibi noktalama işaretleri ayrı belirteçlere bölündü (örneğin, → , !]).

Emojiler ayrıca bağımsız belirteçler olarak ele alındı ve duygularla eşleştirildi (örneğin, → öfke, → üzüntü). Bileşik kelimelerin Sandhi kuralları için normal ifade kalıpları kullanılarak bölündüğü Devanagari yazısı ile yapılan alt kelime tokenizasyonu (örneğin, ] [krallık + dünya]) ve Roma Yazıları önekleri/sonekleri bölümlere ayrıldı (örneğin, inanılmaz → [un, inanan]). Etki alanına özgü genişleme için, sözlüklerde eşleşirse belirteçler duygu etiketleriyle değiştirildi. Örneğin: Bhayanak korkuyu →, Dahad" korkuyu →, gussa → öfke. Tweet Mujhe Bhayanak lag raha hai → Tokens [Mujhe, korku, gecikme, raha, hai].

Vektörleştirmeden sonra, işlenen belirteçler (kelimeler, alt kelimeler, emojiler) Word2Vec/fastText kullanılarak 300 boyutlu yerleştirmelere dönüştürüldü. Belirteçlerin sütun vektörlerindeki sayısal gösterimler, belirteçlere karşılık gelen bir vektör matrisi. Her satır, metndeki bir belirteçle ilişkilendirilmiş ve belirtecin sırasını temsil eden bir gömme vektörüne karşılık gelir. Bir satırdaki sütunlar, gömme alanındaki boyutları belirtir. Vektörler, Word2Vec ve FastText kullanılarak hesaplanan gerçek sayıları içerir. Tüm sıfır değerlerine sahip satırlarla gösterilen sıfır vektörlü belirteçler, bu gösterimde anlamlı bilgilerden yoksun boşlukları veya özel karakterleri gösterebilir. Gömmeler, daha iyi açıklama için bağlamsal kelime ilişkilerini yakalamayı amaçlar. Sıfır olmayan vektörler, kelimelerin veya sembollerin anlamlı temsillerini gösterir. Bu vektörlerdeki değerler çeşitli anlamsal ve sözdizimsel özellikleri kodlar. Sıfır vektörler genellikle dolguyu, boşluğu veya tanınmayan belirteçleri temsil eder. Değerlerdeki değişkenlik, katıştırma modeli tarafından yakalanan özelliklerin zenginliğini yansıtır. Farklı vektör boyutları, bir sözcüğün anlamının, bağlamının ve kullanımının çeşitli yönlerini yakalar. Şekil 4 , vektörlerin nasıl temsil edildiğini gösterir ve Şekil 5'ten, vektörleştirme işlemini kullanmanın etkileri anlaşılabilir.

Şekil 4: Özel tokenizasyon. Şekil, vektörlerin gömme alanında nasıl temsil edildiğini gösterir ve her bir belirtecin sayısal bir formata nasıl aktarıldığını gösterir Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 5: Token vektörleştirme süreci ve etkileri. Şekil, bu süreçlerin, bileşenlerin anlamını göstermekte ve bu gömmelerin nasıl yakalandığını, doğru duygusal sınıflandırma için duyguların anlambilimi olduğunu vurgulamaktadır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Araştırma akışına göre süreç, giriş metninin ayrıştırılması, kural tabanlı sözlükleri kullanarak belirteçlerin genişletilmesi ve ardından bu belirteçlerin alt kelimelere ayrılmasıyla başlar. Bu yaklaşım, metnin duygusal içeriğinin ve kültürel bağlamının anlaşılmasını sağlar ve araştırma için sözde mantık aşağıda verilmiştir.

Duygu sözlüklerini başlatın (örneğin, fear_words = {"Korku", "Korku", "Bhayanak", ...}): Ae = Ah olarak ayarlayın
SubwordRules(token, script): Devanagari → normal ifade (bileşik/Sandhi) kullanarak bölünürse, Roman → önekleri/sonekleri normal ifade kullanarak bölerse, Alt sözcükleri döndür
DomainSpecificExpansion(token): Duygusal/dilbilimsel sözlüklerde belirteç duygu → döndürürse
Aksi takdirde → dönüş belirteci
ProcessTweet(text): Devanagari, Roman ve diğerleri için normal ifade tanımlayın; Normal ifade kullanarak belirteçleri ayıklayın; Belirteçlere DomainSpecificExpansion ve SubwordRules uygulayın; İşlenmiş alt sözcükleri döndür
Belirteçleri sayısal yerleştirmelere vektörleştirin
Aktif Öğrenmeyi insan geri bildirimleriyle uygulayın

Results

Bu araştırmanın bulgusu, sözcüksel kuralların makine öğrenimi ve aktif öğrenme teknikleriyle entegre edilmesinin, kod karışık hinglish metindeki duygu açıklamalarının verimliliğini ve doğruluğunu artırmak için uygun bir yol sunduğunu göstermektedir. Yinelemeli iyileştirme ve uzman önerisi sayesinde, önerilen çerçeve, evrim matrisleri arasında yüksek performansı sürdürürken manuel çabada kayda değer azalmalar elde edebildi. Sonuçlar, ölçeklenebilir bir duygu tanıma çözümü gerektiren alanla...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
hızlı Metin	Facebook AI	YOK	Kelime gösterimi ve sınıflandırması
Google Ortak Çalışması	Google'da	YOK	Bulut tabanlı Jupyter Notebook ortamı
Google Colab GPU/TPU	Google'da	YOK	Bulut tabanlı donanım hızlandırma
Intel Core i5/i7 veya AMD Ryzen 5/7	Intel / AMD	YOK	Yerel yürütme için işlemci (gerekirse)
Matplotlib	Açık kaynak	YOK	Veri görselleştirme kitaplığı
NLTK	Açık kaynak	YOK	Metin işleme için Doğal Dil Araç Seti
NumPy	Açık kaynak	YOK	Sayısal hesaplama kütüphanesi
NVIDIA GTX 1650 veya üstü (isteğe bağlı)	NVIDIA	YOK	Derin öğrenme görevleri için GPU
Pandalar	Açık kaynak	YOK	Veri işleme kitaplığı
Python	Python Yazılım Vakfı	YOK	ML ve NLP için programlama dili
PyTorch	Meta AI	YOK	Derin Öğrenme çerçevesi
RAM (Minimum 8 GB, 16 GB Önerilir)	Çeşitli	YOK	ML görevleri için bellek gereksinimi
Scikit-öğren	Açık kaynak	YOK	Makine Öğrenimi kitaplığı
Denizde Doğan	Açık kaynak	YOK	İstatistiksel veri görselleştirme
SpaCy	Patlama AI	YOK	Endüstriyel güçte NLP kitaplığı
SSD Depolama (Minimum 256 GB, 512 GB Önerilir)	Çeşitli	YOK	Veri kümesi işleme için depolama
TensorFlow	Google'da	YOK	Derin Öğrenme çerçevesi