Uczenie maszynowe i oparte na regułach leksykalnych, ekonomiczne adnotacje emocji wypowiedzi Hinglish

Summary

To badanie łączy strategię opartą na regułach z uczeniem maszynowym i pomocą ekspertów w celu dodawania adnotacji do tekstu w języku Hinglish i angielskim. Dane są testowane na 19 000 tweetów z 81% dokładnością i są znacznie tańsze niż robienie tego ręcznie. Może być przydatny do śledzenia emocji podczas kryzysu.

Abstract

Adnotacje dotyczące emocji w językach mieszanych z kodem, takich jak hinglish (hindi-angielski), stanowią wyjątkowe wyzwanie ze względu na złożoność językową i ograniczenia zasobów. To badanie wprowadza hybrydową platformę aktywnego uczenia się, która łączy reguły leksykalne, uczenie maszynowe i iteracyjne informacje zwrotne od ekspertów w celu uzyskania opłacalnych i dokładnych adnotacji emocji. Opierając się na psychologicznych teoriach emocji, w tym teorii emocji dyskretnych i teorii oceny poznawczej, ramy wykorzystują dwujęzyczne słowniki emocji (np. mapowanie gussa i wściekłości na gniew), tokenizację podsłów dla terminów złożonych (np. podział na ) oraz aktywne uczenie się w celu priorytetyzacji niejednoznacznych próbek. Oceniono na podstawie 19 000 zestawów danych tweetów Hinglish związanych z wojną i konfliktem, platforma osiągnęła 81% dokładności (F-score: 0,76), jednocześnie zmniejszając koszty operacyjne o 40% w porównaniu z ręcznymi adnotacjami. Reguły leksykalne rozwiązały 89% niejasności związanych z przełączaniem kodu, a iteracyjne udoskonalenia umożliwiły przyrostowy wzrost dokładności z 72% do 81%. Wydajność systemu wynika z ograniczenia ludzkiego wysiłku do 73% zbioru danych, z automatycznym wstępnym przetwarzaniem emotikonów, hashtagów i slangu. Badanie to opiera się na hipotezie, że integracja metod opartych na regułach leksykalnych z aktywnym uczeniem się i uczeniem maszynowym może zwiększyć dokładność adnotacji emocji w tekście Hinglish, jednocześnie zmniejszając ręczne etykietowanie i ogólny wysiłek związany z adnotacjami.

Introduction

Gdy dwa lub więcej języków jest zmieszanych ze sobą w jednym wierszu lub mowie, nazywa się to językiem mieszanym z kodem. Jest to powszechne w swobodnych dialogach, takich jak Hinglish. Istnieje wiele sposobów, w jakie ludzkie emocje mogą być zrozumiane, a obliczeniowe modelowanie serii emocjonalnych stwierdzeń polega na dodawaniu do nich adnotacji przez osoby, które wypowiedziały te zdania. Można to rozumieć w kategoriach poziomu biologicznego, fizjologicznego, psychologicznego i tak dalej. Według naukowców, takich jak Roger Penrose, wiele zjawisk w naszym świecie nie jest obliczeniowych, a naukowcy tacy jak Wolfram uważają, że wszystko (każde zjawisko) można modelow....

Protocol

W tej sekcji wyjaśniono również, w jaki sposób skonstruowano multimodalną strukturę dla adnotacji 8 emocji. Sekcja rozpoczyna się od omówienia właściwości zestawu danych, po którym następują kolejne procedury. Aby lepiej zrozumieć procedurę badawczą, zapoznaj się z rysunkiem 1.

Rysunek 1: Systematyczne ramy adnotacji emocji. Rysunek wyjaśnia efektywną emocję, adnotację tekstu hinglish, która łączy uczenie maszynowe, aktywne uczenie się i dynami....

Results

Wyniki tych badań sugerują, że integracja reguł leksykalnych z technikami uczenia maszynowego i aktywnego uczenia się oferuje realną ścieżkę do zwiększenia wydajności i dokładności adnotacji emocji w tekście hinglish mieszanym z kodem. Dzięki iteracyjnemu udoskonalaniu i sugestiom ekspertów zaproponowana struktura była w stanie osiągnąć znaczne zmniejszenie nakładu pracy ręcznej przy jednoczesnym utrzymaniu wysokiej wydajności we wszystkich matrycach ewolucji. Wyniki wskazują na potencjał.......

Discussion

Zestaw danych dla tego badania został wyselekcjonowany przy użyciu kombinacji ręcznych adnotacji i aktywnego uczenia się. Początkowo 10 040 tweetów Hinglish związanych z wojną i konfliktem zostało ręcznie oznaczonych ośmioma predefiniowanymi emocjami. Zbiór danych został następnie rozszerzony do 19 000 tweetów przy użyciu podejścia półautomatycznego. Aktywne uczenie się umożliwiło selektywną interwencję eksperta, zmniejszając wysiłek manualny o 40% przy jednoczesnym utrzymaniu wysokiej dokładności adnotacji wynoszącej 81.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
fastText (szybki tekst	Sztuczna inteligencja Facebooka	N/A	Reprezentacja i klasyfikacja słów
Współpraca z Google	Wyszukiwarka Google	N/A	Oparte na chmurze środowisko Jupyter Notebook
Procesor graficzny/TPU Google Colab	Wyszukiwarka Google	N/A	Akceleracja sprzętowa oparta na chmurze
Intel Core i5/i7 lub AMD Ryzen 5/7	Intel / AMD	N/A	Procesor do wykonywania lokalnego (jeśli jest wymagany)
biblioteka matplotlib	Oprogramowanie typu open source (oprogramowanie typu open source)	N/A	Biblioteka wizualizacji danych
NLTK (Biblioteka NLTK)	Oprogramowanie typu open source (oprogramowanie typu open source)	N/A	Zestaw narzędzi języka naturalnego do przetwarzania tekstu
NumPy	Oprogramowanie typu open source (oprogramowanie typu open source)	N/A	Biblioteka obliczeń numerycznych
NVIDIA GTX 1650 lub lepsza (opcjonalnie)	Technologia NVIDIA	N/A	Procesor graficzny do zadań głębokiego uczenia
Pandy	Oprogramowanie typu open source (oprogramowanie typu open source)	N/A	Biblioteka manipulacji danymi
Język Python	Fundacja oprogramowania Python	N/A	Język programowania dla ML i NLP
Pochodnia PyTorch	Meta Sztuczna inteligencja	N/A	Struktura głębokiego uczenia
Pamięć RAM (minimum 8 GB, zalecane 16 GB)	Rozmaity	N/A	Wymagania dotyczące pamięci dla zadań uczenia maszynowego
Scikit-naucz się	Oprogramowanie typu open source (oprogramowanie typu open source)	N/A	Biblioteka uczenia maszynowego
Urodzony na morzu	Oprogramowanie typu open source (oprogramowanie typu open source)	N/A	Wizualizacja danych statystycznych
SpaCy	Sztuczna inteligencja eksplozji	N/A	Biblioteka NLP o sile przemysłowej
Pamięć SSD (minimum 256 GB, zalecane 512 GB)	Rozmaity	N/A	Magazyn do przetwarzania zestawu danych
Technologia TensorFlow	Wyszukiwarka Google	N/A	Struktura głębokiego uczenia