Araştırma makalesi

Sağlıklı Yetişkinlerde Duygu Uyandırma Görevleri Sırasında Bir Yüz İfadesi ve Hareket Analiz Algoritmasının Ön Doğrulaması

DOI:

10.3791/70843

14 Ağustos 2026

Bu makalede

Özet

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, duygusal uyaran görevleri sırasında verilen tepkileri tespit etmek için tescilli bir makine öğrenimi algoritması olan FEA algoritmasını öncül olarak doğrulamaktadır. Çalışma, sağlıklı yetişkinlerde Navarasa çerçevesini kullanarak FEA algoritması skorları ile standartlaştırılmış yüzsel duygu uyaranları arasındaki uyumu incelemekte ve sistemin kontrollü deneysel koşullar altında duyguyla ilgili tepkileri güvenilir bir şekilde yansıtıp yansıtmadığını değerlendirmektedir.

Özet

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu protokol, sağlıklı yetişkinlerde standartlaştırılmış duygu uyandırma görevleriyle uyumlu olarak duygu puanlarının değişip değişmediğini test ederek, Navarasa çerçevesine dayalı tescilli bir makine öğrenimi algoritması olan Emoscape'i ön olarak doğrulamak amacıyla tasarlanmıştır. Yazılı bilgilendirilmiş onam verdikten sonra yetmiş iki sağlıklı yetişkin çalışmaya dahil edilmiştir. Katılımcılar Hasta Sağlık Anketi-9 ve Yaygın Anksiyete Bozukluğu-7 formlarını doldurmuş, ardından TRENDS setinden yüzsel duygu uyaranlarını ve Navarasa görüntülerini izlemişlerdir; bu sırada FEA algoritması görev boyunca üst vücut mikro hareketlerini kaydetmiştir. Katılımcılar ayrıca görüntülenen duyguları tanımlamışlardır. TRENDS'ten alınan nötr, mutlu, korku ve öfke uyaranlarına maruz kalma sırasında ve Navarasa görüntülerine maruz kalma sırasında FEA algoritması puanlarının başlangıç değerlerinden sapmaları analiz edilmiştir. Duygusal kategoriler arasındaki ayrımı belirlemek için duyarlılık ve özgünlüğü tahmin etmek amacıyla alıcı işletim karakteristik analizine başvurulmuştur. FEA algoritması puanları, ilgili duygularla eşleştirilen TRENDS görüntüleri (Nötr–Shanta, Mutlu–Haasya, Korku–Bhayanaka ve Öfke–Raudra) için başlangıç değerlerinden anlamlı sapmalar göstermiştir. Navarasa görüntülerinde de uyumlu değişiklikler gözlemlenmiş ve tüm ortalama farklar istatistiksel olarak anlamlı bulunmuştur (p < 0.001). Eğri altında kalan alan (AUC) değerleri kategoriler arasında farklılık göstermiştir. FEA algoritması, hoş duygular (%70–80) ve hoş olmayan duygular (%60–70) için orta düzeyde duyarlılık göstermiştir. Bu bulgular, protokolü ve sağlıklı yetişkinlerde kontrollü duygu uyandırma görevleri sırasında duyguyla ilgili yanıtları değerlendirmek için FEA algoritmasının kullanımını ön olarak desteklemektedir.

Giriş

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Duygu tanıma, potansiyel klinik ve araştırma uygulamaları ile sosyal bilişsel nörobilim içinde önemli bir araştırma alanıdır. Mevcut duygusal değerlendirme yöntemleri, duygusal durumları anlamlandırmak için elektroensefalografi (EEG) veya galvanik deri direnci (GSR) gibi fizyolojik aktivitelerdeki değişimleri nicelleştirir. Ancak bu yöntemler karmaşık ve invazivdir. Yüz ve vücut hareketlerinin doğrudan ölçümleri, bireyin afektif durumuna dair daha anlık ve gözlemlenebilir bir indeks sunar1,2,3. Makine öğrenimi (ML) algoritmaları, özellikle yüz ifadelerinin büyük ve heterojen veri setleri üzerinde eğitilenler, bu tür ince sözel olmayan sinyalleri çözmek ve duygusal durumları sınıflandırmak için kullanılır. Destek vektör makineleri (SVM'ler) gibi geleneksel ML algoritmaları yaygın olarak kullanılmaya devam etse de, derin öğrenme mimarileri, özellikle sinir ağları (NN'ler)4,5, otomatik özellik çıkarma kapasiteleri sayesinde, özellikle büyük ölçekli veri setleri üzerinde eğitildiklerinde üstün performans göstermişlerdir6. Hindistan bağlamında geleneksel bir model örneği, uyarılmışlık düzeyini belirlemek için valans tabanlı boyutsal bir model benimseyen etkileşimli bir araçtır. Duygu tanıma çerçeveleri kültürel bağlama karşı duyarlı olmalıdır. Hindistan kültürel ortamında Navarasa çerçevesi, dokuz temel duygunun nüanslı bir taksonomisini sunar, ancak ML tabanlı duygu tanıma araştırmaları kapsamında büyük ölçüde incelenmemiş durumdadır. Yüz mikro ifadeleri ve vücut hareketleri gibi gözlemlenebilir davranışsal ipuçlarını doğrudan analiz eden, titizlikle doğrulanmış ML yaklaşımlarının nispeten azlığı söz konusudur7,8. Bu tür ifade odaklı ML algoritmaları gerçek zamanlı olarak kullanılabilir, uygulanması kolaydır ve invaziv değildir.

Yüz İfadesi ve Hareket Analizi algoritması [bundan sonra FEA algoritması olarak anılacaktır], yüz mikro ifadelerini ve üst vücut hareketlerini analiz eden; Navarasa çerçevesine dayanarak dokuz rasa'nın her biri için duygusal yörüngelerin dinamik temsillerini ve toplanmış puanları oluşturan, tescilli bir ML tabanlı algoritmadır. Bu çalışma, sağlıklı yetişkin gönüllülerde FEA kaynaklı puanlar ile standardize edilmiş yüz duygusu uyaranlarına verilen yanıtlar arasındaki uyumu inceleyerek FEA algoritmasının ön doğrulamasını yapmayı amaçlamıştır.

Bu amaçla, Zihin Teorisi (ToM) ve ayna nöron sistemi kavramlarından yararlanıyoruz. ToM, bireylerin sosyal bağlamlarda başkalarının zihinsel ve duygusal durumlarını çıkarsamasını ve yorumlamasını sağlayan temel bir sosyal-bilişsel kapasitedir9. Ampirik kanıtlar, yüzeydeki duygusal uyaranlara maruz kalmanın, gözlemleyicide uyumlu ve dolaylı bir duygusal durum ortaya çıkaran ayna nöron ağlarını aktive ettiğini göstermektedir10. Duygusal yüz ifadelerini izlemeye yanıt olarak bir bireyin içsel, subjektif duygusal durumunda meydana gelen bu modülasyon, FEA algoritması tarafından yakalanırsa, algoritmanın ön bir doğrulamasını sağlayabilir.

Belirli bir Navarasa kategorisine karşılık gelen yüzeysel duygusal uyaranlara maruz kalmanın, söz konusu Navarasa duygusuna yönelik FEA-algoritması skorunda, başlangıç değerinden istatistiksel olarak anlamlı bir sapma oluşturacağını hipotez ediyoruz.

Protokol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Çalışma protokolü Sushruta Hastaneleri Etik Kurulu, Hubballi, Karnataka, Hindistan tarafından onaylanmış (EK kayıt numarası: ECR/372/INST/KA/2013/RR-19) ve kayıt öncesinde tüm katılımcılardan yazılı bilgilendirilmiş onam alınmıştır.

FEA algoritması, Navarasa çerçevesini kullanarak duygusal durumları anlamlandırmak amacıyla yüz mikro ifadelerinin ve üst vücut hareketlerinin gerçek zamanlı analizi için geliştirilmiş, ML tabanlı tescilli bir yöntemdir. Klasik Hint estetik teorisinden türetilen Navarasa çerçevesi, dokuz temel duyguyu tanımlar: shringara (sevgi), haasya (neşe), karuna (keder/düşüncelilik), adbhuta (şaşkınlık), shanta (huzur), raudra (öfke), veera (cesaret), bhayanaka (korku) ve vibhitsa (iğrenme). FEA algoritması, dokuz Navarasa duygusunu canlandıran aktörlerin görüntülerinden elde edilen yüz mikro ifadeleri ve üst vücut hareketleri üzerinde eğitilmiş bir makine öğrenimi modeli kullanır. Algoritma, tek bir RGB kamera tarafından yakalanan görsel girdilerdeki ince yüz dinamiklerini ve mikro hareketleri analiz ederek bireyin duygusal durumunu anlamlandırır ve dokuz temel duygunun her biri için nicel puanlar üretir. Bu non-invaziv konfigürasyon, fark edilmeyen ve doğal bir duygusal değerlendirme imkanı sağlayarak yöntemi geniş bir araştırma ve uygulama alanı için uygun hale getirir.

Model geliştirme

FEA algoritması, bir yapay sinir ağı (NN) mimarisine dayanmaktadır. Eğitim veri seti kurum içinde toplanmış olup, dokuz Navarasa duygusunu canlandıran Hintli aktörlerin kaydedilmiş birkaç saatlik video verilerinden oluşmaktadır. Veri seti, farklı uyandırılmış duygusal durumlar boyunca her bir aktör/katılımcı için gerçekleştirilen çoklu kayıtlar/testlerle, çeşitli aktörlerin/katılımcıların kontrollü video kayıtlarından türetilmiştir. Yüz işaret noktası tespiti, zamansal tutarlılık kontrolleri, kalite filtreleme ve kullanılamaz veya düşük güvenilirlikli karelerin çıkarılmasını içeren ön işleme aşamalarının ardından, yaklaşık 25.000 yapılandırılmış eğitim örneği korunmuştur. Veri seti kürasyonu sırasında kayıtlar; yaş, cinsiyet ve diğer ilgili öznitelikler dahil olmak üzere ondan fazla demografik ve kayıtla ilgili parametreye göre tabakalandırılmış ve bu parametreler genelinde hakkaniyetli bir temsil sağlamak ve demografik yanlılığı en aza indirmek için kasıtlı olarak dengelenmiştir. Cinsiyet dağılımı yaklaşık %52 erkek ve %48 kadın olarak korunmuştur. Katılımcılar, genç, orta ve ileri yaşlı yetişkin kohortlarında temsil edilerek genel olarak ergen ve yetişkin yaş gruplarını kapsamıştır. Aktörler/katılımcılar Hindistan merkezli olup, Hindistan'daki çeşitli uluslararası etnik kökenlerin yanı sıra çok sayıda Hintli bölgesel ve kültürel arka planı temsil etmiştir. Tescilli kısıtlamalar nedeniyle; aktörlerin/katılımcıların kesin sayısı, aktör/katılımcı düzeyindeki kimlikler, aktör başına düşen kesin video/kayıt sayıları, kesin kare sayıları ve dahili açıklama metodolojisi açıklanamaz, çünkü bunlar Nihilent Ltd.'nin tescilli veri setinin ve model geliştirme fikri mülkiyetinin bir parçasıdır; bu sınırlama Tartışma bölümünde açıkça belirtilmiştir.

Bu kayıtlardan elde edilen yüz görüntüleri, nicel özellikler türetmek için görüntü işleme teknikleri kullanılarak işlenmiş ve bu özellikler daha sonra tahminleme için bir sinir ağının girdileri olarak kullanılmıştır. Bu model ardından bir hedef popülasyonda değerlendirilmiş ve elde edilen içgörüler sonraki versiyonları yinelemeli olarak geliştirmek için kullanılmıştır. Geliştirme, test etme ve iyileştirme döngüsü, model performansı stabilize olana kadar tekrarlanmıştır. Nihai tahminleyici model; yaklaşık 300 seçilmiş özellikten oluşan bir giriş katmanı, gizli katmanlar ve dokuz Navarasa duygu kategorisine karşılık gelen dokuz boyutlu bir skor vektörü üreten bir çıkış katmanından oluşan çok katmanlı bir perseptron (MLP) olarak uygulanmıştır. Yakalanan verilerden başlangıçta 700'den fazla özellik türetilmiş ve ardından özellik seçimi ile model optimizasyonu prosedürleri aracılığıyla azaltılmıştır. MLP çıkış skoru, nihai toplulaştırılmış FEA-algoritma skorlarını türetmek için tescilli son işlem algoritmalarına aktarılmaktadır. Eğitilebilir parametrelerin kesin sayısı ve spesifik katman boyutları dahil olmak üzere diğer mimari detaylar tescillidir ve açıklanamaz; bu durum mevcut raporun bir kısıtlaması olarak kabul edilmektedir. Model geliştirmesinin ayrıntılı bir açıklaması ek materyalde (Ek Dosya 1 ve Ek Şekil 1) sunulmuştur.

Yinelemeli geliştirme sürecinde, model performansı kurum içi veri seti üzerinde çapraz doğrulama kullanılarak değerlendirilmiş ve dokuz Navarasa kategorisinde %96 çapraz doğrulanmış sınıflandırma doğruluğuna ulaşılmıştır. Ardından, 15.000 dakikadan fazla video verisi üzerinde bağımsız doğrulama gerçekleştirilmiştir. Tüm dokuz Navarasa kategorisindeki sınıflandırma performansını özetleyen normalize edilmiş 9 × 9'luk bir karışıklık matrisi ek materyalde (Ek Dosya 1) sunulmuştur.

Stabilizasyonun ardından model, uzman gözetiminde kontrollü bir dahili doğrulamaya tabi tutulmuştur. Bu yaklaşım, doğrudan insan denekler üzerinden yapılan testlerle ampirik doğrulamaya önem vererek, gerçek dünya uygulanabilirliğinin ve farklı popülasyonlar genelindeki sağlamlığın değerlendirilmesine olanak tanımıştır. Model geliştirme süreci Şekil 1'de özetlenmiştir.

Hasta Sağlık Anketi-9 (PHQ-9) ve Yaygın Anksiyete Bozukluğu-7 (GAD-7) ölçeği: Katılımcılar, mevcut duygusal durumlarını değerlendirmek amacıyla eğitimli bir psikolog gözetiminde öz bildirim anketlerini doldurmuşlardır. Uygulanan araçlar arasında Hasta Sağlık Anketi-9 (PHQ-9) ve Yaygın Anksiyete Bozukluğu-7 (GAD-7) ölçeği yer almaktaydı. Herhangi bir ölçekten alınan 9 üzerindeki bir skor klinik olarak anlamlı kabul edilmiştir.

EĞİLİMLER

Nöropsikiyatrik Bozukluklarda Duyguların Tanınması Aracı (Tool for Recognition of Emotions in Neuropsychiatric Disorders - TRENDS), yüz ifadeleriyle duygu tanıma yeteneklerini değerlendirmek için tasarlanmış, kültürel olarak valide edilmiş ve ekolojik olarak hassas bir araçtır11. Hint popülasyonlarında kullanımı valide edilmiş olan bu araç; nötr, mutluluk, korku, öfke ve üzüntü şeklindeki evrensel temel duyguları betimleyen aktörlere ait 40 fotoğraftan oluşmaktadır. TRENDS'ten alınan görüntüler, FEA algoritmasının duygu sınıflandırma çıktılarının validasyonu için referans stimüli olarak kullanılmıştır.

Deneysel tasarım

Deney, duygusal uyaranlara karşı algoritmik bir yanıt oluşturmak amacıyla tasarlanmıştır. Bu çalışma için iki farklı duygu uyandırma paradigması geliştirilmiş ve kullanılmıştır.

TRENDS görüntüler paradigması

İlk paradigmada, bir video dizisi başlangıçta 60 saniye boyunca boş bir ekran sunmuş, ardından duygusal uyaranların gösterimi gerçekleşmiştir. Duygusal uyaranlar TRENDS aracı kullanılarak seçilmiştir. Tarafsızlık, mutluluk, üzüntü, öfke ve korku × iki cinsiyet × iki yaş grubunu temsil eden toplam 20 görüntü sunulmuştur. Her bir uyaran 5 saniye boyunca gösterilmiştir. Bu nedenle toplam uyaran sunum süresi 20 × 5 saniye olmuş, birbirini izleyen görüntüler arasında ek olarak 10 saniyelik boş ekran aralıkları yer almış ve toplam süre 300 saniye olarak gerçekleşmiştir. Her 10 saniyelik boş aralık boyunca katılımcıların, ekranda görüntülenen beş duygu etiketinden birini seçerek bir önceki görüntüde betimlenen duyguyu tanımlamaları istenmiştir.

Navarasa paradigması

Dokuz rasa'dan oluşan Navarasa çerçevesine dayalı, benzer ikinci bir video paradigması oluşturulmuştur. Toplam 18 görüntü (dokuz duygu × iki cinsiyet) sunulmuştur. Her uyaran 5 s boyunca görüntülenmiş ve görüntüler arasında 10 s'lik boş bir ekran bırakılarak toplamda 270 s'lik bir süre elde edilmiştir. Dokuz duygu; nötr (shanta), hoş (haasya, veera, shringara, adbhuta) veya hoş olmayan (Krodha, vibhitsa, bhayanaka, karuna) şeklinde kategorize edilmiştir. Her 10 s'lik boş aralıkta katılımcıların, ekranda sunulan üç seçenekten birini (nötr, hoş veya hoş olmayan) seçerek bir önceki görüntüde tasvir edilen duyguyu sınıflandırmaları istenmiştir. Katılımcıların duygu tanımlama yanıtlarının kaydedilmesini kolaylaştırmak amacıyla dokuz Navara üç kategori altında gruplandırılmıştır.

Katılımcılar

Sağlıklı yetişkin gönüllüler, iş yeri ortamlarından ve eğitim kurumlarından seçilmiştir. Dahil edilme kriterleri, her cinsiyetten/cinsiyet kimliğinden 18–50 yaş arası bireyleri kapsamaktadır. Hariç tutma kriterleri arasında tanı konulmuş psikiyatrik bozukluklar, nörolojik bozukluklar, önemli görme bozukluğu öyküsü veya baş ve boyun hareketlerini kısıtlayan fiziksel engeller yer almıştır.

Prosedür

Katılımcılar, kameranın göz hizasında olduğu ve 60–70 cm uzaklığa konumlandırıldığı şekilde oturtulmuştur. Çalışmada FEA algoritması kullanılmıştır. Uygulama dizüstü bilgisayarda açılmış ve araştırmacı denek kimlik numarasını girmiştir. Deney boyunca FEA algoritması, yüz ifadelerinin ve mikro hareketlerin daha sonra analiz edilebilmesini sağlamak için sürekli olarak video verisi kaydetmiştir. Başlangıçta, katılımcıların rahatlamalarının ve belirgin dışavurumcu davranışlardan kaçınmalarının istendiği 60 s'lik bir bazal kayıt alınmıştır. Bazal kayıt alımının ardından katılımcılar, iki video paradigmasına (TRENDS görüntüleri ve ardından Navarasa) maruz bırakılmıştır. Sunum sırasıyla ilgili olası karıştırıcı etkileri en aza indirmek için tüm katılımcılar paradigmaları aynı sabit sırayla izlemiştir; ancak bu sabit sıra, sıra etkilerine yol açmış olabilir. Kayıt oturumları sırasında, dikkat dağınıklığını azaltmak için araştırmacı odanın dışında kalmıştır. Araştırmacı, oda dışındayken deneyi bir mobil uygulama aracılığıyla uzaktan izlemiştir. İki paradigma arasında katılımcılara kısa bir dinlenme arası verilmiştir (Şekil 2).

Analiz

Veri sadakatini sağlamak için toplanan veriler, uygulamaya girilen denek kimliği (ID) ile eşleştirilmiştir. FEA algoritması; video edinimi, özellik tespiti ve çıkarımı, veri ön işleme, duygu sınıflandırması ve çıktı yorumlama olmak üzere beş ana aşamadan oluşan, otomatik duygu çıkarımı için yapılandırılmış, uçtan uca bir hesaplama hattı kullanır. Çıkarılan özellikler; gürültü azaltma, denekler ve aydınlatma koşulları arasında normalizasyon ve eksik karelerin interpolasyonu dahil olmak üzere bir dizi ön işleme işlemine tabi tutulmuştur. Sinyal stabilitesini artırmak için zamansal düzleştirme uygulanmıştır. Elde edilen özellik vektörleri, sınıflandırma modeli tarafından işlenmek üzere zamansal olarak hizalanmıştır. Zamanla hizalanmış ve gürültüden arındırılmış bu özellik matrisleri, duygu sınıflandırma bileşeni için girdi olarak kullanılmıştır.

Öznitelik çıkarımı

Ekstraksiyon çerçevesi, standart 2D monoküler video görüntü akışlarını yeniden yapılandırılmış bir 3D koordinat uzayına dönüştüren çok özellikli bir ekstraksiyon aşaması algoritmik hattı kullanır. Sistem, ham 2D piksel takibine güvenmek yerine, yüz ve üst vücut boyunca yerelleştirilmiş uzamsal koordinatları haritalandırır. Türetilen özellikler üç geniş kategoriye ayrılır: (i) UNESCO tarafından tanınan, insan duygusal ifadesinin en eski resmileştirilmiş çerçevesi olan Natyashastra'ya dayanan Navarasa çerçevesinden alınan göz bölgesi ipuçları ve yüz mikro-ifade korelasyonları dahil olmak üzere, yüz yapısının ve dinamiklerinin geometrik tanımlayıcılarını kapsayan yüz nirengi bölgeleri; (ii) başın yönelimini ve hareketini yakalayan baş pozisyonu bilgisi; ve (iii) üst vücudun sonuçlanan hareketini yakalayan üst vücut hareket özellikleri. Kesin nirengi indeksleri ve anahtar nokta tanımlayıcıları da dahil olmak üzere spesifik özellik tanımları tescillidir ve tamamen açıklanamaz; bu durum bir kısıtlama olarak kabul edilmektedir. Sistem, Yüz Eylem Kodlama Sistemi (FACS) eylem birimi etiketlerini doğrudan kullanmaz; bunun yerine, yüz ve vücut hareketlerinden geometrik ve zamansal özellikler türetir. Bu 3D uzamsal dönüşümler, MLP sınıflandırıcısına girdi olarak hizmet eden kapsamlı bir davranışsal özet vektörü oluşturmak için zaman içinde toplanır. Toplamda, yakalanan verilerden başlangıçta 700'den fazla aday özellik türetilmiş ve ardından özellik seçimi ve model optimizasyonu yoluyla yaklaşık 300 seçili özelliğe düşürülmüştür. Yapısal işlem hattı, video alımından başlayarak 2D'den 3D'ye uzamsal yeniden yapılandırma, zamansal toplama ve sınıflandırma öncesi özellik normalizasyonu şeklinde ilerler.

Duygu sınıflandırma modeli

Ön işlemden geçirilmiş öznitelik vektörleri; Śṛṅgāra (aşk), Hāsya (neşe), Karuṇā (keder), Raudra (öfke), Vīra (cesaret), Bhayānaka (korku), Bībhatsa (iğrenme), Adbhuta (şaşkınlık) ve Śānta (huzur) olmak üzere dokuz Navarasa duygu kategorisine karşılık gelen kurum içi etiketli veri seti üzerinde eğitilmiş gözetimli bir çok katmanlı algılayıcı (MLP) sinir ağı mimarisine aktarıldı. Model, dışavurumcu davranışsal verilerdeki uzaysal-zamansal bağımlılıkları yakalamak için özel olarak tasarlanmıştır. Mimari, her zaman adımında dokuz kategori için tahmin edilen duygu yoğunluklarından oluşan bir vektör üretmiştir.

Model çıktılarının son işlemesi

Ham model çıktıları, daha sonra kararlı ve yorumlanabilir duygu skorları elde etmek amacıyla son işleme tabi tutulmuştur. Sırasıyla üç işlem uygulanmıştır: (i) kısa süreli dalgalanmaları azaltmak için zamansal yumuşatma, (ii) zaman içinde ve duygu boyutları arasında karşılaştırılabilirliği sağlamak için normalizasyon ve (iii) belirli zamansal pencereler veya tüm diziler üzerinden özet ölçümler türetmek için agregasyon. Son işlem prosedürleri, denekler arası karşılaştırılabilirliği sağlar ve bireyler arası bazal varyasyonu kontrol eder.

Çıktı yorumlama ve görselleştirme

FEA algoritması, video verilerinden çıkarılan duygusal dinamiklerin nicel ve görsel temsillerini oluşturur. Çıktının iki ana formu şunlardır: zamansal duygu yörüngeleri. Duygu yoğunluğu değerleri, her bir duygunun video boyunca gelişimini gösteren zaman serisi grafikleri olarak görselleştirilir. Bu temsil, afektif varyasyonun sürekli bir görünümünü sağlayarak geçici değişimlerin, pik aktivasyonların ve duygusal uyarılmadaki iyileşme veya azalma evrelerinin incelenmesini kolaylaştırır. Karşılaştırmalı duygusal skorlar: Dokuz Navarasa kategorisinin her biri için toplulaştırılmış duygu değerleri, analiz edilen aralık boyunca her bir duygunun göreceli büyüklüğünü gösteren karşılaştırmalı skor grafikleri olarak görüntülenir. Bu karşılaştırmalı görselleştirmeler, duygular arasında doğrudan karşılaştırmalar yapılmasına olanak tanır ve genel afektif profilin kısa bir özetini sunar. Baz hattında oluşturulan FEA-algoritması skorları, yetersiz kayda işaret edebilecek herhangi bir düz çizgi (flatline) veya anlamlı değişim eksikliği açısından incelenmiştir.

İstatistiksel analiz

Paradigma içindeki her görüntü sunumunu takip eden 10 s'lik aralıkta FEA algoritması tarafından oluşturulan dokuz Navarasa duygu alanı puanı, sonuç değişkenleri olarak değerlendirildi. 10 s'lik penceredeki her s için FEA algoritma puanları oluşturuldu (T0, T1, T2… T9). T0'daki FEA algoritma puanı bazal puan olarak kabul edildi. T1–T9 arasındaki kayıtlar içinde en yüksek FEA algoritma puanı Tmax olarak tanımlandı. Bazal puana göre FEA algoritma puanındaki değişim (Tmax − T0) hesaplandı ve analizlerde sonuç değişkeni olarak kullanıldı. Her bir duygu için zaman serisi boyunca FEA algoritma puanlarındaki değişim Şekil 3A–D'de gösterilmiştir.

TRENDS görüntüleri için ilgili hedef duygu kategorileri şu şekilde eşleştirilmiştir: Shanta > Nötr; Haasya > Mutlu; Krodha > Öfke; ve Bhayanaka > Korku. Navarasa görüntüleri için FEA-algoritma skorları üç kompozit kategoride gruplandırılmış ve ortalamaları alınmıştır: nötr (Shanta), hoş (Haasya, Veera, Shringara, Adbhuta) ve hoş olmayan (Krodha, Vibhitsa, Bhayanaka, Karuna).

Hem grup düzeyi hem de denek düzeyi analizler gerçekleştirilmiştir.

Grup düzeyinde analiz: Yukarıda açıklanan her bir duygu kategorisi için, FEA-algoritma skorundaki bazal değerden Tmax'a kadar olan değişim, eşleştirilmiş t-testleri kullanılarak karşılaştırılmıştır. FEA-algoritma skorunda bazal değere göre meydana gelen anlamlı bir değişim, duygu tanıma ile iyi bir uyum olduğunu gösterir. Ancak, anlamlı bir fark olması, mutlaka güçlü bir sınıflandırma doğruluğu olduğu anlamına gelmez.

Denek düzeyinde analiz: Bir FEA-algoritması duygu alanı skorundaki bazal değerin üzerindeki herhangi bir artış, pozitif duygusal yanıt olarak sınıflandırılmıştır. Ardından duyarlılık ve özgüllük şeklinde doğruluk indeksleri türetilmiştir. Duyarlılık ve özgüllük, sırasıyla, hedef durum mevcut olduğunda (+) testin pozitif çıkma olasılığını ve durum mevcut olmadığında (−) negatif çıkma olasılığını nicelleştirir. Her iki tahmin de 1'e yaklaştığında, test tanısal doğruluk açısından iyi performans gösterir. Tahmini duyarlılık ve özgüllük, sırasıyla referans durumu (Navarasa ifadeleri) olan ve olmayan katılımcıların doğru şekilde sınıflandırılma oranları olarak tanımlanmıştır.

Bir denek, betimlenen duyguların en az %75'ini doğru şekilde tanımlamışsa hedef durumun mevcut (+) olduğu kabul edilmiştir. Bu sınıflandırma, %60–80'lik bir doğruluğun yeterli ayırt edici geçerlilik olarak kabul edildiği TRENDS doğrulama çalışmalarına dayandırılmıştır. Sürekli bir öngörücü için eğri altındaki alanı (AUC) ve buna karşılık gelen duyarlılık ile özgüllük değerlerini tahmin etmek amacıyla alıcı işletim karakteristik (ROC) analizi yapılmıştır. %80'in üzerindeki bir duyarlılık iyi ayırt etme yeteneği, %80'in altı ise mütevazı bir yetenek olarak değerlendirilmiştir.

Sonuçlar

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Çalışmada, duygu uyandırıcı uyarıcılara yanıt olarak FEA-algoritma skorlarındaki varyasyonlar incelenmiş ve FEA algoritmasının tanısal performansı, alıcı işletim karakteristiği (ROC) analizi kullanılarak değerlendirilmiştir. Çalışma için yetmiş iki sağlıklı gönüllü toplanmıştır. Ortalama (SD) yaş 31,9 (11,9) yıl olup örneklem 26 erkek ve 46 kadını içermektedir. Tüm katılımcılar en az 10 yıllık eğitime sahiptir ve tamamı Hint kökenlidir. Katılımcıların ortalama (SD) PHQ-9 ve GAD-7 skorları sırasıyla 4,4 (4,8) ve 4,7 (4,5) olarak saptanmıştır.

Duygusal uyaranlara yanıt olarak FEA algoritma skorlarındaki değişiklikler: FEA algoritmasıyla elde edilen ölçümler, her iki uyaran durumu —TRENDS görüntüleri ve Navarasa— için eşleştirilmiş t-testleri ile belirlendiği üzere, başlangıçtan (T0) Tmax'a kadar istatistiksel olarak anlamlı değişiklikler göstermiştir (p < 0.001; Tablo 1, Şekil 4, Tablo 2 ve Şekil 5).

FEA algoritmasının tanısal doğruluğu: FEA algoritmasının tanısal performansı, farklı duygusal durumlar için eğri altındaki alan (AUC) değerleri hesaplanarak alıcı işletim karakteristiği (ROC) eğrisi analizi kullanılarak değerlendirilmiştir (Tablo 3). En yüksek AUC değeri, nötr yüzsel-duygu uyaranlarına yanıt olarak Shanta durumuna karşılık gelen FEA-algoritma skoru için elde edilmiş (AUC = 0.665), bunu mutluluk pozitif duygusu (AUC = 0.637) takip etmiştir (Şekil 6). Nötr ve pozitif duygular (mutlu, hoş) için duyarlılık %70–80 iken, negatif duygular (öfke, korku, hoş olmayan) için duyarlılık %60–70 olarak belirlenmiştir. Bu duyarlılık değerleri %80'in altındadır ve mütevazı bir ayırt edici performansı temsil etmektedir.

FEA-algoritma skorları ile PHQ-9 ve GAD-7 skorları arasındaki korelasyon: FEA-algoritma skorlarının herhangi biri ile PHQ-9 veya GAD-7 skorları arasında anlamlı bir korelasyon gözlemlenmemiştir.

VERİ KULLANILABİLİRLİĞİ:

Tüm ham veriler Ek Dosya 2'de sunulmuştur.

figure-results-1
Şekil 1: FEA algoritma model-geliştirme hattının şematik diyagramı. Şema, her iki cinsiyetten Hintli aktörlerden oluşan kurum içi video veri setinin üç kategori boyunca kare çıkarımı ve özellik çıkarımı işlemlerine tabi tutulmasını betimlemektedir: yüz nirengi bölgeleri (Natyashastra/Navarasa türevli göz ve yüz mikro-ekspresyon ipuçları dahil), kafa-poz bilgisi ve üst vücut hareketi; bunlar tek bir özellik vektöründe birleştirilerek çok katmanlı bir algılayıcıya (MLP) aktarılır. MLP çıktısı, nihai dokuz kategorili Navarasa tahmin çıktısı oluşturulmadan önce tescilli bir son işlemden (zamansal düzleştirme, normalleştirme ve toplama; kesikli turuncu kutu) geçer. Düz mavi kutular işlem adımlarını; gölgeli mavi kutular özellik kategorilerini; kesikli turuncu kutu ise dahili parametreleri açıklanamayan tescilli bir işlem adımını belirtir. Bu bir veri grafiği değil, bir süreç şeması olduğundan, hata çubukları ve ölçek çubukları uygulanmamıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

figure-results-2
Şekil 2: FEA-algoritma deney prosedürü. Deneysel protokolün ardışık aşamalarını gösteren akış şeması: yarı yapılandırılmış klinik değerlendirme (PHQ-9, GAD-7); kameranın göz hizasında, katılımcıdan 60–70 cm uzaklıkta konumlandırıldığı katılımcı oturma düzeni; 60 s'lik bir bazal kayıt; TRENDS duygu-resim paradigması (beş duygu kategorisinde 20 resim; resim başına 5 s uyaran sunumu ve 10 s yanıt aralığı; toplam 300 s); kısa bir dinlenme aralığı ve Navarasa duygu-resim paradigması (dokuz Navarasa kategorisinde 18 resim; resim başına 5 s uyaran sunumu ve 10 s yanıt aralığı; toplam 270 s). Oklar, kayıttan veri toplamanın tamamlanmasına kadar olan prosedürlerin zamansal sırasını belirtmektedir. Bu bir veri grafiği değil, bir süreç akış şeması olduğundan, hata çubukları ve ölçek çubukları uygulanmamıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

figure-results-3
Şekil 3: TRENDS duygu görüntülerine yanıt olarak FEA-algoritma skorlarındaki zaman serisi değişimi (T0 ila T9 s). Dört panel (A–D), 10 s'lik uyaran sonrası penceresi boyunca (x-ekseni; T0 = o deneme için uyaran sonundaki skor/baz hattı, T1–T9 = sonraki her s), FEA-algoritma skorunun (y-ekseni; tescilli skorlama algoritması tarafından oluşturulan keyfi skor birimleri) grup düzeyindeki saniye saniye seyirini göstermektedir: (A) nötr görüntüler sonrası Shanta alanı, (B) mutlu görüntüler sonrası Haasya alanı, (C) korku görüntüleri sonrası Bhayanaka alanı ve (D) öfke görüntüleri sonrası Krodha alanı (panel başına n = 72 katılımcı). Veri noktaları/çizgiler her zaman noktasındaki grup ortalamalarını; hata çubukları/gölgeli bantlar katılımcılar arasındaki standart sapmayı (SD) temsil etmektedir. Ölçek çubukları bu zaman serisi çizgi grafik formatı için uygun değildir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

figure-results-4
Şekil 4: TRENDS duygu görüntülerinin izlenmesine yanıt olarak FEA-algoritma skorlarındaki ortalama değişimi gösteren sütun grafiği. Sütunlar, dört TRENDS-eşleşmiş duygu kategorisinden her biri (Shanta/Nötr, Haasya/Mutlu, Krodha/Öfke, Bhayanaka/Korku; x-ekseni) için FEA-algoritma skorundaki grup ortalaması değişimini (Tmax −T0; y-ekseni, keyfi skor birimleri) temsil etmektedir (n = 72). Hata çubukları, her kategori içindeki değişim skorunun standart sapmasını (SD) temsil etmektedir. Eşleştirilmiş t-testine göre dört kategorinin tamamı, başlangıç değerine kıyasla istatistiksel olarak anlamlı bir değişim göstermiştir (p < 0.001; bkz. Tablo 1). Ölçek çubukları bu sütun grafiği formatı için uygun değildir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

figure-results-5
Şekil 5: Navarasa duygu görüntülerine tepki olarak FEA-algoritma skorlarındaki ortalama değişimi gösteren sütun grafiği. Sütunlar, üç kompozit Navarasa kategorisi için — nötr (Shanta), hoş (Haasya, Veera, Shringara, Adbhuta ortalaması) ve nahoş (Krodha, Vibhitsa, Bhayanaka, Karuna ortalaması) (x-ekseni) — grup ortalaması FEA-algoritma skoru değişimini (Tmax − T0; y-ekseni, rastgele skor birimleri) temsil etmektedir (n = 72). Hata çubukları, her kategorideki değişim skorunun standart sapmasını (SD) temsil eder. Eşleştirilmiş t-testi ile her üç kategori de başlangıç değerine göre istatistiksel olarak anlamlı bir değişim göstermiştir (p < 0.001; bakınız Tablo 2). Ölçek çubukları bu sütun grafiği formatı için uygun değildir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

figure-results-6
Şekil 6: Nötr duygu görüntülerine yanıt olarak FEA-algoritması Shanta skorunun çeşitli kesim noktalarındaki duyarlılığını gösteren alıcı işletim karakteristik (ROC) eğrisi. y-ekseni duyarlılığı (doğru pozitif oran, %) ve x-ekseni 1 − özgüllüğü (yanlış pozitif oran, %) temsil eder ve olası Shanta-skoru kesim noktası değerleri aralığında çizilmiştir; diyagonal referans çizgisi şans düzeyindeki ayrımı (AUC = 0.5) temsil eder. Eğri altındaki alan (AUC) = 0.665 (tüm duygu kategorileri için AUC, duyarlılık ve özgüllük değerleri için Tablo 3'e bakınız). Hata çubukları ve ölçek çubukları bu eğri formatı için geçerli değildir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Duygu (TRENDS uyaranları)Ortalama T0Ortalama TmaxOrtalama Farkp-değeri
Nötr – Shanta0.22610.26640.0403<0.001
Mutlu – Haasya0.08340.11270.0294<0.001
Korku – Bhayanaka0.06480.08480.02<0.001
Öfke – Raudra0.09010.11080.0207<0.001

Tablo 1: TRENDS duygu uyaranlarını izlemeye yanıt olarak FEA algoritması skorlarının ortalama T0 ve Tmax değerleri. TRENDS ile eşleştirilmiş her bir duygu kategorisi (Shanta/Nötr, Haasya/Mutlu, Krodha/Öfke, Bhayanaka/Korku) için tablo; başlangıçtaki (T0) ve deneme içi maksimumdaki (Tmax) grup ortalaması FEA algoritması skorlarını (± SD), ortalama değişimi (Tmax − T0) ve T0 ile Tmax'i karşılaştıran eşleştirilmiş t-testi sonucunu (p-değeri) rapor etmektedir (n = 72). Tüm değerler keyfi FEA algoritması skor birimleri cinsinden raporlanmıştır; p < 0.05 istatistiksel olarak anlamlı kabul edilmiştir.

Duygu Kategorisi (Navarasa uyaranları)Ortalama T0Ortalama TmaxOrtalama Farkp-değeri
Nötr – Shanta0.240.290.047<0.001
Hoş (Haasya, Veera, Shringara, Adbhuta)0.0340.0450.011<0.001
Hoş Olmayan (Krodha, Vibhitsa, Bhayanaka, Karuna)0.0540.0680.014<0.001

Tablo 2: Navarasa duygu uyaranlarını izlemeye yanıt olarak FEA-algoritma skorlarının ortalama T0 ve Tmax değerleri. Her bir kompozit Navarasa kategorisi (nötr, hoş, hoş olmayan) için tablo, başlangıçtaki (T0) ve deney içi maksimumdaki (Tmax) grup ortalaması FEA algoritma skorlarını (± SD), ortalama değişimi (Tmax − T0) ve T0 ile Tmax'ı karşılaştıran eşli t-testi sonucunu (p-değeri) bildirmektedir (n = 72). Tüm değerler keyfi FEA-algoritma skor birimleri cinsinden rapor edilmiştir; p < 0.05 istatistiksel olarak anlamlı kabul edilmiştir.

Panel A: TRENDS Uyarıcıları
TRENDS UyarıcılarıAUC%95 GAEşik Değer Δ Emoscape PuanıSensitivite (%)Spesifisite (%)
Nötr – Shanta0.6650.456–0.8730.06582.550
Mutlu – Haasya0.6370.493–0.7800.034570.746.2
Korku – Bhayanaka0.5830.446–0.7210.01861.254.5
Öfke – Raudra0.5320.374–0.6890.02367.345.5
Panel B: Navarasa Uyarıcıları
Navarasa UyarıcılarıAUC%95 GAEşik Değer Δ Emoscape PuanıSensitivite (%)Spesifisite (%)
Shanta (Nötr)0.5960.412–0.7790.0385.744.6
Keyifli (Haasya, Veera, Shringara, Adbhuta)0.5150.369–0.6600.01270.240
Keyifsiz (Krodha, Vibhitsa, Bhayanaka, Karuna)0.5650.384–0.7450.00767.838

Tablo 3: Duygu kategorilerine göre FEA-algoritma skorları için eğri altında kalan alan (AUC), duyarlılık ve özgüllük değerleri. Alıcı işletim karakteristiklemesi (ROC) analizi kullanılarak değerlendirilen her bir duygu kategorisi için tablo; AUC, duyarlılık (%) ve özgüllük (%) değerlerini rapor etmektedir. % 80 veya daha yüksek bir duyarlılık, iyi bir ayırt etme yeteneği göstergesi olarak önceden belirlenmiştir; bu eşiğin altındaki değerler orta düzeyde olarak sınıflandırılmıştır (bkz. İstatistiksel Analiz).

Ek Şekil 1: Dokuz sınıflı Navarasa duygu sınıflandırma modeli için normalize edilmiş konfüzyon matrisi. Satırlar gerçek (fiili) duygu sınıfını ve sütunlar model tarafından tahmin edilen duygu sınıfını temsil etmektedir; hücre değerleri, gerçek sınıf örneklerinin tahmin edilen her bir sınıfa atanma oranını, 0–1 ölçeğine normalize edilmiş olarak göstermektedir (sağdaki renk çubuğu). Sınıf etiketleri (1–9), dokuz Navarasa duygu kategorisine karşılık gelmektedir; mülkiyet kısıtlamaları nedeniyle, sayıların duygularla olan spesifik eşleşmesi açıklanmamıştır. Dokuz kategorinin tamamı için çapraz doğrulamalı genel sınıflandırma doğruluğu %96'dır. Bu matris formatı için hata çubukları uygulanabilir değildir.Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 1: FEA-algoritma model geliştirme açıklaması (dahili doğrulama metriklerini, çapraz doğrulanmış doğruluğu ve 9 × 9 Navarasa karışıklık matrisini içerir).Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 2: Ham verileri içeren dosya.Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, sağlıklı yetişkin gönüllülerde FEA algoritmasından elde edilen skorlar ile standardize edilmiş yüz ifadesi uyaranlarına verilen yanıtlar arasındaki uyumu inceleyerek FEA algoritmasının ön doğrulamasını sağlamayı amaçlamıştır. Bu ilk bulgular, FEA algoritmasının nötr (shanta), mutluluk (haasya), korku (bhayanaka) ve öfke (raudra) dahil olmak üzere çeşitli ayrık duygusal kategorilerin yanı sıra, genel hoş ve hoş olmayan durum sınıflamalarına yönelik duygu uyandırıcı görsel uyaranlara karşı istatistiksel olarak saptanabilir değişiklikler sergilediğini göstermektedir. Bu durum, FEA algoritması skorlarının duygusal uyaran görevlerine verilen yanıtlarla uyumlu olduğunu ortaya koymaktadır.

FEA algoritmasının duyarlılığının nötr veya pozitif duygular için %70 ile %80 arasında, negatif duygular için ise %60 ile %70 arasında olduğu gözlemlenmiştir. Bu duyarlılık değerleri, tarama ölçütü olarak kullanılması amaçlanan herhangi bir test için mütevazı düzeydedir12. Karşılaştırmalı olarak, elektroensefalografi (EEG) gibi nörofizyolojik belirteçleri kullanan daha kapsamlı makine öğrenimi tabanlı duygu çıkarım modelleri, %90'a varan sınıflandırma doğrulukları bildirmektedir13. Otizm tespiti için EEG ve GSR'den duygu sınıflandırması yapan bir topluluk sınıflandırıcı sistemi, %99,97'lik bir tespit doğruluğu göstermiştir14. Ancak, bu modeller daha yoğun hesaplama gücü gerektirme eğilimindedir ve çevrimdışı işlemeye ihtiyaç duyarlar. Buna karşılık, FEA algoritmasının dikkat çekici bir gücü, gözlemlenebilir yüz ve vücut ipuçlarına odaklanması sayesinde gerçek zamanlı ortamlarda çalışmaya olanak tanımasıdır.

FEA-algoritması prosedürü, FEA-algoritması kayıtlarının kalitesi ve güvenilirliği açısından kritik olan çeşitli prosedürel faktörlere bağlıdır. Bunlar arasında kamera konumu ve ortam aydınlatması yer almaktadır. Tutarsız veya düşük ortam aydınlatması altında gerçekleştirilen kayıtlar, öznitelik çıkarma kalitesini önemli ölçüde düşürebilir. Her kayıt oturumu boyunca baş ve vücut pozisyonu sabit kalmalıdır; bu nedenle baş veya boyun hareketliliği kısıtlı olan katılımcılar çalışma dışı bırakılmıştır. Kayıt sırasında davranışsal girişimlerin en aza indirilmesi esastır. Sosyal beğenilme etkilerini ve doğal yüz ifadelerini baskılayabilecek öz-izleme eğilimini azaltmak amacıyla, katılımcılar araştırıcı odada bulunmayacak şekilde yalnız oturtulmuştur.

Navarasa çerçevesinin dahil edilmesi, duyguların kültürel açıdan hassas bir sınıflandırmasını sağlar. Çalışma, duygusal uyaranlara yanıt olarak FEA-algoritma skorlarındaki değişimleri değerlendirmek için bir zihin kuramı (ToM) yaklaşımı uygulamıştır. ToM, üst düzey bir sosyal bilişsel işlevi temsil eder ve nörobiyolojik temelleri literatürde belgelenmiştir15; bu da FEA-algoritma skorlarında gözlemlenen değişimlerin biyolojik olarak makul olduğunu desteklemektedir.

FEA-algoritma puanları ile depresyon veya anksiyete puanları arasında herhangi bir korelasyon bulunamamıştır; bu durum, katılımcıların içsel duygusal durumlarının FEA-algoritma kayıtlarını etkilemiş olma ihtimalinin düşük olduğunu göstermektedir. Bununla birlikte, deney sırasında katılımcıların duygusal durumlarını tam olarak kontrol etmek zordur. Ek olarak, yukarıdan aşağıya (top-down) bilişsel işleme, özellikle negatif duygusal uyaranlara verilen tepkilerde, doğal duygusal yanıtları baskılayabilir. Gelecekteki çalışmalar, pasif izlemenin gerçekten subjektif bir duygusal durum oluşturup oluşturmadığını daha fazla doğrulamak adına, katılımcıların duygusal uyaranları izlerken yaşadıkları subjektif deneyimleri değerlendirmelidir. Yalnızca FEA algoritması ile elde edilen mütevazı hassasiyet, EEG, kalp hızı değişkenliği (HRV) veya galvanik deri tepkisi (GSR) gibi ek nörofizyolojik verilerle potansiyel olarak artırılabilir. Bu durum, gelecekteki doğrulama çalışmalarında değerlendirilmelidir. Doğrulama işlemi sağlıklı yetişkin bir popülasyonda gerçekleştirilmiştir. FEA algoritmasının depresyon ve anksiyete gibi klinik durumlarda subjektif duygusal durumları değerlendirmedeki faydası, vaka-kontrol çalışmaları aracılığıyla daha fazla araştırılmayı gerektirmektedir.

Mevcut çalışmanın birkaç kısıtlamasının belirtilmesi gerekmektedir. FEA algoritmasının tescilli doğası, işlem hattının şeffaflığını sınırlamaktadır. Spesifik olarak; aktör/katılımcıların kesin sayısı, aktör/katılımcı düzeyindeki kimlik bilgileri, aktör başına düşen kesin video/kayıt sayıları, kesin özellik tanımları (landmark indeksleri ve anahtar nokta tanımlayıcıları) ve ayrıntılı MLP mimari parametreleri (kesin katman boyutları ve parametre sayıları) açıklanamamaktadır. Dahili doğrulama metrikleri (%96 çapraz doğrulama doğruluğu; >15,000 dk video üzerinde bağımsız doğrulama) ek materyallerde raporlanmıştır. Duygu isimlerini temsil eden sınıf etiketleri, tescilli kısıtlamalar nedeniyle anonimleştirilmiştir. Bu kısıtlamaların bağımsız tekrarlanabilirliği sınırladığını kabul ediyoruz.

Çalışma, sağlıklı yetişkinlerde FEA-algoritma puanları ile duygu tanıma doğruluğu arasında uyarıcı uyumu gözlemlemiş ve duygusal durumlar arasındaki ayrımda mütevazı bir hassasiyet tespit etmiştir. Bu durum, Navarasa çerçevesine dayanarak üst vücut mikro hareketlerini analiz eden ve dokuz rasa'nın her biri için duygusal yörüngelerin dinamik temsillerini ve toplam puanları oluşturan tescilli bir ML tabanlı algoritma olan FEA algoritması için ön doğrulama sağlar. Algoritmanın gelecekteki iterasyonları, ek fizyolojik veya bağlamsal verileri dahil ederek tüm duygusal kategorilerdeki ayırt edici gücünü artırmayı hedeflemelidir. Daha geniş klinik popülasyonlarda doğrulama yapılması ise daha fazla araştırma gerektirmektedir.

Açıklamalar

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

The FEA algoritması, bu çalışma için veri toplama sürecinin yürütülmesi amacıyla Manoshanti'ye finansal destek sağlayan Nihilent Ltd.'nin tescilli bir algoritmasıdır. FEA algoritması skorları Nihilent tarafından sağlanmıştır. Veri analizi, Manoshanti tarafından bağımsız olarak gerçekleştirilmiştir. Nihilent Ltd. veri analizinde yer almamıştır.

Teşekkürler

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışmanın bilimsel denetimini sağladıkları için Profesör P. T. Sivakumar ve Dr. Shivarama Varambally'ye teşekkür ederiz.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
EmoscapeNihilent Ltd, Pune1Emoscape geliştiricisi
Manoshanti Duygusal Esenlik MerkezleriGNR Health Care Pvt Ltd.2Klinik ve araştırma ortağı
Nöropsikiyatrik bozukluklarda duyguların tanınması için kullanılan araççalışmanın sorumlu yazarı tarafından telif hakkı saklıdır3Çalışmada doğrulama için kullanılan araç

Kaynaklar

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Garg N, Garg R, Anand A, Baths V. Decoding the neural signatures of valence and arousal from a portable EEG headset. Front Hum Neurosci. 2022;16:1051463. doi:10.3389/fnhum.2022.1051463.
  2. Wang XW, Nie D, Lu BL. Emotional state classification from EEG data using a machine learning approach. Neurocomputing. 2014;129:94–106.
  3. Giannakaki K, Giannakakis GA, Farmaki C, Sakkalis V. Emotional state recognition using advanced machine learning techniques on EEG data [conference paper]. Presented at: 2017 IEEE 30th International Symposium on Computer-Based Medical Systems; Thessaloniki, Greece; 2017. p. 333–6. Available from: https://ieeexplore.ieee.org/document/8104214
  4. Barzilay R, et al. Predicting affect classification in mental status examination using machine learning face action recognition system. Front Psychiatry. 2019;10:288. doi:10.3389/fpsyt.2019.00288.
  5. Houssein EH, Hammad A, Ali AA. Human emotion recognition from EEG-based brain-computer interface using machine learning. Neural Comput Appl. 2022;34:12527–52.
  6. Awan AW, et al. An ensemble learning method for emotion charting using multimodal physiological signals. Sensors (Basel). 2022;22(23):9480. doi:10.3390/s22239480.
  7. Shetty H, Sampathila N, Kumar GS, Behere R. Interactive self assessment tool for analysis of emotional status. Indian J Sci Technol. 2017;10(16):1–5.
  8. Bazgir O, Mohammadi Z, Habibi SAH. Emotion recognition with machine learning using EEG signals [conference paper]. Presented at: 2018 25th National and 3rd International Iranian Conference on Biomedical Engineering; Qom, Iran; 2018. p. 1–5. Available from: https://ieeexplore.ieee.org/document/8703559
  9. Spunt RP, Adolphs R. The neuroscience of understanding the emotions of others. Neurosci Lett. 2019;693:44–8.
  10. Hawco C, et al. Neural activity while imitating emotional faces is related to both lower and higher-level social cognitive performance. Sci Rep. 2017;7:1244. doi:10.1038/s41598-017-01316-z.
  11. Behere RV, et al. TRENDS: a tool for recognition of emotions in neuropsychiatric disorders. Indian J Psychol Med. 2008;30(1):32–8.
  12. Trevethan R. Sensitivity, specificity, and predictive values: foundations, pliabilities, and pitfalls in research and practice. Front Public Health. 2017;5:307. doi:10.3389/fpubh.2017.00307.
  13. Gkintoni E, Aroutzidis A, Antonopoulou H, Halkiopoulos C. From neural networks to emotional networks: a systematic review of EEG-based emotion recognition in cognitive neuroscience and real-world applications. Brain Sci. 2025;15(3):220. doi:10.3390/brainsci15030220.
  14. Joshi S, Srinivas LNB. An ensemble classifier for emotion classification from EEG and GSR signals for autism detection. Comput Methods Programs Biomed. 2025;270:108921. doi:10.1016/j.cmpb.2025.108921.
  15. Lincoln SH, et al. The neural basis of social cognition in typically developing children and its relationship to social functioning. Front Psychol. 2021;12:714176. doi:10.3389/fpsyg.2021.714176.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Y z fadesi AnaliziMakine renmesi AlgoritmasNavarasa er evesiDuygu Tan maMikro Hareket AnaliziAl c letim Karakteristi iDuygu UyaranlarDuyarl l k zg nl k
Video yakında

İlgili makaleler