$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Çalışma protokolü Sushruta Hastaneleri Etik Kurulu, Hubballi, Karnataka, Hindistan tarafından onaylanmış (EK kayıt numarası: ECR/372/INST/KA/2013/RR-19) ve kayıt öncesinde tüm katılımcılardan yazılı bilgilendirilmiş onam alınmıştır.
FEA algoritması, Navarasa çerçevesini kullanarak duygusal durumları anlamlandırmak amacıyla yüz mikro ifadelerinin ve üst vücut hareketlerinin gerçek zamanlı analizi için geliştirilmiş, ML tabanlı tescilli bir yöntemdir. Klasik Hint estetik teorisinden türetilen Navarasa çerçevesi, dokuz temel duyguyu tanımlar: shringara (sevgi), haasya (neşe), karuna (keder/düşüncelilik), adbhuta (şaşkınlık), shanta (huzur), raudra (öfke), veera (cesaret), bhayanaka (korku) ve vibhitsa (iğrenme). FEA algoritması, dokuz Navarasa duygusunu canlandıran aktörlerin görüntülerinden elde edilen yüz mikro ifadeleri ve üst vücut hareketleri üzerinde eğitilmiş bir makine öğrenimi modeli kullanır. Algoritma, tek bir RGB kamera tarafından yakalanan görsel girdilerdeki ince yüz dinamiklerini ve mikro hareketleri analiz ederek bireyin duygusal durumunu anlamlandırır ve dokuz temel duygunun her biri için nicel puanlar üretir. Bu non-invaziv konfigürasyon, fark edilmeyen ve doğal bir duygusal değerlendirme imkanı sağlayarak yöntemi geniş bir araştırma ve uygulama alanı için uygun hale getirir.
Model geliştirme
FEA algoritması, bir yapay sinir ağı (NN) mimarisine dayanmaktadır. Eğitim veri seti kurum içinde toplanmış olup, dokuz Navarasa duygusunu canlandıran Hintli aktörlerin kaydedilmiş birkaç saatlik video verilerinden oluşmaktadır. Veri seti, farklı uyandırılmış duygusal durumlar boyunca her bir aktör/katılımcı için gerçekleştirilen çoklu kayıtlar/testlerle, çeşitli aktörlerin/katılımcıların kontrollü video kayıtlarından türetilmiştir. Yüz işaret noktası tespiti, zamansal tutarlılık kontrolleri, kalite filtreleme ve kullanılamaz veya düşük güvenilirlikli karelerin çıkarılmasını içeren ön işleme aşamalarının ardından, yaklaşık 25.000 yapılandırılmış eğitim örneği korunmuştur. Veri seti kürasyonu sırasında kayıtlar; yaş, cinsiyet ve diğer ilgili öznitelikler dahil olmak üzere ondan fazla demografik ve kayıtla ilgili parametreye göre tabakalandırılmış ve bu parametreler genelinde hakkaniyetli bir temsil sağlamak ve demografik yanlılığı en aza indirmek için kasıtlı olarak dengelenmiştir. Cinsiyet dağılımı yaklaşık %52 erkek ve %48 kadın olarak korunmuştur. Katılımcılar, genç, orta ve ileri yaşlı yetişkin kohortlarında temsil edilerek genel olarak ergen ve yetişkin yaş gruplarını kapsamıştır. Aktörler/katılımcılar Hindistan merkezli olup, Hindistan'daki çeşitli uluslararası etnik kökenlerin yanı sıra çok sayıda Hintli bölgesel ve kültürel arka planı temsil etmiştir. Tescilli kısıtlamalar nedeniyle; aktörlerin/katılımcıların kesin sayısı, aktör/katılımcı düzeyindeki kimlikler, aktör başına düşen kesin video/kayıt sayıları, kesin kare sayıları ve dahili açıklama metodolojisi açıklanamaz, çünkü bunlar Nihilent Ltd.'nin tescilli veri setinin ve model geliştirme fikri mülkiyetinin bir parçasıdır; bu sınırlama Tartışma bölümünde açıkça belirtilmiştir.
Bu kayıtlardan elde edilen yüz görüntüleri, nicel özellikler türetmek için görüntü işleme teknikleri kullanılarak işlenmiş ve bu özellikler daha sonra tahminleme için bir sinir ağının girdileri olarak kullanılmıştır. Bu model ardından bir hedef popülasyonda değerlendirilmiş ve elde edilen içgörüler sonraki versiyonları yinelemeli olarak geliştirmek için kullanılmıştır. Geliştirme, test etme ve iyileştirme döngüsü, model performansı stabilize olana kadar tekrarlanmıştır. Nihai tahminleyici model; yaklaşık 300 seçilmiş özellikten oluşan bir giriş katmanı, gizli katmanlar ve dokuz Navarasa duygu kategorisine karşılık gelen dokuz boyutlu bir skor vektörü üreten bir çıkış katmanından oluşan çok katmanlı bir perseptron (MLP) olarak uygulanmıştır. Yakalanan verilerden başlangıçta 700'den fazla özellik türetilmiş ve ardından özellik seçimi ile model optimizasyonu prosedürleri aracılığıyla azaltılmıştır. MLP çıkış skoru, nihai toplulaştırılmış FEA-algoritma skorlarını türetmek için tescilli son işlem algoritmalarına aktarılmaktadır. Eğitilebilir parametrelerin kesin sayısı ve spesifik katman boyutları dahil olmak üzere diğer mimari detaylar tescillidir ve açıklanamaz; bu durum mevcut raporun bir kısıtlaması olarak kabul edilmektedir. Model geliştirmesinin ayrıntılı bir açıklaması ek materyalde (Ek Dosya 1 ve Ek Şekil 1) sunulmuştur.
Yinelemeli geliştirme sürecinde, model performansı kurum içi veri seti üzerinde çapraz doğrulama kullanılarak değerlendirilmiş ve dokuz Navarasa kategorisinde %96 çapraz doğrulanmış sınıflandırma doğruluğuna ulaşılmıştır. Ardından, 15.000 dakikadan fazla video verisi üzerinde bağımsız doğrulama gerçekleştirilmiştir. Tüm dokuz Navarasa kategorisindeki sınıflandırma performansını özetleyen normalize edilmiş 9 × 9'luk bir karışıklık matrisi ek materyalde (Ek Dosya 1) sunulmuştur.
Stabilizasyonun ardından model, uzman gözetiminde kontrollü bir dahili doğrulamaya tabi tutulmuştur. Bu yaklaşım, doğrudan insan denekler üzerinden yapılan testlerle ampirik doğrulamaya önem vererek, gerçek dünya uygulanabilirliğinin ve farklı popülasyonlar genelindeki sağlamlığın değerlendirilmesine olanak tanımıştır. Model geliştirme süreci Şekil 1'de özetlenmiştir.
Hasta Sağlık Anketi-9 (PHQ-9) ve Yaygın Anksiyete Bozukluğu-7 (GAD-7) ölçeği: Katılımcılar, mevcut duygusal durumlarını değerlendirmek amacıyla eğitimli bir psikolog gözetiminde öz bildirim anketlerini doldurmuşlardır. Uygulanan araçlar arasında Hasta Sağlık Anketi-9 (PHQ-9) ve Yaygın Anksiyete Bozukluğu-7 (GAD-7) ölçeği yer almaktaydı. Herhangi bir ölçekten alınan 9 üzerindeki bir skor klinik olarak anlamlı kabul edilmiştir.
EĞİLİMLER
Nöropsikiyatrik Bozukluklarda Duyguların Tanınması Aracı (Tool for Recognition of Emotions in Neuropsychiatric Disorders - TRENDS), yüz ifadeleriyle duygu tanıma yeteneklerini değerlendirmek için tasarlanmış, kültürel olarak valide edilmiş ve ekolojik olarak hassas bir araçtır11. Hint popülasyonlarında kullanımı valide edilmiş olan bu araç; nötr, mutluluk, korku, öfke ve üzüntü şeklindeki evrensel temel duyguları betimleyen aktörlere ait 40 fotoğraftan oluşmaktadır. TRENDS'ten alınan görüntüler, FEA algoritmasının duygu sınıflandırma çıktılarının validasyonu için referans stimüli olarak kullanılmıştır.
Deneysel tasarım
Deney, duygusal uyaranlara karşı algoritmik bir yanıt oluşturmak amacıyla tasarlanmıştır. Bu çalışma için iki farklı duygu uyandırma paradigması geliştirilmiş ve kullanılmıştır.
TRENDS görüntüler paradigması
İlk paradigmada, bir video dizisi başlangıçta 60 saniye boyunca boş bir ekran sunmuş, ardından duygusal uyaranların gösterimi gerçekleşmiştir. Duygusal uyaranlar TRENDS aracı kullanılarak seçilmiştir. Tarafsızlık, mutluluk, üzüntü, öfke ve korku × iki cinsiyet × iki yaş grubunu temsil eden toplam 20 görüntü sunulmuştur. Her bir uyaran 5 saniye boyunca gösterilmiştir. Bu nedenle toplam uyaran sunum süresi 20 × 5 saniye olmuş, birbirini izleyen görüntüler arasında ek olarak 10 saniyelik boş ekran aralıkları yer almış ve toplam süre 300 saniye olarak gerçekleşmiştir. Her 10 saniyelik boş aralık boyunca katılımcıların, ekranda görüntülenen beş duygu etiketinden birini seçerek bir önceki görüntüde betimlenen duyguyu tanımlamaları istenmiştir.
Navarasa paradigması
Dokuz rasa'dan oluşan Navarasa çerçevesine dayalı, benzer ikinci bir video paradigması oluşturulmuştur. Toplam 18 görüntü (dokuz duygu × iki cinsiyet) sunulmuştur. Her uyaran 5 s boyunca görüntülenmiş ve görüntüler arasında 10 s'lik boş bir ekran bırakılarak toplamda 270 s'lik bir süre elde edilmiştir. Dokuz duygu; nötr (shanta), hoş (haasya, veera, shringara, adbhuta) veya hoş olmayan (Krodha, vibhitsa, bhayanaka, karuna) şeklinde kategorize edilmiştir. Her 10 s'lik boş aralıkta katılımcıların, ekranda sunulan üç seçenekten birini (nötr, hoş veya hoş olmayan) seçerek bir önceki görüntüde tasvir edilen duyguyu sınıflandırmaları istenmiştir. Katılımcıların duygu tanımlama yanıtlarının kaydedilmesini kolaylaştırmak amacıyla dokuz Navara üç kategori altında gruplandırılmıştır.
Katılımcılar
Sağlıklı yetişkin gönüllüler, iş yeri ortamlarından ve eğitim kurumlarından seçilmiştir. Dahil edilme kriterleri, her cinsiyetten/cinsiyet kimliğinden 18–50 yaş arası bireyleri kapsamaktadır. Hariç tutma kriterleri arasında tanı konulmuş psikiyatrik bozukluklar, nörolojik bozukluklar, önemli görme bozukluğu öyküsü veya baş ve boyun hareketlerini kısıtlayan fiziksel engeller yer almıştır.
Prosedür
Katılımcılar, kameranın göz hizasında olduğu ve 60–70 cm uzaklığa konumlandırıldığı şekilde oturtulmuştur. Çalışmada FEA algoritması kullanılmıştır. Uygulama dizüstü bilgisayarda açılmış ve araştırmacı denek kimlik numarasını girmiştir. Deney boyunca FEA algoritması, yüz ifadelerinin ve mikro hareketlerin daha sonra analiz edilebilmesini sağlamak için sürekli olarak video verisi kaydetmiştir. Başlangıçta, katılımcıların rahatlamalarının ve belirgin dışavurumcu davranışlardan kaçınmalarının istendiği 60 s'lik bir bazal kayıt alınmıştır. Bazal kayıt alımının ardından katılımcılar, iki video paradigmasına (TRENDS görüntüleri ve ardından Navarasa) maruz bırakılmıştır. Sunum sırasıyla ilgili olası karıştırıcı etkileri en aza indirmek için tüm katılımcılar paradigmaları aynı sabit sırayla izlemiştir; ancak bu sabit sıra, sıra etkilerine yol açmış olabilir. Kayıt oturumları sırasında, dikkat dağınıklığını azaltmak için araştırmacı odanın dışında kalmıştır. Araştırmacı, oda dışındayken deneyi bir mobil uygulama aracılığıyla uzaktan izlemiştir. İki paradigma arasında katılımcılara kısa bir dinlenme arası verilmiştir (Şekil 2).
Analiz
Veri sadakatini sağlamak için toplanan veriler, uygulamaya girilen denek kimliği (ID) ile eşleştirilmiştir. FEA algoritması; video edinimi, özellik tespiti ve çıkarımı, veri ön işleme, duygu sınıflandırması ve çıktı yorumlama olmak üzere beş ana aşamadan oluşan, otomatik duygu çıkarımı için yapılandırılmış, uçtan uca bir hesaplama hattı kullanır. Çıkarılan özellikler; gürültü azaltma, denekler ve aydınlatma koşulları arasında normalizasyon ve eksik karelerin interpolasyonu dahil olmak üzere bir dizi ön işleme işlemine tabi tutulmuştur. Sinyal stabilitesini artırmak için zamansal düzleştirme uygulanmıştır. Elde edilen özellik vektörleri, sınıflandırma modeli tarafından işlenmek üzere zamansal olarak hizalanmıştır. Zamanla hizalanmış ve gürültüden arındırılmış bu özellik matrisleri, duygu sınıflandırma bileşeni için girdi olarak kullanılmıştır.
Öznitelik çıkarımı
Ekstraksiyon çerçevesi, standart 2D monoküler video görüntü akışlarını yeniden yapılandırılmış bir 3D koordinat uzayına dönüştüren çok özellikli bir ekstraksiyon aşaması algoritmik hattı kullanır. Sistem, ham 2D piksel takibine güvenmek yerine, yüz ve üst vücut boyunca yerelleştirilmiş uzamsal koordinatları haritalandırır. Türetilen özellikler üç geniş kategoriye ayrılır: (i) UNESCO tarafından tanınan, insan duygusal ifadesinin en eski resmileştirilmiş çerçevesi olan Natyashastra'ya dayanan Navarasa çerçevesinden alınan göz bölgesi ipuçları ve yüz mikro-ifade korelasyonları dahil olmak üzere, yüz yapısının ve dinamiklerinin geometrik tanımlayıcılarını kapsayan yüz nirengi bölgeleri; (ii) başın yönelimini ve hareketini yakalayan baş pozisyonu bilgisi; ve (iii) üst vücudun sonuçlanan hareketini yakalayan üst vücut hareket özellikleri. Kesin nirengi indeksleri ve anahtar nokta tanımlayıcıları da dahil olmak üzere spesifik özellik tanımları tescillidir ve tamamen açıklanamaz; bu durum bir kısıtlama olarak kabul edilmektedir. Sistem, Yüz Eylem Kodlama Sistemi (FACS) eylem birimi etiketlerini doğrudan kullanmaz; bunun yerine, yüz ve vücut hareketlerinden geometrik ve zamansal özellikler türetir. Bu 3D uzamsal dönüşümler, MLP sınıflandırıcısına girdi olarak hizmet eden kapsamlı bir davranışsal özet vektörü oluşturmak için zaman içinde toplanır. Toplamda, yakalanan verilerden başlangıçta 700'den fazla aday özellik türetilmiş ve ardından özellik seçimi ve model optimizasyonu yoluyla yaklaşık 300 seçili özelliğe düşürülmüştür. Yapısal işlem hattı, video alımından başlayarak 2D'den 3D'ye uzamsal yeniden yapılandırma, zamansal toplama ve sınıflandırma öncesi özellik normalizasyonu şeklinde ilerler.
Duygu sınıflandırma modeli
Ön işlemden geçirilmiş öznitelik vektörleri; Śṛṅgāra (aşk), Hāsya (neşe), Karuṇā (keder), Raudra (öfke), Vīra (cesaret), Bhayānaka (korku), Bībhatsa (iğrenme), Adbhuta (şaşkınlık) ve Śānta (huzur) olmak üzere dokuz Navarasa duygu kategorisine karşılık gelen kurum içi etiketli veri seti üzerinde eğitilmiş gözetimli bir çok katmanlı algılayıcı (MLP) sinir ağı mimarisine aktarıldı. Model, dışavurumcu davranışsal verilerdeki uzaysal-zamansal bağımlılıkları yakalamak için özel olarak tasarlanmıştır. Mimari, her zaman adımında dokuz kategori için tahmin edilen duygu yoğunluklarından oluşan bir vektör üretmiştir.
Model çıktılarının son işlemesi
Ham model çıktıları, daha sonra kararlı ve yorumlanabilir duygu skorları elde etmek amacıyla son işleme tabi tutulmuştur. Sırasıyla üç işlem uygulanmıştır: (i) kısa süreli dalgalanmaları azaltmak için zamansal yumuşatma, (ii) zaman içinde ve duygu boyutları arasında karşılaştırılabilirliği sağlamak için normalizasyon ve (iii) belirli zamansal pencereler veya tüm diziler üzerinden özet ölçümler türetmek için agregasyon. Son işlem prosedürleri, denekler arası karşılaştırılabilirliği sağlar ve bireyler arası bazal varyasyonu kontrol eder.
Çıktı yorumlama ve görselleştirme
FEA algoritması, video verilerinden çıkarılan duygusal dinamiklerin nicel ve görsel temsillerini oluşturur. Çıktının iki ana formu şunlardır: zamansal duygu yörüngeleri. Duygu yoğunluğu değerleri, her bir duygunun video boyunca gelişimini gösteren zaman serisi grafikleri olarak görselleştirilir. Bu temsil, afektif varyasyonun sürekli bir görünümünü sağlayarak geçici değişimlerin, pik aktivasyonların ve duygusal uyarılmadaki iyileşme veya azalma evrelerinin incelenmesini kolaylaştırır. Karşılaştırmalı duygusal skorlar: Dokuz Navarasa kategorisinin her biri için toplulaştırılmış duygu değerleri, analiz edilen aralık boyunca her bir duygunun göreceli büyüklüğünü gösteren karşılaştırmalı skor grafikleri olarak görüntülenir. Bu karşılaştırmalı görselleştirmeler, duygular arasında doğrudan karşılaştırmalar yapılmasına olanak tanır ve genel afektif profilin kısa bir özetini sunar. Baz hattında oluşturulan FEA-algoritması skorları, yetersiz kayda işaret edebilecek herhangi bir düz çizgi (flatline) veya anlamlı değişim eksikliği açısından incelenmiştir.
İstatistiksel analiz
Paradigma içindeki her görüntü sunumunu takip eden 10 s'lik aralıkta FEA algoritması tarafından oluşturulan dokuz Navarasa duygu alanı puanı, sonuç değişkenleri olarak değerlendirildi. 10 s'lik penceredeki her s için FEA algoritma puanları oluşturuldu (T0, T1, T2… T9). T0'daki FEA algoritma puanı bazal puan olarak kabul edildi. T1–T9 arasındaki kayıtlar içinde en yüksek FEA algoritma puanı Tmax olarak tanımlandı. Bazal puana göre FEA algoritma puanındaki değişim (Tmax − T0) hesaplandı ve analizlerde sonuç değişkeni olarak kullanıldı. Her bir duygu için zaman serisi boyunca FEA algoritma puanlarındaki değişim Şekil 3A–D'de gösterilmiştir.
TRENDS görüntüleri için ilgili hedef duygu kategorileri şu şekilde eşleştirilmiştir: Shanta > Nötr; Haasya > Mutlu; Krodha > Öfke; ve Bhayanaka > Korku. Navarasa görüntüleri için FEA-algoritma skorları üç kompozit kategoride gruplandırılmış ve ortalamaları alınmıştır: nötr (Shanta), hoş (Haasya, Veera, Shringara, Adbhuta) ve hoş olmayan (Krodha, Vibhitsa, Bhayanaka, Karuna).
Hem grup düzeyi hem de denek düzeyi analizler gerçekleştirilmiştir.
Grup düzeyinde analiz: Yukarıda açıklanan her bir duygu kategorisi için, FEA-algoritma skorundaki bazal değerden Tmax'a kadar olan değişim, eşleştirilmiş t-testleri kullanılarak karşılaştırılmıştır. FEA-algoritma skorunda bazal değere göre meydana gelen anlamlı bir değişim, duygu tanıma ile iyi bir uyum olduğunu gösterir. Ancak, anlamlı bir fark olması, mutlaka güçlü bir sınıflandırma doğruluğu olduğu anlamına gelmez.
Denek düzeyinde analiz: Bir FEA-algoritması duygu alanı skorundaki bazal değerin üzerindeki herhangi bir artış, pozitif duygusal yanıt olarak sınıflandırılmıştır. Ardından duyarlılık ve özgüllük şeklinde doğruluk indeksleri türetilmiştir. Duyarlılık ve özgüllük, sırasıyla, hedef durum mevcut olduğunda (+) testin pozitif çıkma olasılığını ve durum mevcut olmadığında (−) negatif çıkma olasılığını nicelleştirir. Her iki tahmin de 1'e yaklaştığında, test tanısal doğruluk açısından iyi performans gösterir. Tahmini duyarlılık ve özgüllük, sırasıyla referans durumu (Navarasa ifadeleri) olan ve olmayan katılımcıların doğru şekilde sınıflandırılma oranları olarak tanımlanmıştır.
Bir denek, betimlenen duyguların en az %75'ini doğru şekilde tanımlamışsa hedef durumun mevcut (+) olduğu kabul edilmiştir. Bu sınıflandırma, %60–80'lik bir doğruluğun yeterli ayırt edici geçerlilik olarak kabul edildiği TRENDS doğrulama çalışmalarına dayandırılmıştır. Sürekli bir öngörücü için eğri altındaki alanı (AUC) ve buna karşılık gelen duyarlılık ile özgüllük değerlerini tahmin etmek amacıyla alıcı işletim karakteristik (ROC) analizi yapılmıştır. %80'in üzerindeki bir duyarlılık iyi ayırt etme yeteneği, %80'in altı ise mütevazı bir yetenek olarak değerlendirilmiştir.