Adaptif Sözel Olmayan Davranış ve Dil Modellerini Entegre Ederek Gerçek Zamanlı Motivasyonel Mülakat İçin Sanal Ajan

Araştırmamız, etkileşim sırasında yüz ifadesi gibi sanal bir ajanın sözlü ve sözsüz davranışlarını uyarlamaya odaklanan çoklu modal etkileşimi incelemektedir. Makine öğrenimindeki son analizler, özellikle büyük dil modeli, insan-bilgisayar etkileşimini daha doğal ve esnek bir şekilde mümkün kılmaktadır. Başlamak için, deney için bir Windows bilgisayarı hazırlayın.

Java SE Development Kit 8'i resmi dağıtım kaynağından kurun. Sonra Visual C+Redistributable for Visual Studio 2013 kurulumunu yapın. Çevrimiçi başvuru portalı üzerinden CereProc lisansı talep edin.

Sağlanan depodan OpenFace'i yükleyin. Video kaydı için bir web kamerası edinin. Sonra, belirtilen depodan Greta yazılım sürümünü indirin.

Verilen talimatları takip ederek yazılımı NetBeans kullanarak derleyin. Çevrimiçi konsoldan bir Mistral uygulama programlama arayüzü anahtarı edinin. Dosyayı oluşturun, ardından uygulama programlama arayüzü anahtarını oluşturulan dosyaya yapıştırın.

Şimdi, çevrimiçi konsoldan bir Deepgram uygulama programlama arayüzü anahtarı edinin. Dosya yolunu oluşturun ve oluşturulan dosyaya uygulama programlama arayüzü anahtarını yapıştırın. MoDiff model içe aktarma için, önce sağlanan kaynaktan MoDiff model ağırlıklarını indirin.

İndirilmiş dosyayı MoDiff veri klasörüne yerleştirin. Sırada Modular JAR lansmanı yapılacak. File, Open, Greta, Advanced seçeneğine tıklayın ve Greta Expe 20250128 seçin Lucie_full.xml.

Gösterilen yapılandırmanın beklenen kurulumla eşleştiğinden emin olun. Şimdi OpenFace çevrimdışı ZeroMQ programını başlatın. Kayıt sekmesinde, ZeroMQ ile yayın dışında tüm seçenekleri işaretinden kaldırın.

Dosya sekmesinde Open Webcam'e tıklayın. Mevcut web kamerası kullanarak canlı özellik çıkarımı yetkileyin. Kullanacağınız web kamerasını seçin.

Web kamerası yüklenene ve canlı özellik çıkarımı otomatik olarak başlayana kadar bekle. Sonra, OpenFace2 Çıkış Akışı Okuyucusunda Bağla' tuşuna tıklayın. Mevcut özellikler listesinin dolmasını bekleyin.

Hepsini Seç seçeneğine tıklayın ve seçilen özellikleri doğrulamayı ayarlayın. MoDiff altında, Başlat'a tıklayın ve bağlantı onay mesajını bekleyin. Sonra MoDiff ile veri alıcısı arasındaki bağlantıyı etkinleştirmek için Bağla.

Filtre altında, oluşturulan verilerin yürütülmesine izin vermek için Gerçekleştir'e tıklayın. MoDiff penceresinde Etkinleştir tuşuna tıklayın. Modelin stabilleşmesi için 90 saniye bekleyin.

ASR başlatmak için, Dee gram penceresinde Etkinleştir düğmesine basın. Sonra RL koşulu seçin ki dream veya baseline ile sade büyük bir dil modeli kullanın. MI Danışmanı RL penceresinde Etkinleştir'e tıklayın.

Modelin başlaması için 30 saniye bekleyin. Masanın üzerine büyük bir monitör koyun, önünde bir sandalye yerleştirilsin. Bir web kamerasını monitörün üstüne sandalyeye bakacak şekilde yerleştirin.

Sandalyenin önündeki masaya yönlü bir mikrofon koyun. Katılımcının Karar Dengesi Ölçeği veya DBS anketini beş adımlı bir Likert ölçeği kullanarak doldurmasını sağla. Sonra katılımcıdan mikrofona konuşmasını iste.

Başlamak için katılımcı profilini belirleyin ve DBS puanını değerlendirin. Katılımcıyı puana göre dirençli, tereddütlü veya değişime açık olarak sınıflandırın. MI Danışmanı RL penceresinde, katılımcının seçtiği tartışma temasını seçin.

Katılımcı ile tartışmayı başlatmak için Başlat tuşuna tıklayın. MI Danışmanı penceresinin yanıt bölümünü zararlı sonuçlar için izleyin. Deepgram penceresinde, ajan sırasını tamamladıktan sonra Dinle tuşuna tıklayın.

Konuşma tanınmazsa, katılımcının konuşmasını talep alanına girin ve Gönder tuşuna tıklayın. Katılımcının cevabını bekleyin. Katılımcıdan müdahale sonrası anketleri doldurmasını iste.

Sonra katılımcıyı hazırlanmış konuşma kullanarak bilgilendirin. Adaptif yüz ifadeleriyle ajanla etkileşimde bulunan kullanıcılar, diğer davranış koşullarındaki kullanıcılara göre açıklamalarında daha olumlu duygusallık göstermiştir. Öznel anket puanlarında tutum, sosyal ilişki ve motivasyonel mülakat kalitesi değerlendirilen üç ifade koşulları arasında anlamlı farklar gözlemlenmedi.

Uyumsuz yüz ifadesi durumu, yani kişilerarası olasılık artık saygı görmediği durumlarda, genellikle hem ifadesiz, yani ajanın hiç ifade göstermediği durumlardan hem de adaptif, yani ajanın ifadesi, öznel ölçütler üzerindeki model koşullarımız tarafından yönlendirildiğinden daha düşük derecelendirilmiştir. Algılanan tutum, algılanan mülakat kalitesi üzerinde güçlü doğrudan etkiye sahipti. Algılanan tutum ile motivasyonel röportaj kalitesi arasındaki ilişki, kısmen sosyal uyum tarafından aracılık edildi ve etkinin %43'ünü oluşturdu.

Uyarlanabilir rüya diyalog yöneticisiyle etkileşime giren katılımcılar, sade büyük dil model temeliyle etkileşimde bulunanlara göre anlamlı derecede daha yüksek bir ilişki bildirdi. Rüya diyalog yöneticisi, Karar Dengesi Ölçeği ile ölçülen motivasyon puanlarında farklı katılımcı profillerine göre farklı katılımcı profillerine daha iyi uyum sağladı. Hem temel hem de rüya koşulları, terapötik eşiğin üzerindeki motivasyonel mülakata puanlarının müşteri değerlendirmesini sağladı.

Bulgumuz, sözlü ve sözsüz davranışların uyarlanmasının ajanın etkinliğini önemli ölçüde artırdığını ve sosyal etkileşimli ajanların algısını iyileştirdiğini göstermektedir. Platformumuz, jest üretimi ve diğer diyalog konularının ifade edilmesi gibi diğer uyarlanabilir bileşenlerin de değerlendirilmesini sağlar. Gelecekteki araştırmalar, çoklu diyalog oturumlarında uzun vadeli etkileşim ve sürekli uyum üzerine odaklanacaktır.