Sorunsuz Çok Modlu İnsan-Robot İletişimi: İnsan-Bilgisayar Etkileşiminde Entegrasyon Teknikleri

Summary

Bu inceleme, derin öğrenme, çoklu modal algılama ve entegrasyon stratejilerindeki son gelişmeleri sentezlemektedir; bu da insanlar ile robotlar arasında kesintisiz, uyarlanabilir ve insan merkezli iletişimi mümkün kılmaktadır.

Abstract

Sosyal, yardımcı ve eğitimsel robotlar evler, sağlık tesisleri ve sınıflar gibi günlük ortamlara taşındıkça, ses, jest, bakış, yüz ifadeleri ve dokunsal ipuçlarını yüksek hassasiyet, düşük gecikme ve gerçek dünyada dayanıklılıkla entegre etmeleri gerektiğinde kesintisiz multimodal insan-robot iletişimi vazgeçilmez hale geldi. Bu derleme, mevcut tekniklerin gerçek zamanlı, karşılıklı çoklu ortam etkileşimini (HRI) nasıl sağladığını sistematik olarak incelerek, füzyon stratejilerine, sistem mimarilerine ve belirli alanlardaki uygulamalara odaklanmaktadır. 2015'ten 2025'e kadar Web of Science Core Collection'da İngilizce dil ampirik çalışmaları araştırdık ve iletişimsel entegrasyonu ele alan 148 makale seçtik. En önemli içgörüler, 2022'den bu yana (yaklaşımların yaklaşık %43'ü) hibrit ve dikkat odaklı füzyona açık bir geçiş içeriyor; bu, önceki yöntemlere göre zamansal asenkroni ve bedenli etkileşimleri daha iyi yönetiyor; değerlendirme metriklerinde yaygın tutarsızlık ve bu da çapraz karşılaştırmaları engelliyor; ve güçlü laboratuvar performansı ile gürültü, tıkanma veya kullanıcı değişkenliği altında gerçek dünyada daha zayıf dayanıklılık arasında kalıcı bir boşluk. Başlıca zorluklar arasında gerçek zamanlı işleme, anlamsal hizalama, veri verimliliği, dağıtım dayanıklılığı ve dokunsal sinyallerin etkinlikle az keşfedilmiş entegrasyonu yer alıyor. İleriye bakıldığında, inceleme uyarlanabilir füzyon politikalarının önceliklendirilmesini, senkronizasyon ve akıcılık için standartlaştırılmış kıyaslamaları ve kullanıcıya kişiselleştirilmiş uyumu mümkün kılmak için sürekli öğrenmeyi öneriyor. Sonuç olarak, iş birliği içinde, anlamlı ve günlük hayatta sosyal olarak kabul edilebilir olan daha insan merkezli robotik ajanların geliştirilmesini yönlendirmeyi amaçlamaktadır.

Introduction

Robotlar, yapılandırılmış ortamlarda endüstriyel araçlardan evlerde, hastanelerde ve sınıflarda sosyal olarak gömülü ajanlara evrildi. Artık eğitim, terapi ve arkadaşlık alanlarında destek veriyorlar; bu da görev odaklı otomasyondan kullanıcı odaklı, uyarlanabilir etkileşime geçişi yansıtıyor. Bu geçişin merkezinde, robotların insan ipuçlarını—konuşma, bakış, jestler, yüz ifadeleri ve dokunuş—algılayıp yanıt vermesini sağlayan çoklu modal iletişim yatıyor; dinamik ortamlarda doğal değişimler için gereken zamansal hassasiyetle gerçekleşiyor. Koordinasyon ve yanıt verebilirliğe verilen bu vurgu, insan-bilgisayar etkileşimi ve bilişsel bilimdeki temel kaygılarla örtüşmektedir. Bu incelemede, kesintisiz multimodal iletişim, kullanıcılar için akışkan ve sezgisel hissettiren, saniye altı yanıt süreleriyle (genellikle 300 ms'den az), minimum algılanabilir gecikmeler veya uyumsuzluklarla ve gerçek dünyadaki değişkenliğe güçlü uyum sağlayan etkileşimleri ifade eder. Bu, zamanlama hataları, modalite hataları veya katı tepkilerin doğal akışı bozduğu geleneksel komut tabanlı veya tek modlu sistemlerden ayırır.

İnsan-robot etkileşimi (HRI) kapsamında, bu inceleme insan ile robot arasındaki karşılıklı, gerçek zamanlı çoklu modal sinyal değişimi olarak tanımlanan insan-robot iletişimine odaklanmaktadır. HRI aynı zamanda planlama, kontrol ve güvenliği kapsıyorken, iletişim algı ve eylemin duyusal kanallar arasında senkronize edilmesini içerir. Erken komuta tabanlı sistemler, çatışmadan çok verimliliği önceliklendirirdi ve genellikle katı veya gecikmeli davranışlar üretirdi. Çağdaş çalışmalar, kullanıcı durumu^{ve duygularını 1,2} kapsamında barındıran uyarlanabilir, bağlam farkında modelleri takip eder. Bu evrim, kesin, sezgisel ve kişiselleştirilmiş etkileşim çerçevelerine olan ihtiyacı vurgular.

İlk sosyal ve yardımcı robotlar genellikle senaryolu rutinlere veya ses veya dokunma gibi tek mod girdilerine dayanır, bu da esnekliği^{sınırlar 3}. Kural tabanlı mantık ve yavaş işleme, jestler ile konuşma arasında zamanlama uyumsuzluğuna veya kullanıcı davranışına kötü uyum sağlamasına yol açtı. Bu sorunları ele almak için araştırmacılar, düşük gecikmeli füzyon, çok modlu duyusal entegrasyon ve kullanıcıya uyarlanabilir öğrenme ^4,5 uygulamaktadır. Bu stratejiler, HRI'da yaygın olarak kabul edilen üç temel iletişim ilkesiyle anlaşılabilir: tamamlayıcılık (modaliteler birbirini telafi eder), yedeklik (örtüşme sağlamlığı artırır) ve sinerji (yakınsama, doğallığı artırır).

Algılama ve öğrenmedeki gelişmeler, görsel, işitsel, dokunsal ve fizyolojik girdileri gerçek zamanlı olarak entegre eden sosyal duyarlı^{robotlar ortaya çıkarmıştır 5,6}. Sabit betikler yerine, bu sistemler sürekli olarak kullanıcı ipuçlarına uyum sağlar. Erişilebilir programlama arayüzleri ve gösterimden öğrenme yöntemleri, eğitimciler ve terapistlerin bakım ve öğretim için davranışlarını özelleştirmelerine olanak tanır; burada hassasiyet, yanıt verme ve uyum sağlama gereklidir.

Sosyal HRI'daki iletişim kalıpları paralel, tamamlayıcı ve etkileşimli modlarda gruplandırılabilir (Şekil 1). Paralel etkileşimde, insanlar ve robotlar bağımsız hareket eder ve minimum değişim yapar. Tamamlayıcı etkileşim, yapılandırılmış istemler veya olay tabanlı destek getirir. En gelişmiş ve etkileşimli mod, konuşma, hareket ve bakış gibi kanallar arasında sürekli çift yönlü ayarlamayı^{içerir 7}.

Literatür seçimi ve analizi

Sistematik inceleme metodolojisi: Web of Science Core Collection'da sistematik bir literatür araması yaptık; bu arayış, büyük yayınevlerinin (IEEE, ACM, Springer, Elsevier, Wiley, Taylor & Francis) hakemli dergi makalelerini ve tam konferans bildirilerini hedefledik. Boolean sorgusu şuydu: (("insan-robot etkileşimi" VEYA HRI) ve (multimodal VEYA "sensör füzyonu" VEYA jest YA bakış, konuşma YA da dokunsal) VE ("gerçek zamanlı" VEYA "düşük gecikmeli" YA da uyarlanabilir YA da sağlam)). Dahil etme kriterleri şunlardı: Ocak 2015'ten 2025'e kadar İngilizce yayınlar—kural bazlı, tek modaliteli sistemlerden, düşük gecikmeli, uyarlanabilir ve sağlam etkileşimi vurgulayan derin öğrenme mimarilerine geçişi kapsayan bir dönem—iletişimsel HRI ve ampirik doğrulama (nicel veya nitel) için çoklu modlu entegrasyon tekniklerine odaklanmak. Tek modlu etkileşimle sınırlı çalışmaları, iletişim niyeti olmadan robot kontrolü ele alanları ve ampirik olmayan çalışmaları (örneğin, tamamen teorik veya sadece simülasyon) hariç tuttuk. İlk arama önemli bir topluluk buldu. Kopyaları kaldırdıktan sonra, başlıkları ve özetleri dahil etme kriterlerine göre taradık, ardından güvenilir çok modlu füzyona ilişkin ilgini ve katkıyı değerlendirmek için tam metin incelemeleri yaptık. Bu çok aşamalı süreç, PRISMA tarzı akış şemasıyla (Şekil 2) özetlendi ve bu incelemenin ampirik temelini oluşturan 148 makaleden oluşan nihai bir derlemeyi ortaya çıkardı.

Seçilmiş literatüre genel bakışı: Şekil 3 , yayın eğilimlerini ve disiplinler dağılımı gösterir; Bilgisayar Bilimi ve Otomasyon ve Robotik başlıkları hakimdir; ayrıca Davranış Bilimleri ve Sinirbilim'den artan katkılar da vardır ve bu da alanın disiplinlerarası yolunu vurgular. Literatürü tematik olarak çoklu modal entegrasyona teknik katkı olarak kümeledik (Tablo 1). Bu sentez, modaliteleri, füzyon yöntemlerini, gecikme yönetimini, dayanıklılık stratejilerini, uyum sağlamlığını ve metrikleri kapsıyordu. 2019'dan 2021'e kadar yapılan çalışmalar ağırlıklı olarak erken veya geç füzyon kullanmış, genellikle jestler ve dokunsal girdiler vurgulanmıştır. 2022'den bu yana, özellikle duygusal ve bedenli etkileşim için hibrit ve dikkat odaklı mimariler popülerlik kazandı. Bu korpusta, hibrit füzyon yaklaşımların yaklaşık %43'üni, erken füzyon %29'unu ve geç füzyon %28'ini oluşturur—bu dağılım, zamansal asenkron için artan toleransı önermektedir.

Başlangıçta taranan daha geniş literatürde gerçek zamanlı yetenek genellikle iddia edilse de, yalnızca sınırlı sayıda çalışma belirli azaltma stratejilerini (örneğin, tamponlu işleme, öngörücü modeller veya sensör düzeyinde optimizasyon) detaylandırmaktadır. Dayanıklılık genellikle filtreleme, tekrarlılık veya kural tabanlı yedek yöntemlere dayanırken, önleyici uyum nadir kalır. Değerlendirme uygulamaları tutarsızdır ve zamansal senkronizasyon veya etkileşim akıcılığı için standartlaştırılmış değerlendirmeler nadir kalır. Çalışmalar arasında metrikler o kadar farklılık gösteriyor ki, doğrudan karşılaştırmalar genellikle zordur. Doğruluk, F1 puanları ve gecikme rakamları yaygındır, ancak bunlar farklı veri setlerinden, görevlerden ve çevresel koşullardan kaynaklanır; Çok az makale, zamansal hizalama veya gürültü dayanıklılığı için ortak ölçütler benimsemektedir. Sonuç olarak, temiz laboratuvar kurulumlarındaki güçlü performans, dışarıda kontrol edilen ayarlarda hangi yöntemlerin başarabileceğini sık sık abartır. Tutarlı değerlendirme çerçeveleri geliştirmek—belki gerçekçi değişkenlik altında standartlaştırılmış gecikme testlerini dahil—hangi yaklaşımların alanı gerçekten ilerlettiğini değerlendirmeyi çok daha kolay hale getirir.

Önemli eksiklikler dokunsal-affektif entegrasyonda (sadece^{altı çalışma} 8,9,10,11,12,13 bunu ele almaktadır) ve kullanıcı kaynaklı zaman belirsizliği altında dinamik gecikme ayarlamasında hâlâ devam etmektedir. Literatürden birkaç ilginç gerilim ortaya çıkar. Hibrit füzyon genellikle zamansal hizalanmayı iyi yönettiği için^{övülür 14}, ancak gerçekten öngörülü veya uyarlanabilir davranışlar nadir kalır; bu da iddia edilen gerçek zamanlı performansın ne kadar sorunsuz olduğunu sorgulatır. Aynı zamanda, görme ve konuşma temelli etki tanıma konusundaki etkileyici ilerlemeler, dokunsal ipuçlarını duygu anlayışıyla birleştiren minimal çalışmalarla keskin bir tezat oluşturuyor. Kontrollü deneylerde yüksek doğruluk gerçek koşullarda da bozulma eğilimindedir ve bu da ortamlar ve kullanıcılar arasında genelleştirme konusundaki devam eden zorlukları ortaya koyuyor. Tablo 2, temsil mimari eğilimleri ve değerlendirme yaklaşımlarını özetleyerek sonraki bölümlerde ele alınan zorlukları bilgilendirir.

Bu inceleme, çoklu modal HRI literatürüne belirgin bir katkı sunmaktadır. Son zamanlarda yapılan anketler, örneğin Zhao ve ^ark.14, algı odaklı karar alma süreçlerine genel bakış sunarken, Wang ve ^ark.15 5G destekli görsel dokunsal iletimi konusuna odaklanmaktadır. Her ikisi de genel çerçeveleri veya iletişim protokollerini vurgular; gerçek zamanlı füzyon takasları, metrik karşılaştırılabilirlik veya dağıtım zorlukları hakkında sınırlı tartışma yapılır. Buna karşılık, daha hedefli bir analiz sunuyoruz: füzyon stratejilerini belirli kısıtlamalar altında karşılaştırıyoruz, çapraz çalışma metrik tutarsızlıklarını eleştiriyor ve pratik boşlukları vurguluyoruz—özellikle önceki anketlerin büyük ölçüde göz ardı ettiği laboratuvar-alan performans ayrımını.