Sürükleyici Ev Tasarımı İçin Jest ve Sesle Kontrol Edilen Sanal Gerçeklik Sistemi: Sistem Tasarımı ve Kullanıcı Deneyimi Analizi

Özet

Bu makale, jestler ve sesle kontrol edilen ve içine kapanık ev tasarımı için sanal gerçeklik sistemini sunar; bu sistem, jest ve konuşma girişlerinin çoklu modlu birleşimi sayesinde doğruluğu, kullanılabilirliği ve erişilebilirliği artırır. Deneysel sonuçlar, geleneksel uygulamalara kıyasla daha kısa görev sürelerini, yerleştirme doğruluğunu artırdığını ve kullanıcı memnuniyetinin arttığını gösteriyor.

Özet

VR'da jest ve ses tabanlı etkileşim çeşitli uygulamalarda umut vaat etmiştir; ancak mevcut sistemler, navigasyon görevlerine verilen önem, iki elli hareketlere bağımlılık, ince taneli hassasiyet eksikliği ve küçük, homojen popülasyonlarda yapılan testler nedeniyle engellenir. Bu sınırlamalar, karmaşık, tasarım odaklı iş akışlarına uygulanabilirliği sınırlar. Bu sınırlamaları gidermek için, elle takip edilen jest girişi ile doğal dil talimatlarının çoklu modal birleşimini içeren Hareketli ve Sesli Sanal Gerçeklik Sistemi'ni tanıtıyoruz; bu sistem, mobilya yerleştirme, malzeme seçimi ve mekansal ayarlama için elle takip edilen jest girişi ile doğal dil talimatlarının çoklu mod birleşimini içeriyor. Sistemdeki yeniliğin üç yönü şunlardır: (i) tek elle kullanımı destekleyen uyarlanabilir etkileşim modları, sayısal sesli komutlar ve hassasiyetin kabaca ile ince arasında ayarlanması; (ii) jest, konuşma ve bağlam bilgilerini birleştirerek çok modlu füzyon mimarisi ile centimetre altı hassasiyet; ve (iii) ev tasarım süreçlerine uyarlanmış, görev farkında kullanıcı deneyimi değerlendirme çerçevesi. Geliştirme süreci, jest ve ses sözlüklerinin gereksinim analizi ve tasarımından, çoklu modal niyet tanıma, snap ve hizalama ile VR sahne montajına ve yinelemeli testlere kadar sistematik bir akış hattını takip eder. Çok çeşitli katılımcı popülasyonlarında yapılan deneysel sonuçlar, kontrolör tabanlı etkileşime göre yerleştirme hatasında %30 azalma ve kullanılabilirlik ile iş yükü puanlarında önemli iyileşmeler göstermektedir. Sonuçlar, çok modlu VR'nin erişilebilir ve ilgi çekici ev tasarım deneyimleri yaratma potansiyelini gösteriyor.

Giriş

Sanal Gerçeklik (VR), kullanıcıların teknolojiyi görebildiği, etkileşime girebileceği ve teknolojiyle gerçekten oradaymış gibi iletişim kurabileceği üç boyutlu bir deneyim üreten etkileşimli bilgisayar tarafından oluşturulan bir ortamdır. Bu çalışma bağlamında, sanal gerçeklik sadece görsel bir gösterim tekniği değil, çoklu modal bir etkileşim ortamı olarak kabul edilmektedir. En yeni VR sistemleri, görsel etkileşimi jest tanıma, mekansal duyular ve doğal ses girişiyle entegre ederek kullanıcıların simüle edilmiş öğeleri yüksek hassasiyetle kullanmasını sağlıyor. Bu anlayış, sürüklenme, etkileşim ve doğal kullanıcı deneyimlerini önceliklendiren güncel VR araştırmalarıyla tutarlıdır. Uygulama alanları performans,^{öğretim 2}, tıbbi^{tedavi 3} ve seyahat^4'ü içerir. VR, insanların gerçek hayatta ulaşılamayacak dünyalarla etkileşime girmesini ve bağlanmasını sağlar; gerçek dünya ortamlarını simüle ederek. Kullanıcıların mekansal düzenleri algılaması, nesneleri kontrol etmesi ve fiziksel hareket gerektirmeden gerçek zamanlı geri bildirim alması gereken ev tasarım süreçlerinde, bu tür daldırma özellikleri özellikle faydalıdır. Bu özellikler, özellikle eksik fiziksel hareketi olan kullanıcılar için yeni olanaklar getirebilir. Gayri resmi dezavantajlı grupların üyeleri, özellikle yaşlılar ve minimum alfanumerik okuryazarlığa sahip olanlar, fiziksel kısıtlamalar, hareket kabiliyeti sorunları ve yaşla ilgili kısıtlamalar nedeniyle dijital teknolojiye erişim zorlukları gibi çeşitli faktörlerle açık hava etkinlikleri kısıtlanacaktır. Bu nedenle, dış dünyayı bu kişilere VR uzmanlığı yoluyla dolaylı olarak erişilebilir kılacak araştırmalara sürekli dikkat göstermek gereklidir. Bu sürekli araştırma ilgisi ihtiyacı sadece erişilebilirlik odaklı VR deneyimlerinin yaratılmasını desteklemekle kalmaz, aynı zamanda temel navigasyon görevlerinin ötesine geçen sistemlerin geliştirilmesini de teşvik eder. Gerçekten de, doğal jestler ve sesle kontrol edildiğinde, sürükleyici ev tasarım ortamları yaşlı kullanıcılara, motor engelli kişilere ve dijital açıdan savunmasız nüfuslara karmaşık mekansal ortamlarla etkileşim kurma konusunda sezgisel araçlar sunabilir. Dış alanlara dolaylı erişim ve yaratıcı görevlere olanak tanıyan bu sistemler, hem işlevsel bağımsızlığa hem de duygusal iyiliğe katkıda bulunur. Bu temelde, bu çalışma çoklu modal VR ev tasarım sistemini tanıtacaktır. Sonuç olarak, araştırmaya sürekli dikkat etme arzusu, VR deneyimini kullanan bu kişilerin dış dünyayı dolaylı olarak erişilebilir kılmasına yardımcı olur. Araştırmalar, yaşlı yetişkinler için oluşturulan VR tabanlı müdahalelerin, duruş kontrolü ve esnekliği artırarak düşme riskini azaltmak6 ve genel duruş düzenlemesi ile sertliği iyileştirmek gibi birçok avantaja sahip^{olabileceğini göstermiştir.} Ayrıca, özellikle yaşlı yetişkin nüfusuna özel VR materyallerinin erişimi^{arttı 8,9}. VR etkileşimi ilerlemiş olsa da, günümüzdeki sistemlerin çoğu esas olarak kontrolörler ve iki elli hareketlere dayanıyor; bu da tasarım gerektiren görevlerde erişilebilirlik ve doğruluğu sınırlıyor. Bu hareketlilik özelliklerini genişleterek, çalışmalarımız VR'ı sadece gözlemle sınırlı kalmaktan öteye taşıyor; iç mimarlık öğelerinin hareketli ve gerçekçi bir şekilde jest ve konuşma yöntemleriyle yönetilmesine olanak tanır

VR'ın üç ilişkili özelliği vardır: iletişim, katılım ve düşünce¹⁰. Simüle edilen nesnelerle etkileşim düzeyi ve etkileşimin gücü, kullanıcıların sanal ortamdaki hayal gücünü doğrudan etkiler. Daldırma aşamalarına bağlı olarak, VR şemaları sürükleyici olmayan VR, yarı sürükleyici VR ve tamamen sürükleyici VR olarak sınıflandırılır ve her biri farklı iletişim yöntemleri, stratejiler ve sınırlar kombinasyonlarını kullanır. 11 Sürükleyici olmayan VR, masaüstü veya dokunmatik ekranlarda sanal ortamla fare üzerinden iletişim kurmanızı sağlar ve^işaretler 12,13,14 işaretlerini sunar. Yarı-sürükleyici VR genellikle büyük bir ekran, organizasyon ve ekranlardan oluşur; sinematik bir deneyim sunar, ancak gruplar halinde kullanıldığında genellikle konumsal takip eksikliği yaşar. VR teknolojisinin kullanımını rahat ve tanıdık hale getirmek için jest tabanlı bağlantılar VR^15'in başından beri araştırılmıştır. Jest tabanlı bir arayüzde, el hareketleri gibi fiziksel vücut işaretleri bilgisayar sistemiyle iletişim kurmak için kullanılır.

Jest sınırı, HMD tabanlı VR'da arayüz şeffaflığını sağlamak için uygulanabilecek daha genel doğal kullanıcı arayüzü (NUI) ilkesinin yaygın bir uygulamasıdır. VR'da meydana gelmeyi teşvik eden unsurlar daha önce ^{incelenmişti 16,17}; yine de, jest tabanlı arayüz arka planında meydana gelinmeye dair çok az çalışma bulunmaktadır. VR'ın ortaya çıkışını etkileyebilecek etkileri jest tabanlı bir arayüz kullanarak anlamak, yaklaşan sürükleyici teknolojilerin tasarımında faydalı olabilir. Bu nedenle, olay ve jest tabanlı iletişim açısından, jest tabanlı arayüze dayalı sürükleyici bir VR etkileşiminin kullanıcı deneyimini araştırdık. Sosyal açıdan savunmasız olanlar için, sanal gerçekliğin (VR) bir alt bölümü olan 360° otoyol değerlendirme materyali etkili bir araç olabilir. Bu teknolojiyle kullanıcılar fiziksel hareket olmadan dünyayı sanal olarak keşfedebilir, farklı yerlere seyahat edebilir ve diğer kullanıcılarla sosyal iletişim kurabilir ve çok taraflı işlevsellikle birlikte sosyal iletişim kurabilirler. Fiziksel ve çevresel engelliler için bu katılım, açık hava aktivitelerine faydalı bir ek olabilir. Basit navigasyonun ötesinde, 360° görüş teknolojisinin mümkün olduğu eğitim olanakları eğitimin birçok alanına da uzanıyor.

64 eğitim oturumunu inceleyen literatürün sistematik bir incelemesi, 360° VR videoları ile gerçek VR'ın bilgilendirici kullanımlarını, faydalarını ve iletişim özelliklerini vurguladı. Sonuçlar, 360° VR'ın öğrenenlerin sunumunu, motivasyonunu ve bilgi tutma kapasitesini artırabileceğini ve daha fazla dalış sağladığını göstermektedir. ^{Araştırmacı 21} , ışınlanma tabanlı bir hareket şemasıyla iki tek elli ve iki elli kullanıcı arayüzünü ilişkilendirdi. Sonuçlar, tek elli sinyallerin tercih edenler tarafından daha hızlı başlatıldığını gösterirken, iki elli işaretlerin daha güvenilir kabul edildiğini gösterdi; oysa bu eşya tek başına ışınlanmayı ve sürekli hareketi değil, bu çalışmada kullanıldı.

İki elli işaretler için daha yüksek tutarlılık ve tek elli işaretler için daha yüksek başlangıç hızı varsayımı bu çalışma için bir temel olarak kullanıldı. VR^22'deki sorumlulukları yerine getirme operatörlerinin eğitimiyle ilgili sunum ve hizmet edilebilirliğinin ötesinde, teknoloji değerlendirme kısıtlamalarının daha ayrıntılı bir şekilde belirtilmesi de gereklidir. Bu eğitim durumunda, paneller operatörlere etkinlikler hakkında rehberlik eder ve teknoloji değerlendirmesi kritik bir bileşendir. Ayrıca, temel öncül, HT teknolojisinin doğru şekilde uygulandığında teknoloji alanında da ilerlemeler^{sağlayabileceğidir 23,24}. Son araştırmalarda, sanal ortamların sadece tekerlekli sandalye direksiyon hizmetlerini değerlendirmek için faydalı olmadığı, aynı zamanda gerçek hayatta yeniden yaratılması zor veya pahalı olacak esnek hizmetler eğitimi de dahil olmak üzere faydalı kullanımları olduğu gösterilmiştir. Örneğin, yazar²⁵, VR simülatörlerinin, becerikli ve zararsız bir teknoloji ortamı sunarak yönlendirme hizmetlerinin fiziksel ortamlara genelleştirilmesini kolaylaştırabileceğini belirtir.

Araştırmacı ayrıca sanal becerilerin tekerlekli sandalye hizmetleri eğitimi için bir müdahale programı olarak uygulanmasını vurguluyor; egzersizi bireyselleştirme ve esneklik hizmetlerini geliştirmede faydalılığını vurguluyor. Ancak güvenlik amaçları için, kullanıcılar özellikle sanal gerçeklik ortamında önceden onaylanır ve taranır^. Böyle bir uygulama, fiziksel engelli bireylerin tekerlekli sandalye sürüş becerilerini güvenli ve kontrollü bir ortamda geliştirmelerine olanak tanır²⁸. Zorlu sorunları aşmak, dar alanlarda gezinmek veya karmaşık manevralar yapmak gibi çeşitli sanal testler ve senaryolar deneyimleyebilirler. Bu arada, kullanıcılar performansları hakkında anında geri bildirim alabilir ve yeni hareket stratejileri^{edinebilirler 29}. Eğitim yardımcısı olarak hizmet vermenin yanı sıra, sanal gerçekliğin terapötik uygulamaları^{da vardır 30}. Sürükleyici bir resimsel teknoloji sunmak, özgüveni, organizasyonu ve fiziksel yeniden entegrasyonu artırmaya katkıda bulunabilir. Bireyler motor becerilerini geliştirebilir ve stabilitelerini ve dengelerini artırabilirler. Sanal gerçeklik ortamları, kullanıcıların kendilerini kendilerinin bir parçası gibi hissetmelerini sağlayan bilgisayar tarafından oluşturulmuş^{temsillerdir 31}.

Bu durum sanal gerçeklik kulaklıkları veya diğer stratejilerle görselleştirilir. Maketler, tıbbi olaylar veya belirli stratejilerin işletimi gibi uygulanmadan önce risk durumlarını veya zorlu durumları simüle^{edebilir (}32,33,34). Ancak, ek bir avantaj ise, kontroller, hareket algılayıcı süsler, mikrofonlar veya yelekler gibi cihaz ekipmanlarının bağlanabilmesi, işveren ile mekanizma³⁵ arasında zararsız ve özenle çoğaltılmış bir ortamda etkili iletişim sağlanabilme imkanıdır; böylece gerçek ortamlarda kullanılmadan önce etkili iletişim sağlanır. Sanal maddeler, joystick, konuşma talimatları veya filme alınmış izler gibi farklı modlarda çalıştırılabilir; örneğin bir Kinect^{çalışması 36'da}. Tüm alternatifler kullanıcılar için öğrenmeyi içerir, bu nedenle kullanıcı deneyimi kontrol^{yaklaşımı 37} seçiminde kritik bir faktördür.

Sanal alanlarda jestler ve sesli etkileşim, temel makalede tartışılan sokak görünümü sistemi de dahil olmak üzere navigasyon görevleri için incelenmiş olsa da, bu modalitelerin hassas ve yaratıcı alanlara, örneğin immersiv ev tasarımına uygulanmasında önemli bir boşluk vardır. Temel çalışma, erişilebilirlik için çoklu modal girdilerin uygulanabilir olduğunu kanıtladı, ancak sadece navigasyon ve olay yeri incelemesini, iki elli hareketler, doğrudan komut verme ve küçük bir katılımcı nüfusu içeriyordu. Yüksek kaliteli manipülasyon, hassas mekansal konumlandırma, malzeme düzenleme veya işbirlikçi iş akışları gibi iç mekan ve mimari tasarım faaliyetlerini tanımlayan zorlukları kapsamıyordu. Ayrıca, testler dar ve homojen bir kullanıcı grubunu hedefledi; bu da daha geniş nüfuslar ve farklı erişilebilirlik ihtiyaçları için kullanılabilirlik gözlemlerini sınırladı. Mevcut VR tasarım araçları esas olarak kontrolörlere dayanıyor; bu da doğal etkileşimi kısıtlayan ve motor veya öğrenme güçlüğü olan kullanıcıları dışlıyor. Sonuç olarak, jestleri ve konuşmayı kaba ve ince nesne manipülasyonu için entegre eden, sesle kontrol edilen sayısal değişiklikler sağlayan, tek elle ve erişilebilirlik için uygun etkileşim stillerini karşılayan ve gerçek tasarım görevlerinde kapsamlı kullanıcı deneyimi analiziyle test edilen bir sistemin tasarlanması ve test edilmemesi^{eksiktir 38,39}. Bu boşluğu kapatmak, çoklu modal VR navigasyonunda önceki araştırmalar üzerine inşa edilen, yeni, kullanıcı odaklı bir ev tasarımı yaklaşımı yaratabilir.

Çok modlu insan-makine arayüzlerindeki son gelişmeler, VR^40'ın kullanılabilirliğini ve sürükleyiciliğini artırmak için gelişmiş algılama ve etkileşim mekanizmalarını keşfetmiştir. Yazar⁴¹ , temassız 3D jest tanıma için elektret-nanofiber tabanlı triboelektrik sensör sundu; bu sensör, jestlerin yüksek hassasiyette yorumlanmasının geleneksel görme tabanlı takip olmadan da sağlanabileceğini ve daha doğal, dokunmasız VR kontrolünü mümkün kılabileceğini gösterdi. Öte yandan, araştırmacı⁴² farelerde kafa sabit VR sistemleri için sağlam bir davranışsal eğitim prosedürü sundu. Çalışma, kontrollü VR ortamlarının hassas davranışsal ölçüm ve kararlı etkileşim protokollerini nasıl destekleyebileceğini gösterdi ve VR iş akışlarında tekrarlanabilirlik ile sistematik tasarımın önemini ortaya koydu. Aynı zamanda, yazar⁴³ , elektrofizyolojik sinyal alımını iyileştirmek için ultra düşük deri empedansına sahip, esnenebilen ve yapışkan iyonik-iletken bir elektrot önerdi; bu, XR ve VR etkileşim hassasiyetini daha da artırabilecek biyoentegre algılamaya yol açar. Aslında, tüm bu çalışmalar sensör teknolojisinin, eğitim protokollerinin ve fizyolojik arayüzlerin ne kadar hızlı evrildiğini gösteriyor—bunun nedeni, bu çalışmada önerilen jest-ses sistemi gibi daha esnek, çok modlu etkileşim çerçevelerine ihtiyaç duyulmasıdır.

Bu protokol, mevcut VR etkileşim modellerinin aksine, tek elle erişilebilir jestler, ses tabanlı sayısal iyileştirmeler ve hassasiyet odaklı ev tasarımı sağlayan çok modlu bir jest-ses yolu sunar; bu modeller öncelikle navigasyon veya kontrolcü tabanlı manipülasyonu destekler. Anladığımız kadarıyla, bu protokol özellikle mekansal hassasiyet, malzeme modifikasyonu ve kapsayıcı tasarım süreçleri için özel olarak ayarlanmış jest-ses füzyonunu birleştiren ilk protokoldür.

Bu çalışmanın temel hedefleri, ev tasarımı aktivitelerine özel olarak hareketli ve sesli sanal gerçeklik (VR) sistemi oluşturmak ve çoklu modal giriş yeteneklerini genişleterek doğru mobilya yerleştirmesi, döndürme, ölçeklendirme ve malzeme veya aydınlatma düzenlemesini desteklemek için tipik navigasyon fonksiyonlarına ek olarak genişletmektir. Temel hedeflerden biri, iç tasarım görevlerinde hem kaba hem de ince taneli kontrol sağlamak için jestleri, sesleri ve bağlamsal girdileri entegre eden çok modlu bir füzyon motoru geliştirmektir. Sistem, tek elle hareket eden hareketler, erişilebilirlik odaklı özellikler ve sesli hassas komutlar gibi uyarlanabilir etkileşim modlarını da tanıtarak geniş bir kullanıcı gruplarını desteklemektedir.

Bu çalışma ayrıca, görev tamamlanma süresi, yerleştirme doğruluğu ve hata oranı gibi nicel ölçümleri kullanılabilirlik, iş yükü ve kullanıcı memnuniyeti gibi niteliksel değerlendirmelerle birleştiren kapsamlı bir kullanıcı deneyimi (UX) değerlendirmesi yapmayı amaçlamaktadır. Önceki çalışmalara göre önemli bir ilerleme, sokak görünümü tabanlı navigasyon sistemlerinden görev odaklı ve hassasiyet odaklı iç tasarım çerçevesine geçişle sağlanmıştır. Temel katkı, içine kapanıcı ev tasarımı için jest ve ses kontrollü VR ortamının geliştirilmesinde yatıyor; bu, sokak görünümü navigasyonu için esas olarak jest-ses entegrasyonuna odaklanan önceki araştırmaların kapsamını genişletiyor.

Önemli olarak, daha önce hiçbir sistem, nesne konumlandırma, ölçeklendirme, döndürme ve malzeme düzenleme gibi hassas ev tasarımı işlemleri için özel olarak jest-ses çoklu modal iletişimi etkili bir şekilde birleştirmemiştir. Mevcut yaklaşımlar ayrıca, tek elle hareket girişi veya ses tabanlı sayısal iyileştirme gibi uyarlanabilir etkileşim alternatiflerinden de yoksundur. Önerilen sistem, MediaPipe elleri veya VR başlığı tabanlı el takibi ile elde edilen jest tanımayı, Zamansal Konvolüsyon Ağ sınıflandırıcılarıyla, ayrıca Whisper ASR ve transformator tabanlı niyet sınıflandırma modelleri tarafından yönlendirilen konuşma tanıma ve doğal dil yorumlamayla birleştiren kapsamlı bir multimodal etkileşim paradigması sunuyor.

Sağlam çalışmayı sağlamak için, güven temelli tahkim ile karar düzeyinde çok modlu bir füzyon mekanizması uygulanır; jestler mekânsal seçim görevlerine, sesli komutlar ise hassasiyet iyileştirmelerine eşlenir. Bu tasarım, sanal ev tasarım ortamlarında nesnelerin doğru yerleştirilmesi, ölçeklendirilmesi, dönüşü ve malzeme değişimlerini mümkün kılar. İş akışı, sistem gereksinimlerini tanımlamak, jest ve ses sözlükleri tasarlamak, çoklu modlu füzyon teknikleri geliştirmek ve snap araçları, ölçüm üstlemeleri ve materyal önizlemeleriyle donatılmış Unity 3D kapsamlı bir VR ortamı oluşturmakla başlayan yapılandırılmış bir boru hattını takip eder. Bunu sistem entegrasyonu, pilot testler ve karşılaştırmalı çalışmalarla kullanıcı deneyimi değerlendirmesi takip eder.

Sistem, düşük gecikmeli çoklu modal etkileşim (200 ms'nin altında), uyarlanabilirlik desteği ve geleneksel kontrolcü tabanlı VR sistemlerine kıyasla daha iyi kullanılabilirlik sunar. Deneysel değerlendirme, görev tamamlanma süresini, yerleştirme doğruluğunu, hata oranlarını, SUS puanlarını, NASA-TLX iş yükü ölçütlerini ve IPQ varlık derecelerini nicelikle ölçecektir. Beklenen sonuçlar, çoklu modal etkileşimin VR tabanlı ev tasarımında hassasiyeti, verimliliği ve kullanıcı memnuniyetini önemli ölçüde artırdığını göstermektedir.

Protokol

Bu çalışma, Malezya'nın Subang Jaya kentindeki Taylor's Üniversitesi Araştırma Etik Komitesi tarafından onaylandı. Tüm prosedürler, kurumsal araştırma komitesi tarafından belirlenen etik yönergelere uymuş ve Helsinki Bildirgesi'ne uymaktadır. Veri toplanmadan önce, her katılımcıdan bilgilendirilmiş onay alındı. Çalışmanın hedefleri hakkında açıkça bilgilendirildiler, katılımın gönüllü olduğu, yanıtlarının gizli kalacağı ve herhangi bir sonuç olmadan istedikleri zaman çekilebilecekleri konusunda güvence verildi. Akademik yayınlarda anonimleştirilmiş etkileşim ve anket verilerinin kullanımı için ayrıca yazılı bilgilendirilmiş onay alınmıştır. Bu makalede kişisel olarak tanımlanabilir bilgiler, görüntüler veya hassas kişisel veriler yer almamaktadır.

Önerilen çalışma, sürükleyici ev tasarımı için tasarlanmış bir jest ve ses tabanlı sanal gerçeklik (VR) sistemi formüle etmektedir ve navigasyon odaklı görevlere yönelik mevcut yöntemleri geride bırakmaktadır. Yaklaşım, mobilya dağıtımı, nesne ölçeklendirme ve döndürme, malzeme düzenleme ve hassas oda ölçümleri gibi kullanıcı ihtiyaçlarını ve tasarım faaliyetlerini belirlemekle başlar. Daha sonra, kısıtlamamış el hareketlerinin (örneğin sıkıştırma, tutma ve döndürme) kulaklık tabanlı takip veya MediaPipe Hands ile tespit edildiği ve Zamansal Konvolüsyon Ağlar (TCN) dahil hafif makine öğrenimi modelleri ile tanımlandığı bir jest etkileşim sistemi geliştirilir. Jestleri tamamlamak için, yüksek seviyeli anlamsal kontrol için niyetler ve parametreler türetmek amacıyla Fısıltı tabanlı Otomatik Konuşma Tanıma (ASR) ve Doğal Dil Anlama (NLU) ile birleştirilen organize bir sesli komut grameri oluşturulur. İki modalite, çok modlu bir füzyon stratejisinde birleştirilir; burada jestler mekânsal seçim ve manipülasyonu yönetmek için kullanılırken, sesli komutlar hassas iyileştirmeler sunar; bu iyileştirmeler güvene dayalı tahkim mekanizması ve geri alma komutlarıyla hata kurtarma ile desteklenir.

Sürükleyici tasarım ortamı, Unity 3D formatında da sunulmuştur; snapping, çarpışma tepkisi, ölçüm üst katmanları ve gerçekçi tasarım iş akışlarını mümkün kılmak için etkileşimli mobilya ve malzeme kütüphanesi içerir. Pilot testler, resmi değerlendirmeden önce etkileşimin doğallığı, kararlılık ve düşük gecikme (<200 ms) sağlamak için yapılır.

Katılımcılar ve örnekleme stratejisi
Toplamda, çeşitlilik ve sonuçların genellenebilirliğini sağlamak amacıyla kullanıcı çalışması için 48 katılımcı seçildi. Katılımcıların yaşları 19 ile 62 arasında değişiyordu (M = 32,4, SD = 10,7), 26 erkek ve 22 kadındı. Immersiv teknolojilere aşinalıktaki çeşitliliği yakalamak için katılımcılar üç VR deneyimi grubuna ayrıldı: VR'a az veya hiç maruz kalmamış acemi kullanıcılar (n = 18), VR'ı nadiren kullanan ara kullanıcılar (n = 17) ve çoğunlukla profesyonel olarak düzenli olarak VR kullanan deneyimli kullanıcılar (n = 13). Numunenin erişilebilirliğini ve kapsayıcılığını sağlamak için, hafif hareket kısıtlı 6 katılımcı ve motor kısıtlamalar nedeniyle tek elle etkileşimi tercih eden 4 katılımcı da dahil edildi. Tüm katılımcıların görmesi ya normal ya da düzeltilmiş şekilde görüldü, hiçbiri VR kullanımını engelleyebilecek vestibüler veya nörolojik durumlar bildirmedi.

Katılımcılar, dengeli bir tahsis stratejisiyle üç etkileşim koşuluna rastgele atandı: Jest+Ses (n = 16), Sadece Kontrolör (n = 16) ve Hibrit (n = 16). Deneyim seviyeleri, önyargıyı önlemek ve koşullar arasında benzer görev zorluğu sağlamak için üç grup arasında eşit şekilde dağıtıldı. Tüm katılımcılar, deneyin başlamasından önce yazılı bilgilendirilmiş onay sundu.

Daha sonra bir kullanıcı çalışması, Hareket Sesi, Sadece Kontrolcü ve Hibrit gibi üç etkileşim koşulunda yapılır; böylece hassasiyet, verimlilik ve kullanıcı deneyimi değerlendirilir. Nicel ölçütler arasında yerleştirme hassasiyeti, görev süresi ve hata oranları bulunurken, öznel değerlendirme ise niteliksel mülakatlarla desteklenen SUS, NASA-TLX ve IPQ kullanır. Burada sunulan bu sistem, üç ana yenilik sunar: VR'da doğru nesne manipülasyonu için çok modlu jest-ses füzyonunun kullanılması, tek el hareketleri ve sesli yedekleme gibi uyarlanabilir ve erişilebilir etkileşim modları ile tekrarlanabilir bir şekilde açıklamalı jest-sesli komutlar korpusunun sağlanması. Bu adımlar birleşince, temel makalenin eksikliklerini doğrudan gidererek tasarım kullanımı için sürükleyici VR etkileşimi araştırmalarını ilerletmek için doğruluk, etkinlik ve kullanıcı deneyimini artırır. Şekil 1, önerilen yöntemin mimarisini göstermektedir.

Önerilen yöntemin sistem mimarisi, Şekil 1'de gösterildiği gibi, EgoGesture ve IPN Hand gibi veri setleri kullanılarak jestlerin kaydedildiği giriş modaliteleriyle başlar; ayrıca Akıcı Konuşma Komutları veri setinden sesli talimatlar alınır. Bu girdiler, jest tanıma ve ses tanıma modülleri kullanılarak bağımsız olarak işlenir ve mekânsal ve anlamsal veri üretilir. İki akış, jest ve ses girişlerini hizalayan ve tutarlı komutlar üreten multimodal bir füzyon katmanı içinde birleştirilir. Bu birleşmiş veri, VR etkileşim katmanında kullanıcıların nesneleri yerleştirme, dönüş, ölçeklendirme ve materyal modifikasyonu yoluyla gerçek zamanlı olarak manipüle etmesini kolaylaştırmak için kullanılır. Son olarak, işlenen etkileşimler çıkış katmanında sunulur ve erişilebilirlik, doğruluk ve doğal etkileşime odaklanan sürükleyici bir ev tasarım alanı oluşturur.

Sistem gereksinimleri ve görev tanımı
Tasarlanan sistem, VR navigasyon modellerini erişilebilirlik yönleriyle geliştirerek hassas tabanlı ev planlamasını kolaylaştırıyor. Kullanıcı alanı olarak tanımlanırız, burada ev sahipleri, tasarım profesyonelleri ve erişilebilirlik kullanıcıları (yaşlı veya hareket kabiliyeti engelliler) bulunuyor. Her kullanıcı, T = {yerleştir, döndür, ölçeklendirme, malzeme, ışık, ölç} temel görevleri gerçekleştirir. T ∈ T görevi çok modlu girdiler aracılığıyla gerçekleştirilir: jest akışı G_t (mekansal manipülasyon) ve sesli komut V_t (anlamsal parametreler). Sistem, bunları bir füzyon politikası yoluyla bir eylemle ilişkilendirir:

(1)

burada π , karar düzeyinde çok modlu fonksiyondur.

Sistem ihtiyaçları düşük gecikmeli etkileşim gerektirir: jest tanıma, konuşma anlama ve füzyon zamanları olsun.

(2)

Toplam yanıt, immersive VR kullanılabilirlik eşiklerine uygun olarak gerçek zamanlı yanıt verebilirlik sağlar.

Görev doğruluğu için, yer-gerçeklik nesne durumu (x, R, s, M, L) (konum, dönüş, ölçek, malzeme, uzunluk) ve sistemin gerçekleşen durumu olarak . Hata metrikleri aşağıdaki gibidir:

(3)

(4)

(5)

(6)

Malzeme uyumsuzluğu için.

Her iki modalite, c _g (jest) ve c_v (ses) güven puanları üretir; bu puanlar c_g + c_v = 1 olacak şekilde normalleştirilir. Birleşme tahkimi, ağırlıklı bir hatayı en aza indirir:

(7)

Burada l_g, l_v modaliteye özgü kayıplardır. Eğer , sistem açıklama isteği talep eder ve bu da belirsiz komutlar için sağlam hale gelir.

Son olarak, değerlendirme metrikleri görev tamamlama süresi T_t, hata oranları E_t ve NASA-TLX, SUS ve IPQ iş yükü puanlarını içerir. Bileşik görev performans endeksi sunuyoruz:

(8)

kullanıcılar arasında en aza indirilmeli, ≥70 SUS puanı ve NASA-TLX indirimi gerektiren eşiklerle, temel kontrolcü tabanlı VR'ye kıyasla gereklidir.

Veri seti toplama ve ön işleme
Önerilen sistem hem jest verisi (TCN tabanlı tanıma için) hem de sesli komut verisi (NLU/ASR için) üzerine dayanmaktadır. Bu amaçla, üç ana veri seti kullanıyoruz: VR benzeri ortamlarda dinamik sürekli jestler için EgoGesture, doğal kısa menzilli jestleri desteklemek için IPN Hand ve tasarım ifadelerinin ses yönlendirmeli anlamsal anlaşılmasını eğitmek için Fluent Speech^{Commands 44} . Isteğe bağlı veri setleri arasında statik jest dedektörü ön eğitimi için HaGRID ve genel ASR ön eğitimi için Mozilla Common Voice bulunur, ancak bunların hiçbiri gerekli değildir. Böyle bir seçim, veri setlerinin kapsamını mümkün olduğunca makul ve tekrarlanabilir şekilde korurken her iki yöntemin de kapsanmasına olanak tanır. Tablo 1, önerilen çalışmanın veri seti detaylarını göstermektedir.

Bu makaledeki veri seti seçimi çok önemlidir, çünkü her veri seti, çoklu modal VR etkileşiminin farklı bir senaryosunu ele almak üzere tasarlanmıştır. EgoGesture veri seti, değişken aydınlatma ve çevresel koşullara rağmen yüksek tanıma performansı sağlayan büyük ölçekli, doğal bir el hareketi koleksiyonu sunar. IPN El veri seti sınırsız, sürekli el hareketleri için tasarlandığından, özellikle yüksek hassasiyetli kontrol işlemleri ve gerçek zamanlı jest segmentasyonu için uygundur. Ayrıca, Akıcı Konuşma Komutları veri seti, niyet algılama için anlamsal açıklamalarla etiketlenmiş sesli komutlar sunar; bu da VR'da doğru ve doğal komutların yürütülmesini sağlamak için kritik öneme sahiptir. Bu veri setleri birleştiğinde, hem jest hem de konuşma modalitelerinin tamamlayıcı kapsamını sağlar; çeşitlilik, dayanıklılık ve günlük performans sağlayarak önerilen sistemin değerlendirilmesini iyileştirir. Kamu veri setlerine ek olarak, protokolü 312 jest örneği ve 10 yeni katılımcıdan gelen 128 sesli komuttan oluşan bağımsız bir kurum içi veri setiyle doğruladık. Bu bağımsız doğrulama, protokolün tekrarlanabilirliğini ve dayanıklılığını doğruladı.

Veri ön işleme
Toplanan bilgiler, model eğitiminden önce sistematik olarak normalleştirilir, örneklenir ve artırılır:

Jest dizisi normalizasyonu
Bir jest video dizisi, iskelet eklem özelliklerinin çok değişkenli zaman serisi olarak temsil edilir:

(9)

Burada T_i , i-ci jestin uzunluğu, d ise özellik boyutu (örneğin, el eklemlerinin konumları). Farklı jestler farklı uzunluklarda Ti olabileceğinden, onları sabit bir dizi uzunluğu T'ye yeniden örnekliyoruz:

(10)

Bu, kayıt uzunluğu ne olursa olsun tüm jest örneklerini, TCN eğitimi için kullanılabilecek standart bir zaman uzunluğuna benzer kılar.

Özellik standartlaştırması
Kullanıcılar ve kayıt koşulları arasındaki ölçek farklarını ortadan kaldırmak için her özellik alanı standartlaştırılmıştır:

(11)

Burada j özelliğinin ortalaması, σ_j ise standart sapmasıdır. Bu şekilde normalizasyon, özelliklerin birim varyansıyla merkezlenmesini ve jest performansındaki bireysel farkların en aza indirilmesini sağlar.

Veri artırma
Sentetik bozulmaların dahil edilmesi, değişkenliğe karşı dayanıklılığı artırır. Zamansal titreme önce dizis hizasını rastgele kaydırır:

(12)

burada δ, karelerdeki maksimum titreklemedir. Gürültü enjeksiyonu ikincisi, özelliklere Gauss bozulmaları ekler:

(13)

Bu geliştirmeler, modelin gerçek VR etkileşimlerindeki zamanlama düzensizliklerine ve sensör gürültüsüne karşı dayanıklı olmasını sağlar.

Ses ön işleme
Her konuşulan ifade başlangıçta bir log-Mel spektrogram temsiline eşlenir:

(14)

Burada F frekans kutularının miktarı ve T′ zamansal çerçevelerin miktarıdır. Kaydetme değişkenliği için telafi etmek için spektrogram özellikleri şu şekilde normalleştirilir:

(15)

V μ σ V ise korpus üzerindeki küresel ortalama ve standart sapmadır. Bu, ASR ve NLU modelleri için istikrarlı bir akustik özellik alanı sağlar.

Amaç yuvası kodlaması
Akustik özelliklere ek olarak, her sesli komut yapılandırılmış anlamsal slotlarla etiketlenmiştir:

(16)

örneğin, "sandalyeyi 15 derece döndür" (eylem = döndür, nesne = sandalye, konum = null) ile karşılık gelir. Bu sistematik kodlama, sistemin tasarıma özgü parametreleri türetmesini ve bunları yürütülebilir VR işlemlerine dönüştürmesini sağlar.

Zamansal Konvolüsyon Ağ (TCN) ile Jest Etkileşim Tasarımı
Jest Etkileşim Tasarımı, kullanıcıların VR ev tasarım sisteminde sanal nesnelerle doğal el hareketleri kullanarak nasıl etkileşime girdiğini belirtir. Tasarım, el jestlerinin sistem fonksiyonlarıyla ilişkilendirildiği bir jest sözlüğü geliştirerek başlar. Örneğin, bir tutma hareketi nesne yerleşimini kontrol edebilir, bir çimdik hareketi ölçeklendirmeyi kontrol edebilir ve bir döndürme hareketi nesneleri seçilmiş bir eksen etrafında döndürebilir.

Düşünülen sistemde, EgoGesture ve IPN Hand, Zamansal Konvolüsyon Ağın (TCN) eğitimi için temel jest veri setleri olarak hizmet verirken, Akıcı Konuşma Komutları tasarımı sesli etkileşim yetenekleriyle tamamlamaktadır. Birleştiğinde, çoklu modal VR etkileşimi sağlarlar.

Veri setinden jest temsilleri
EgoGesture veya IPN Hand'den gelen bir dizi jest, çok değişkenli bir zaman serisidir:

(17)

(18)

Burada, T önceden belirlenmiş çerçeve sayısıdır (örnekleme sonrası), d ise iskelet özellik boyutlarının sayısıdır (örneğin, 3B eklem konumları). Veri setinde y⁽ⁱ⁾ ∈ y etiketleri bulunur ve bunlar C jest sınıflarından birini gösterir.

Zamansal Konvolüsyonel Kodlama
Jestleri gerçek zamanlı sınıflandırmak için Zamansal Konvolüsyon Ağ (TCN) kullanıyoruz. TCN, kısa ve uzun vadeli bağımlılıkları jest dizileriyle yakalar. TCN'ler, RNN'lerin aksine, verimli paralel hesaplamayı mümkün kılan genişletilmiş nedensel konvolüsyonlar kullanır.

TCN, bu dizileri nedensel genişletilmiş konvolüsyonlar yoluyla kısa ve uzun vadeli bağımlılıkları öğrenmek için uygular:

(19)

burada d_L, katman l'deki genişleme faktörüdür, K çekirdek boyutu ve σ doğrusal olmayan bir aktivasyon (ReLU) şeklindedir. Alıcı alan şunlara bağlıdır:

(20)

TCN'nin farklı zaman uzunluğundaki jestleri yaymasını gerektiriyordu.

Jestlerin sınıflandırılması
Son gizli durum bir Softmax sınıflayıcısından geçirilir:

(21)

Çapraz entropi ile tanımlanan eğitim amacıyla:

(22)

Sesli komutlarla entegrasyon
Mekânsal işlemler (hareket ettirme, döndürme, ölçeklenme) EgoGesture ve IPN Hand hareketlerinin jest tanımasıyla ele alınırken, anlamsal komutlar için Akıcı Konuşma Komutları veri seti uygulanır. Her ifade, jest girişini parametreler sunarak (örneğin, "sandalyeyi 15° döndür") destekleyen yapılandırılmış bir slot temsiline çevrilir.

Sonra her iki çıktı birleştirilir:

(23)

Burada o⁽ⁱ⁾ VR kontrol ilkelidir (yerleştirme, ölçeklendirme, döndürme).

Zamansal Konvolüsyon Ağ (TCN), Şekil 2'de gösterildiği gibi, jest veya konuşma sinyalleri gibi giriş dizilerinde genişletilmiş 1D konvolüsyonlar kullanarak ardışık verileri işlemede etkilidir. Tekrarlayan modellerin aksine, TCN'ler hem kısa hem de uzun vadeli zaman ilişkilerini öğrenmek için konvolüsyon filtreler kullanır. Atlama bağlantılı kalıntı bloklar eğitim sırasında istikrar sağlamak ve kaybolan gradyanları önlemek için kullanılırken, üst üste yığılmış TCN katmanlarının kullanımı ağın çok ölçekli zaman desenlerini öğrenmesini sağlar. Sonuç olarak, tamamen bağlantılı bir sınıflandırma katmanı, öğrenilen zamansal özellikleri jest sınıfları veya konuşulan niyetler gibi çıktı etiketlerine yansıtır. Bu tasarım, hesaplama verimliliğini güçlü zaman modelleme yetenekleriyle birleştirdiği için sürekli jest tanıma ve sesli komut anlama için özellikle uygundur.

Tablo 2, önerilen jest tanıma sisteminde kullanılan Zamansal Konvolüsyon Ağın genel mimari tasarım ve eğitim konfigürasyonunu özetlemektedir. Model, her biri genişletilmiş nedensel konvolüsyonlara dayanan dört kalıntı TCN bloğu içerir ve ağın hem kısa hem de uzun vadeli zaman bağımlılıklarını modellemesine olanak tanır. Bu bağımlılıklar, tutunma, dönme ve çimdikleme gibi dinamik jestleri ayırt etmek için çok önemlidir. Çekirdek boyutu 3 ve genişleme faktörleri ile [1,2,4,8]'in genişleme faktörleri, hesaplama maliyetini artırmadan zamansal alıcı alanı verimli bir şekilde genişletir. Kullanıcılar ve kayıt koşulları arasında genelleştirmeyi artırmak için, her blok içinde katman normalizasyonu ve 0.25 çıkarma oranı kullanıldı. Eğitim için, 1 × ^10-3 öğrenme hızı, 32 parti boyutu ve 64 kare uzunluğunda bir Adam optimizatoru kullanılır; bu da doğruluk ile gerçek zamanlı yanıt vermeyi en iyi şekilde dengeler. Çıkarım sırasında, kaydırmalı pencere stratejisi, her 20-25 ms'de bir jestlerin tahmin edilmesini mümkün kılarken, uçtan uca gecikmeyi 120 ms'in altında tutar. Bu mimari ve hiperparametre kombinasyonu, gerçek zamanlı etkileşimi korurken, hareket sınıflandırmasında yüksek doğruluk sağlar (%94 yerleştirme doğruluğu) ve TCN'nin sürükleyici VR manipülasyon görevlerini gerçekleştirmesini sağlar.

Ses Etkileşim Tasarımı (ASR+NLU)
Sesli etkileşim bileşeni, VR ev tasarım sistemi için anlamsal ve parametreli sesli komutlarla jest tabanlı mekânsal kontrolü tamamlar. Konuşulan giriş a⁽ⁱ⁾ önce ham ses olarak kaydedilir ve bir log-Mel spektrogramına dönüştürülür:

(24)

Burada F, zaman aralıklarının uzunluğunu olan frekans T binlerinin sayısıdır. Bu temsil, konuşmanın hem spektral hem de zamansal kalıplarını korur ve konuşmacı ile ortam değişkenliğine göre değişmez olarak normalleştirilir:

(25)

Normalize spektrogram, Whisper gibi bir Otomatik Konuşma Tanıma (ASR) modeline beslenir; bu model, akustik özellikleri bir token dizisine dönüştürür:

(26)

burada her biri bir kelime veya alt kelime birimi için bir token'dır. Bu tür transkripsiyon, yapılandırılmış anlamı yakaleden Doğal Dil Anlama (NLU) modeline aktarılır. Daha kesin olarak, NLU niyet kategorileri ve anlamsal slotlar için tahminler yapar:

(27)

örneğin, "koltuk on beş derece döndür" ifadesi (eylem = döndür, nesne = sandalye, konum/parametre = 15°) olarak eşlenir.

Belirlenen niyet-slot çerçevesi, VR sisteminde uygulanabilecek matematiksel bir komuta çevrilir:

(28)

Burada u⁽ⁱ⁾ sayısal bir dönüşüm (örneğin, 15° dönüş) veya kategorik bir değişim (örneğin, malzeme değişimi) olabilir.

Dayanıklılık nihayet güvene dayalı bir tahkim mekanizmasıyla sağlanır. ASR güven puanı p(z) veya NLU güven puanı p(s) bir eşik τ'den küçükse, sistem ya açıklama ister, ya da varsayılan olarak jest tabanlı kontrole geçer. Bu, sesli komutların hassas ve net olmasını sağlar ve hassasiyet gerektiren tasarım görevleri için kullanılabilirliği artırır.

Çok modlu füzyon tasarımı
Önerilen VR sisteminde multimodal füzyonun avantajı, ses anlama ve jest algılamanın ayrı ayrı ele alınmak yerine tek bir karar alma sürecine entegre edilmesidir. Jest modülü TCN'den sınıflandırma çıktısı verirken, ses modülü s⁽ⁱ) niyet-slot temsili sunar. Bunları birleştirmek için sistem, karar düzeyinde birleşmeyi güvene dayalı tahkim ile uygular.

Jest sınıflandırıcısının jest sınıfları üzerinde olasılık dağılımı sağlamasını sağla:

(29)

ve NLU modelinin niyet-slot olasılıkları vermesine izin verin:

(30)

Burada a, o ve p, konuşma girdisinden türetilen eylem, nesne ve parametre yuvalarını ifade eder. Birleşme adımı, iki modaliteyi güven puanlarına göre birleştirerek ortak bir karar hesaplar:

(31)

Burada α∈[0,1] sistem güvenine göre dinamik olarak ayarlanır (örneğin, jestler daha kesin olduğunda daha yüksek, konuşma net olduğunda daha düşük).

Algoritma 1: Multimodal_Fusion (X, a):

Giriş:

X = önceden işlenmiş jest dizisi, a = sesli komut

Çıktı:

O = VR eylem komutu

Adım 1: Jest Tanıma

 

Adım 2: Ses Anlama

 

 

Adım 3: Füzyon Kararı

 

 

 

 

 

Aksi takdirde:

 

Adım 4: Hata Yönetimi

):

Kullanıcı açıklaması talep edin

Aksi takdirde:

O gönder VR sistemine

dönüş O

Bu Algoritma 1, VR tasarım çalışmaları için güçlü bir komut oluşturmak amacıyla jest girişi ile ses girişi arasında geçiş yapar. Jest modülü (TCN) önce el hareketlerini, örneğin dönme veya ölçeklendirme gibi yorumlar ve modelin kesinliğine göre bir güven puanı atar. Buna paralel olarak, ses modülü ASR (örneğin, Whisper) ile konuşmadan metne dönüşümü de gerçekleştirir ve anlamsal niyeti belirlemek için NLU uygular, örneğin "sandalyeyi 15° döndür." Her iki modül de tahminlerini ve güven puanlarını geri getirir. Kombinasyon adımı iki çıktıyı dengeler. Her iki girdi de kesinse, sistem onları güven seviyelerine orantılı olarak birleştirir. Bir giriş belirsizse (örneğin, seste gürültü veya belirsiz jest), sistem diğerini daha öncelikli tutar. Son olarak, hiçbiri kesin değilse, sistem hataları önlemek için açıklama ister. Bu, füzyonu adaptif (ağırlıklar girdi kalitesine göre değişir), sağlam (gürültülü veya eksik veriyi barındırır) ve doğru (hem jest hem de sesin en iyi güçlü yanlarını kullanarak) yapar.

Katılımcılar
Bu çalışma, hem üniversite öğrencilerinden hem de tasarımla ilgili profesyonellerden seçilen bir gönüllü grubunu içeriyor ve VR kullanılabilirliği hakkında çeşitli görüşler toplanıyor. Katılımcıların yaşları erken yetişkinlikten orta yaşa kadar değişiyordu ve yeni başlayanlar, ara sıra kullanıcılar ve ileri düzey kullanıcılar dahil önceki VR deneyim seviyelerinin bir karışımını temsil ediyordu. Tüm katılımcıların ya normal ya da düzeltilmiş görmesi vardı ve jest temelli etkileşimi önemli ölçüde engelleyebilecek motor bozuklukları bildirilmedi. Şiddetli konuşma bozuklukları, büyük kol hareketlilik kısıtlamaları veya VR kaynaklı hareket hastalığı geçmişi güvenlik ve katılım tutarlılığı açısından bireyleri dışlamıştır. Tüm katılımcılar bilgilendirilmiş onay verdi ve değerlendirme prosedürleri kurumsal inceleme kurulu tarafından onaylandı. Bu alt bölüm, değerlendirmeye kimlerin katıldığı açıkça belirtilir ve çalışmanın tekrarlanabilirliğini sağlar.

Deneysel kurulum
Önerilen deneysel kurulum, entegre el takip yeteneklerine ve jestleri yakalamak için RGB kameraya sahip tüketici sınıfı VR başlığında entegre edilmiş çok modlu VR sistemini içeriyor. Yüksek performanslı bir masaüstü özelliğine sahiptir ve jest tanıma, ASR ve çoklu modal füzyon tekniklerinin gerçek zamanlı işlenmesini sağlar. VR ortamı Unity 3D ile inşa edilmiş olup, mobilya, malzemeler ve aydınlatma unsurlarıyla yapılandırılabilen bir ev tasarım odası içeriyor. Bu kurulum, konuşma transkripsiyonu için Whisper tabanlı ASR'yi kapsar ve niyeti tespit etmek için transformator tabanlı bir NLU modülü de içerir. Bu tanım, sonuçların tartışılmadan önce uygun bir teknik ortam genel değerlendirmesi sağlamak amacıyla Sonuçlar bölümünden alınmıştır.

Öznel test senaryoları
Katılımcılar, döşemeli oturma odası, yatak odası ve küçük bir çalışma alanı içeren simüle edilmiş bir ev tasarım ortamıyla etkileşimde bulundu. Her senaryoda, kullanıcılardan sanal nesneleri ve çevredeki çevresel değişkenleri gerçekçi tasarım koşullarına göre değiştirmeleri istendi. Örneğin, katılımcılardan bir kanepeyi referans noktasına göre konumlandırmaları, bir sandalyeyi belirli bir yöne döndürmeleri, bir masayı hedef boyuta göre değiştirmeleri veya duvar malzemesi/ışık profilini değiştirmeleri istendi. Bu senaryolar, hem mekânsal hassasiyet açısından hem de ses tabanlı kontrolü (anlamsal komutlar açısından) zorlayan tipik iç tasarım görevlerini temsil ettikleri için seçilmiştir. Bu alt bölüm, kullanıcıların sistemi değerlendirdiği öznel test koşulları hakkında inceleyicinin sorusuna doğrudan yanıtlanır.

Görev tasarımı
Katılımcılar, öğe manipülasyonu ve tasarım etkileşiminin farklı alanlarını ele alan yapılandırılmış bir egzersiz seti gerçekleştirdiler. Ana görevler şunlardı: 1) Mobilya Yerleştirme: Katılımcılar nesneleri hedef koordinatlarına yerleştirdi. 2) Döndürme Görevi: Bu görevde kullanıcılar yönü referans açısına uyacak şekilde değiştirmek zorundaydı. 3) Ölçeklendirme Görevi: Bu, mobilyaların önceden belirlenmiş boyutlara göre boyutlandırılmasını içeriyordu. Ayrıca, 4) Malzeme/Renk Düzenleme: Katılımcılar dokuları veya aydınlatmayı değiştirmek için sesli komutlar kullandılar. Sanal odadaki mekansal farkındalık yeteneğini yakalamak için isteğe bağlı navigasyon görevleri sağlandı. Her çalışma, net hedefler, ölçülebilir sonuçlar ve tanımlanmış bir zaman sınırı ile belirlendi; böylece hem doğruluk hem de verimlilik doğru şekilde değerlendirilmesini sağladı.

Prosedür
Katılımcılar arasında eşitlik sağlamak için değerlendirme planlı bir dizide gerçekleştirildi. Kullanıcılara önce sistem açıklandı ve jest ile konuşma etkileşim modalitelerinin kısa bir gösterimi verildi. İlk kalibrasyon aşaması, bireysel el duruşları ve konuşma özelliklerine uyum sağladı. Kullanıcılar daha sonra her iki modaliteye alışmak için kısa bir pratik seansı yaptılar. Gerçek değerlendirme, tüm görevlerin üç etkileşim koşulunda yapılmasını gerektiriyordu: sadece bir kontrolcü kullanmak, sadece jestler kullanmak ve jestler ile sesin multimodal girdi olarak kullanılması. Koşul sırası, öğrenme etkilerini azaltmak için dengelendi. Sonunda, denekler SUS, NASA-TLX ve IPQ gibi standartlaştırılmış değerlendirme araçlarını tamamladı ve kısa bir nitel geri bildirim mülakatına katıldı.

Değerlendirme metrikleri
Bu yapılandırılmış prosedür, metodolojik şeffaflık sağlar ve çoğaltma çalışmalarını mümkün kılar. Nesnel ve öznel metrikler birleştirilerek sistem performansını kapsamlı şekilde değerlendirildi. Hedef metrikler arasında verimlilik ölçüsü olan görev tamamlanma süresi; konumlandırma doğruluğu, hedef konumundan veya dönüşten sapma olarak nicelleştirilir; ve hata oranı, sistem tarafından yapılan giriş hatalı sınıflandırma veya istemeden yapılan işlemlerin sayısı olarak tanımlanır. Öznel metrikler, doğrulanmış anketler kullanılarak toplandı: algılanan kullanılabilirliği ölçmek için Sistem Kullanılabilirlik Ölçeği, zihinsel ve fiziksel iş yükünü değerlendirmek için NASA-TLX ölçeği ve VR'da dalma ve varlığı ölçmek için I grup Varlık Anketi. Bunlar, sonuçların sunulmadan önce performansın nasıl ölçüldüğünü açıklamak için Sonuçlar bölümünden uygun şekilde taşınmıştır.

VR ortamı, sistem entegrasyonu ve değerlendirmesi
Konuşma ve jest komutları için birincil platform, sistemin konuşlandırıldığı etkileşimli bir sanal gerçeklik ortamıdır. Entegre mobilya, doku ve aydınlatma öğeleri kütüphaneleri Unity 3D'de sanal odalar oluşturmak için kullanılır. Kullanıcıların öğeleri gerçek zamanlı olarak düzenlemelerini, özelleştirebilmelerini ve düzenlemelerini sağlar. Doğruluk, snap yetenekleri, çarpışma algılama ve ölçüm katmanları sayesinde artırılır; böylece nesneler doğal olarak hizalanabilir. Aydınlatma ve malzemelerin gerçek zamanlı render edilmesi, her etkileşimde anında geri bildirim sağlayarak tasarım deneyimini geliştirir.

Bireysel modüller jest tanıma, ses anlama ve çoklu modal füzyon için doğrulandıktan sonra, birleşik bir boru hattı oluşturulur. Sistem düşük gecikmeye sahip olacak şekilde tasarlanmıştır, bu yüzden kullanıcı komutları VR ortamında neredeyse anında ortaya çıkar. Pilot testler, etkileşim akışını geliştirmek için az sayıda üyeyle yapılır. Bu sürüm, jest kelime defterlerini, sesli komut dilbilgisinin doğrulanmasını ve sistemin sürekli kullanım sırasında doğal ve güvenilir hissettirmesini içeriyor.

Kullanıcı deneyimini değerlendirmek için çok modlu jest-ses füzyonu, sadece kontrolcü girişi ve hibrit mod gibi üç etkileşim modalitesini karşılaştıran kapsamlı bir çalışma kullanılacaktır. Katılımcılardan materyal değiştirme, rotasyon ve nesne yerleştirme gibi görevler gereklidir. Performansı değerlendirmek için, iş başarı süresi, yerleştirme doğruluğu ve hata ücretleri gibi nesnel ölçütler toplanır. Katılımcılardan Sistem Kullanılabilirlik Ölçeği (SUS), NASA-TLX bilişsel iş yükü ve IPQ anketi gibi standart anketler kullanılarak katılımcılardan öznel derecelendirmeler alınır; katılımcı mülakatları ek destek sağlar. Bu ikili değerlendirme, hem ölçülebilir performans ölçütlerini hem de öznel kullanıcı deneyimini kodlar.

Bu sistemin ilerlemesi, temel navigasyon veya etkileşimin ötesinde hassas tasarım görevlerine çoklu modal füzyon uygulamaktır. Bu teknik, sesli talimatların anlamsal değerini jestlerin mekansal avantajlarıyla birleştirerek daha organik, doğru ve ulaşılabilir bir etkileşim yolu sunar. Sadece sesle geri dönüş ve tek elle hareket tanıma gibi uyarlanabilir erişilebilirlik özellikleri sunarak sistem, kapsayıcılığı da artırır. Son olarak, çalışma, ses-jest etkileşimlerinin metodik, notlu çok modlu bir veri seti sunarak sürükleyici arayüz tasarımında gelecekteki çalışmaları teşvik ediyor ve tekrarlanabilirliği artırıyor.

Şekil 3 , uygulanan programın tipik ekran görüntülerini gösterir ve inşa edilmiş VR iç tasarım sisteminin daha canlı bir temsilini sunar. Kullanıcıların odanın düzenini keşfedip görebileceği sürükleyici sanal gerçeklik ortamı, Şekil 3A'da gösterilmiştir. Şekil 3B, doğal el etkileşimlerinin sanal mobilya öğelerini jest tabanlı bir nesne manipülasyonu sürecinde seçmek, hareket ettirmek ve döndürmek için nasıl kullanılabileceğini gösterir. Şekil 3C , mikrofon ve konuşma geri bildirim sembollerinin kullanıcı tarafından verilen sesli komutları mekansal modifikasyonlar veya nesne yerleştirmesi için doğruladığı entegre ses arayüzünü göstermektedir. Önerilen çok modlu VR sisteminin ekran görüntüleri bir arada, tam olarak uygulandığını ve gerçek zamanlı jest ve sesli etkileşime olanak tanıdığını gösteriyor.

Sonuçlar

Tasarlanmış çok modlu VR ev tasarım sistemi, üç temel veri setiyle doğrulandı: EgoGesture (dinamik jestler), IPN Hand (devam eden el hareketleri) ve Akıcı Konuşma Komutları (niyet yuvası etiketli sesli komutlar). Üç veri seti toplamda, hem jest tanıma hem de ses tabanlı anlamsal anlamayı ele alan kapsamlı bir eğitim ve değerlendirme temeli sundu. Doğrulama, jest-ses entegrasyonunun görev doğruluğunu önemli ölçüde artırdığını ve sadece kontrolör ile hibrit giriş yaklaşımlarına kıyasla iş yükünü azalttığını ortaya koyuyor....

Tartışma

Bu araştırmanın sonuçları, tasarım görevleri için jest ve ses modalitelerini birleştirerek erişilebilirlik için sürükleyici VR navigasyonun avantajlarını gösteren temel makalenin teknolojisini geliştirdi. Multimodal sistem, tüm nesnel ve öznel performans ölçütlerinde daha iyi performans gösterdi; daha kısa görev tamamlanma süreleri, daha yüksek yerleştirme doğruluğu ve daha düşük hata oranları ile kontrolör tabanlı ve hibrit yaklaşımlara göre daha iyi performans gösterdi. Ayrıca, SUS, NA...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
EgoGesture Veri Seti	Nanyang Teknoloji Üniversitesi	DOI: 10.1109/TMM.2018.2808769	Dinamik jest tanıma eğitimi için büyük ölçekli egosentrik el hareketi veri seti.
Akıcı Konuşma Komutları Veri Seti	Fluent.ai / Alberta Üniversitesi	DOI: 10.48550/arXiv.1804.04363	ASR/NLU eğitimi için ses niyeti ve slot tabanlı anlamsal anlayış için veri seti.
HaGRID Veri Seti (isteğe bağlı)	Sber AI / Açık Kaynak	v1.1	Statik el hareketi dedektörü ön eğitimi için isteğe bağlı veri seti.
igroup Varlık Anketi (IPQ)	igroup.org	Yok	VR ortamında sürüklenme ve varlığı ölçmek için kullanılır.
IPN El Veri Seti	Universidad Veracruzana	DOI: 10.1109/CVPRW50498.2020.00241	Sürekli ve doğal el hareketi tanıma ve segmentasyon görevleri için veri seti.
Matplotlib / Seaborn	Açık Kaynak	Son Ahır	Performans metriklerinin görselleştirilmesi ve değerlendirme sonuçlarının görselleştirilmesi için kullanılır.
MediaPipe Elleri	Google Araştırması	Açık kaynak (GitHub)	Gerçek zamanlı el ve jest takibi için kullanılır, jest girişi tanıma için.
Mozilla Common Voice (isteğe bağlı)	Mozilla Vakfı	Sürüm 17	Genel konuşma verisi üzerinde ASR modelini ön eğitim için isteğe bağlı veri seti.
Multimodal Füzyon Katmanı	Özel algoritma	Yok	Güven ağırlıklı tahkim temelinde jest ve ses giriş akışlarını birleştirir.
NASA-TLX İş Yükü Değerlendirmesi	NASA İnsan Faktörleri	Yok	Katılımcıların bilişsel iş yükü analizi için kullanılır.
Doğal Dil Anlama (NLU) Modülü	Özel (BERT / RoBERTa temelli)	Yok	Yazıya dönüştürülmüş ses girişinden semantik niyetler ve slotlar (eylem, nesne, parametre) çıkarmak için kullanılır.
NumPy / Pandas / OpenCV	Açık Kaynak	Son Ahır	Sayısal işlemler, veri ön işleme ve video kare manipülasyonu için kullanılır.
Python Programlama Dili	Python Yazılım Vakfı	Sürüm 3.10+	ML modellerinin (TCN, ASR, NLU, füsion) uygulanmasında kullanılır.
PyTorch Derin Öğrenme Çerçevesi	Meta AI	Sürüm 2.0+	Jest tanıma (TCN) ve NLU modellerinin oluşturulması ve eğitimi için kullanılır.
RGB Kamera	Logitech / RealSense	Logitech C920 veya Intel RealSense D435	El hareketi yakalama ve hareket tanıma girişi için kullanılır.
Sistem Kullanılabilirlik Ölçeği (SUS) Anketi	Standart Değerlendirme Aracı	Yok	VR sisteminin öznel kullanılabilirliğini değerlendirmek için kullanılır.
Zamansal Konvolüsyon Ağ (TCN)	Özel uygulama (PyTorch / TensorFlow)	Yok	Zaman serisi iskelet verilerinden dinamik jest tanıma için kullanılır.
Unity 3D Motor	Unity Technologies	Sürüm 2022.3 LTS	Etkileşimli mobilya, materyal düzenleme ve gerçek zamanlı render ile sürükleyici VR ortamı geliştirmek için kullanılır.
VR Başlığı	Oculus (Meta) / HTC Vive	Oculus Quest 2 veya HTC Vive Pro	VR etkileşimi sırasında sürükleyici görselleştirme ve mekansal takip için kullanılır.
Whisper ASR Modeli	OpenAI	Whisper (temel model)	Konuşmayı metne dönüştürmek için Otomatik Konuşma Tanıma motoru.
İş Istasyonu	Özel Yapım PC	Intel Core i7 / NVIDIA RTX 3070 / 32 GB RAM	Gerçek zamanlı işleme, eğitim ve jest ile ses modellerinin çıkarımı için kullanılır.