Sürükleyici Ev Tasarımı İçin Jest ve Sesle Kontrol Edilen Sanal Gerçeklik Sistemi: Sistem Tasarımı ve Kullanıcı Deneyimi Analizi

Özet

Bu makale, jestler ve sesle kontrol edilen ve içine kapanık ev tasarımı için sanal gerçeklik sistemini sunar; bu sistem, jest ve konuşma girişlerinin çoklu modlu birleşimi sayesinde doğruluğu, kullanılabilirliği ve erişilebilirliği artırır. Deneysel sonuçlar, geleneksel uygulamalara kıyasla daha kısa görev sürelerini, yerleştirme doğruluğunu artırdığını ve kullanıcı memnuniyetinin arttığını gösteriyor.

Özet

VR'da jest ve ses tabanlı etkileşim çeşitli uygulamalarda umut vaat etmiştir; ancak mevcut sistemler, navigasyon görevlerine verilen önem, iki elli hareketlere bağımlılık, ince taneli hassasiyet eksikliği ve küçük, homojen popülasyonlarda yapılan testler nedeniyle engellenir. Bu sınırlamalar, karmaşık, tasarım odaklı iş akışlarına uygulanabilirliği sınırlar. Bu sınırlamaları gidermek için, elle takip edilen jest girişi ile doğal dil talimatlarının çoklu modal birleşimini içeren Hareketli ve Sesli Sanal Gerçeklik Sistemi'ni tanıtıyoruz; bu sistem, mobilya yerleştirme, malzeme seçimi ve mekansal ayarlama için elle takip edilen jest girişi ile doğal dil talimatlarının çoklu mod birleşimini içeriyor. Sistemdeki yeniliğin üç yönü şunlardır: (i) tek elle kullanımı destekleyen uyarlanabilir etkileşim modları, sayısal sesli komutlar ve hassasiyetin kabaca ile ince arasında ayarlanması; (ii) jest, konuşma ve bağlam bilgilerini birleştirerek çok modlu füzyon mimarisi ile centimetre altı hassasiyet; ve (iii) ev tasarım süreçlerine uyarlanmış, görev farkında kullanıcı deneyimi değerlendirme çerçevesi. Geliştirme süreci, jest ve ses sözlüklerinin gereksinim analizi ve tasarımından, çoklu modal niyet tanıma, snap ve hizalama ile VR sahne montajına ve yinelemeli testlere kadar sistematik bir akış hattını takip eder. Çok çeşitli katılımcı popülasyonlarında yapılan deneysel sonuçlar, kontrolör tabanlı etkileşime göre yerleştirme hatasında %30 azalma ve kullanılabilirlik ile iş yükü puanlarında önemli iyileşmeler göstermektedir. Sonuçlar, çok modlu VR'nin erişilebilir ve ilgi çekici ev tasarım deneyimleri yaratma potansiyelini gösteriyor.

Giriş

Sanal Gerçeklik (VR), kullanıcıların teknolojiyi görebildiği, etkileşime girebileceği ve teknolojiyle gerçekten oradaymış gibi iletişim kurabileceği üç boyutlu bir deneyim üreten etkileşimli bilgisayar tarafından oluşturulan bir ortamdır. Bu çalışma bağlamında, sanal gerçeklik sadece görsel bir gösterim tekniği değil, çoklu modal bir etkileşim ortamı olarak kabul edilmektedir. En yeni VR sistemleri, görsel etkileşimi jest tanıma, mekansal duyular ve doğal ses girişiyle entegre ederek kullanıcıların simüle edilmiş öğeleri yüksek hassasiyetle kullanmasını sağlıyor. Bu anlayış, sürüklenme, etkileşim ve doğal kullanıcı deneyimlerini öncel....

Protokol

Bu çalışma, Malezya'nın Subang Jaya kentindeki Taylor's Üniversitesi Araştırma Etik Komitesi tarafından onaylandı. Tüm prosedürler, kurumsal araştırma komitesi tarafından belirlenen etik yönergelere uymuş ve Helsinki Bildirgesi'ne uymaktadır. Veri toplanmadan önce, her katılımcıdan bilgilendirilmiş onay alındı. Çalışmanın hedefleri hakkında açıkça bilgilendirildiler, katılımın gönüllü olduğu, yanıtlarının gizli kalacağı ve herhangi bir sonuç olmadan istedikleri zaman çekilebilecekleri konusunda güvence verildi. Akademik yayınlarda anonimleştirilmiş etkileşim ve anket verilerinin kullanımı için ayrıca yazılı bilgilendirilmiş onay alınmıştır. Bu makalede kişisel olarak ....

Sonuçlar

Tasarlanmış çok modlu VR ev tasarım sistemi, üç temel veri setiyle doğrulandı: EgoGesture (dinamik jestler), IPN Hand (devam eden el hareketleri) ve Akıcı Konuşma Komutları (niyet yuvası etiketli sesli komutlar). Üç veri seti toplamda, hem jest tanıma hem de ses tabanlı anlamsal anlamayı ele alan kapsamlı bir eğitim ve değerlendirme temeli sundu. Doğrulama, jest-ses entegrasyonunun görev doğruluğunu önemli ölçüde artırdığını ve sadece kontrolör ile hibrit giriş yaklaşımlarına kıyasla iş yükünü azalttığını ortaya koyuyor........

Tartışma

Bu araştırmanın sonuçları, tasarım görevleri için jest ve ses modalitelerini birleştirerek erişilebilirlik için sürükleyici VR navigasyonun avantajlarını gösteren temel makalenin teknolojisini geliştirdi. Multimodal sistem, tüm nesnel ve öznel performans ölçütlerinde daha iyi performans gösterdi; daha kısa görev tamamlanma süreleri, daha yüksek yerleştirme doğruluğu ve daha düşük hata oranları ile kontrolör tabanlı ve hibrit yaklaşımlara göre daha iyi performans gösterdi. Ayrıca, SUS, NA.......

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
EgoGesture Veri Seti	Nanyang Teknoloji Üniversitesi	DOI: 10.1109/TMM.2018.2808769	Dinamik jest tanıma eğitimi için büyük ölçekli egosentrik el hareketi veri seti.
Akıcı Konuşma Komutları Veri Seti	Fluent.ai / Alberta Üniversitesi	DOI: 10.48550/arXiv.1804.04363	ASR/NLU eğitimi için ses niyeti ve slot tabanlı anlamsal anlayış için veri seti.
HaGRID Veri Seti (isteğe bağlı)	Sber AI / Açık Kaynak	v1.1	Statik el hareketi dedektörü ön eğitimi için isteğe bağlı veri seti.
igroup Varlık Anketi (IPQ)	igroup.org	Yok	VR ortamında sürüklenme ve varlığı ölçmek için kullanılır.
IPN El Veri Seti	Universidad Veracruzana	DOI: 10.1109/CVPRW50498.2020.00241	Sürekli ve doğal el hareketi tanıma ve segmentasyon görevleri için veri seti.
Matplotlib / Seaborn	Açık Kaynak	Son Ahır	Performans metriklerinin görselleştirilmesi ve değerlendirme sonuçlarının görselleştirilmesi için kullanılır.
MediaPipe Elleri	Google Araştırması	Açık kaynak (GitHub)	Gerçek zamanlı el ve jest takibi için kullanılır, jest girişi tanıma için.
Mozilla Common Voice (isteğe bağlı)	Mozilla Vakfı	Sürüm 17	Genel konuşma verisi üzerinde ASR modelini ön eğitim için isteğe bağlı veri seti.
Multimodal Füzyon Katmanı	Özel algoritma	Yok	Güven ağırlıklı tahkim temelinde jest ve ses giriş akışlarını birleştirir.
NASA-TLX İş Yükü Değerlendirmesi	NASA İnsan Faktörleri	Yok	Katılımcıların bilişsel iş yükü analizi için kullanılır.
Doğal Dil Anlama (NLU) Modülü	Özel (BERT / RoBERTa temelli)	Yok	Yazıya dönüştürülmüş ses girişinden semantik niyetler ve slotlar (eylem, nesne, parametre) çıkarmak için kullanılır.
NumPy / Pandas / OpenCV	Açık Kaynak	Son Ahır	Sayısal işlemler, veri ön işleme ve video kare manipülasyonu için kullanılır.
Python Programlama Dili	Python Yazılım Vakfı	Sürüm 3.10+	ML modellerinin (TCN, ASR, NLU, füsion) uygulanmasında kullanılır.
PyTorch Derin Öğrenme Çerçevesi	Meta AI	Sürüm 2.0+	Jest tanıma (TCN) ve NLU modellerinin oluşturulması ve eğitimi için kullanılır.
RGB Kamera	Logitech / RealSense	Logitech C920 veya Intel RealSense D435	El hareketi yakalama ve hareket tanıma girişi için kullanılır.
Sistem Kullanılabilirlik Ölçeği (SUS) Anketi	Standart Değerlendirme Aracı	Yok	VR sisteminin öznel kullanılabilirliğini değerlendirmek için kullanılır.
Zamansal Konvolüsyon Ağ (TCN)	Özel uygulama (PyTorch / TensorFlow)	Yok	Zaman serisi iskelet verilerinden dinamik jest tanıma için kullanılır.
Unity 3D Motor	Unity Technologies	Sürüm 2022.3 LTS	Etkileşimli mobilya, materyal düzenleme ve gerçek zamanlı render ile sürükleyici VR ortamı geliştirmek için kullanılır.
VR Başlığı	Oculus (Meta) / HTC Vive	Oculus Quest 2 veya HTC Vive Pro	VR etkileşimi sırasında sürükleyici görselleştirme ve mekansal takip için kullanılır.
Whisper ASR Modeli	OpenAI	Whisper (temel model)	Konuşmayı metne dönüştürmek için Otomatik Konuşma Tanıma motoru.
İş Istasyonu	Özel Yapım PC	Intel Core i7 / NVIDIA RTX 3070 / 32 GB RAM	Gerçek zamanlı işleme, eğitim ve jest ile ses modellerinin çıkarımı için kullanılır.