İnsanın Çok Haneli Kavraması Sırasında Eller ve Nesneler Arasındaki Temas Bölgelerinin Tahmini

İnsan kavraması üzerine yapılan önceki davranışsal araştırmalar, sıkı bir şekilde kontrol edilen senaryolarda oldukça kısıtlı ölçümlerle sınırlıydı. Protokolümüz, karmaşık natüralist kavrama davranışının çok daha zengin bir karakterizasyonuna izin verir. Bu teknik, çok basamaklı kavrama nedeniyle el nesnesi temas yüzeylerinin ayrıntılı haritalarını kullanır.

Bu, insanların nesneleri benzeri görülmemiş bir karmaşıklık seviyesiyle nasıl kavradıklarını araştırmamızı sağlar. Motor kontrolünü, dokunsal algıyı ve insan-bilgisayar etkileşimini anlamak için insan kavrama yeteneklerinin doğru ölçümleri gereklidir. Bu veriler robotik tutucuların ve üst ekstremite protezlerinin tasarımını bilgilendirebilir.

Prosedürü gösteren, laboratuvarımda yüksek lisans tezini tamamlayan bir yüksek lisans öğrencisi olan Kira Dehn olacak. Başlamak için, çalışma alanını çevreleyen bir çerçeve üzerine yerleştirilmiş hareket izleme kameraları tarafından birden çok açıdan görüntülenen izleme hacmine sahip bir çalışma tezgahını konumlandırın. Her bir işaretleyicinin tabanına çift taraflı yapışkan bant takarak yansıtıcı işaretleyiciler hazırlayın.

Qualisys Track Manager'ı veya QTM'yi yönetici olarak yürütün. L şeklindeki kalibrasyon nesnesini izleme hacminin içine yerleştirin. QTM'de, Capture (Yakalama) menüsünde Calibrate (Kalibre Et) düğmesini tıklatın ve bir kalibrasyon penceresinin açılmasını bekleyin.

Kalibrasyon süresini seçin ve Tamam'a basın. Kalibrasyon süresi boyunca kalibrasyon değneğini izleme hacmi boyunca sallayın. Dışa Aktar düğmesine basın ve kalibrasyonu metin dosyası olarak dışa aktarmak için bir dosya yolu belirtin.

Tamam'a basarak kalibrasyonu kabul edin. Bir uyaran nesnesi oluşturmak için, çokgen ağ biçiminde sanal bir 3B nesne modeli oluşturun. Nesne modelinin fiziksel bir kopyasını oluşturmak için bir 3B yazıcı kullanın.

Bir uyaran nesnesi hazırlamak için, gerçek nesnenin yüzeyine düzlemsel olmayan dört yansıtıcı işaretleyici ekleyin. Nesneyi izleme biriminin içine yerleştirin. Proje deposunda, belirtilen Python betiğini yürütün.

Nesne işaretçilerinin 3B konumunun bir saniyelik görüntüsünü gerçekleştirmek için komut dosyası tarafından sağlanan yönergeleri izleyin. Sert gövdenin tüm işaretleyicilerini seçin. Sağ tıklayın ve Sert Gövdeyi Tanımla'yı veya 6DOF'u, ardından Geçerli Kare'yi seçin.

Sert gövdenin adını girin ve Tamam'a basın. Dosya menüsünde TSV'ye Ver'i seçin. Yeni pencerede, Veri Türü ayarlarında 3B, 6B kutularını ve İskelet'i işaretleyin.

Genel ayarlardaki tüm kutuları işaretleyin. Tamam'a ve ardından Kaydet'e basın. Blender'ı açın ve Komut Dosyası Oluşturma çalışma alanına gidin.

Belirtilen dosyayı açın ve Çalıştır'a basın. Düzen çalışma alanına gidin ve kenar çubuğunu değiştirmek için N tuşuna basın. Kenar çubuğunda Özel sekmesine gidin.

Ortak kaydedilecek obj dosyasını seçin ve Nesneyi Yükle düğmesine basın. Daha önce dışa aktarılan yörünge dosyasını seçin ve noktalı virgülle ayrılmış katı nesnelere iliştirilmiş işaretçilerin adlarını belirtin. İşaretçi üstbilgisinde, yörünge dosyasında verilerin sütun adlarını içeren satırı belirtin.

Ardından, 6B sonekiyle karşılık gelen katı gövde dosyasını seçin ve önceki adımda tanımlanan sert gövdenin adını belirtin. 6B üstbilgide, katı gövde dosyasında verilerin sütun adlarını içeren satırı belirtin. İşaretçileri Yükle'ye basın, sonra işaretçiler nesnesini veya nesneyi hizalamak için çevirin ve döndürün.

Bir mesh çıktı dosyası belirtin ve ortak kayıtlı uyaran mesh'i içeren bir obj dosyasının çıktısını almak için Ortak Kaydı Çalıştır'a basın. Çift taraflı bant kullanarak bir katılımcının elinin farklı işaretlerine 24 küresel yansıtıcı işaretleyici takın. İşaret parmağının, orta parmağın, yüzük parmağının ve küçük parmağın distal interfalangeal eklemlerinde, proksimal interfalangeal eklemlerde ve metakarpophalangeal eklemlerde belirteçleri parmak uçlarının üzerine merkezi olarak yerleştirin.

Başparmak için, parmak ucuna ve bazal karpal metakarpal ekleme birer işaretleyici ve metakarpophalangeal ve interfalangeal eklemlerde her biri bir çift belirteç yerleştirin. Son olarak, işaretleyicileri bileğin ortasına ve skafotrapeziotrapezoidal eklem üzerine yerleştirin. Katılımcıdan elini avuç içi aşağı bakacak şekilde çalışma tezgahına düz bir şekilde koymasını ve gözlerini kapatmasını isteyin.

Uyaran nesnesini katılımcının önündeki çalışma tezgahına yerleştirin. QTM çalışırken, proje deposunda belirtilen Python betiğini yürütün. Katılımcıdan gözlerini açmasını ve uyaran nesneyi kavrayan katılımcının tek bir denemesini yakalamak için komut dosyası tarafından sağlanan talimatları izlemesini isteyin.

QTM içinde, tek tek işaretçi yörüngelerini tanımlanamayan yörüngelerden etiketli yörüngelere sürükleyip bırakın ve adlandırma kuralına göre etiketleyin. Ele iliştirilmiş tüm işaretçileri seçin, sağ tıklayın ve Seçim'den AIM modeli oluştur'u seçin. Yeni pencerede, Mevcut AIM Modelinden İşaretçi Bağlantılarına Dayalı Yeni Bir Model Oluştur'u seçin ve İleri düğmesine basın.

RH_FH modeli tanımını seçin ve Aç'a basın. İleri'ye basın, AIM modeli için bir ad girin ve Tamam'a basın. Son olarak, katılımcının elinin aynı katılımcının ardışık denemelerindeki işaretçileri otomatik olarak tanımlaması için bir AIM modeli oluşturmak üzere Son'a basın.

QTM içinde, dişli çark simgesine basarak proje ayarlarını açın. Kenar çubuğunda, İskelet Çözücü'ye gidin ve bir iskelet tanım dosyası seçmek için Yükle'ye basın. Ölçek faktörünü %100 olarak ayarlayın ve Uygula'ya basın.

TSV Dışa Aktarma'ya gidin ve Veri Türü ayarlarındaki 3B, 6B ve İskelet kutularını işaretleyin. Genel ayarlardaki tüm kutuları işaretleyin. Uygula'ya basın ve proje ayarlarını kapatın.

Yeniden İşleme simgesine basın, ardından İskeletleri Çöz ve TSV Dosyasına Aktar kutularını işaretleyin ve Tamam'a basın. Proje deposunda bir komut penceresi açın ve belirtilen komutu yürüterek conda ortamını etkinleştirin. Ardından belirtilen komutu yürütün ve denemenin her karesi için geçerli el pozunu yeniden yapılandıran bir el ağı oluşturmak için komut dosyası tarafından sağlanan talimatları izleyin.

El nesnesi temas bölgesi tahminleri için, belirtilen komutu yürütün ve el ve nesne kafesleri arasındaki kesişimi hesaplayarak el ve nesne temas bölgesi tahminleri oluşturmak için komut dosyası tarafından sağlanan yönergeleri izleyin. Bu çalışmada, kavramanın dinamikleri, elin farklı işaretlerine tutturulmuş 24 küresel yansıtıcı belirteç kullanılarak kaydedilmiştir. Önceden eğitilmiş derin el örgüsü kod çözücüsünde yapılan değişiklikler burada gösterilmiştir.

İlk olarak, ağ belirli katılımcılar üzerinde eğitilmediğinden, önceden eğitilmiş modelle birlikte sağlanan genel kimliğe bağlı ağ düzeltici kullanılır. Ayrıca, ID'ye bağımlı iskelet düzeltici, QTM İskelet Çözücü kullanılarak türetilir. Elin iskelet uzunluğu ile orantılı ölçeklendirilmesi varsayılır ve ağ kalınlığı, iskeletin göreceli ölçeklenmesinden türetilen bir faktörle eşit olarak ölçeklendirilir.

Mevcut el pozunun son 3B el örgüsü rekonstrüksiyonu, 3B izlenen nesne ağı ile aynı koordinat çerçevesinde gösterilir. İzlenen noktalara ve birlikte kayıtlı ağa sahip bir elin, 3D baskılı bir kedi heykelciğine tek bir kavrama sırasında yan yana hareket ettiği bir video gösterilmektedir. Bir kavramadan 3D baskılı bir kruvasana kadar elden nesneye temas sırasında tek bir kare, el nesnesi örgü rekonstrüksiyonları ve kruvasan yüzeyindeki tahmini temas bölgeleri ile birlikte.

Nesnenin ve ona bağlı işaretçilerin uygun şekilde birlikte kaydedilmesi gerekir. Bunları iyice hizalamak önemlidir, çünkü sapmaların temas bölgesi tahminleri üzerinde büyük etkisi olabilir. Temas yüzeylerine ek olarak, prosedür her parmak eklemi için eklem Euler açıları sağlar.

Bunlar, çok basamaklı kavrama sırasında el pozlarının zaman içinde nasıl ortaya çıktığını incelemek için kullanılabilir.