Kemirgen Sosyal Davranış Çalışmalarında Çoklu Hayvan Poz Tahmininin Doğruluğunu Artırmak için vmTracking'i Kullanma

Doğru çok hayvanlı takip yöntemleri geliştirerek serbestçe hareket eden farelerde sosyal etkileşimleri anlamayı hedefliyoruz. Çok hayvanlı koşullarda güvenilir birey tanımlama ile doğru poz takibini sağlamak hâlâ zordur. Başlamak için, işaretsiz video takibi için Projeyi Yönet'i seçerek yeni bir çok hayvanlı proje oluşturun.

Yapılandırmadaki bireyler ve vücut parçaları alanlarını değiştirin. YAML dosyasını analiz gereksinimlerine göre sunar. Videodan etiketleme ve eğitim için kareleri çıkarmak için Extract Frames seçeneğini seçin.

Sonra, çıkarılan her kareyi Etiket Verisi seçerek etiketleyin. Her görünür bireye uygun vücut parçalarını atamak, kareler arasında tutarlı kimlikler tutmadan zorunlu olarak belirlenir. Çıkarılan çerçevelerden bir eğitim veri seti oluşturmak için Eğitim Veri Seti oluştur seçeneğini seçin.

Konfigürasyonda ağı DLCRNet_ms5 olarak ayarlayın. Ağı eğitmeye başlamak için Train seçeneğini seçin. Bu eğitim oturumu için maksimum yineleme parametresini 200.000 olarak ayarlayın.

Diğer tüm eğitim parametreleri varsayılan değerlerinde kalabilir. Eğitilmiş ağı Değerlendir seçeneğini seçerek değerlendirin. Seçilen videolarda poz tahminini çalıştırmak için, proje klasöründeki videolar klasöründe HDF5 Koordinat Verisi ve diğer çıktı dosyalarını Analiz Et'i seçin.

İzleme sonuçlarının manuel doğrulanması için, Video Oluştur seçeneğini seçerek etiketlenmiş bir takip videosu oluşturun. DLC arayüzünde hayvan kimliği ile video oluşturma seçeneğini etkinleştirerek videoya bireysel kimlikleri ekleyin. Sonra oluşturulan etiketli videoları kontrol ederek kimlik anahtarları veya eksik tahminler olup olmadığını kontrol edin.

Büyük hatalar varsa, yeniden eğitime hazırlanın. Outlier frame'leri yeniden eğitmek, çıkarmak ve notlar eklemek için. Outlier'ları Çıkar veya Ince Et.

Açıklama tamamlandıktan sonra, veri setini otomatik olarak eğitim seti oluşturmaya geçmek için Veri Set'i Birleştir'e tıklayın. Ve sonra eğitim sürecini tekrarlayın. Çok hayvanlı DLC sonuçlarını düzeltmek için özel arayüzünü açın ve sadece sanal işaretleyiciler için gerekli anahtar noktaları saklayın.

Yalnızca seçilen anahtar noktaları içeren HDF5 dosyasını düzeltmek için Refine Tracklets seçeneğini seçin. Herkesin videoda tutarlı bir kimlik koruması için anahtar noktaları ayarlayın. Dosyayı kaydederseniz, videolar klasöründeki HDF5 dosyası otomatik olarak güncellenir.

Sonra, düzeltilmiş verilerden yeni etiketlenmiş bir video oluşturun ve Video Oluştur'u seçin. DeepLabCut 2.2'de, videolar klasöründe etiketlenmiş bir video zaten varsa, yeni bir video oluşturulmaz. Devam etmeden önce mevcut dosyayı kaldırın, yeniden adlandırın veya taşıyın.

Etiketlenmiş sanal işaretleyici videonun adını kısa bir dosya adı olarak değiştirin, böylece DeepLabCut işlemleri sırasında hatalar yapılmasın diye yazabilirsiniz. Sanal işaretleyici videosunu takip etmek için Manage Project seçeneğini seçerek yeni bir saDLC projesi oluşturun. Yapılandırmada.

YAML dosyası, vücut parçaları alanındaki tüm bireyler ve vücut parçalarının kombinasyonlarını listeleyin. Yeniden adlandırılan sanal işaretleyici videodan kareleri çıkarmak için Extract Frames seçeneğini seçin. Şimdi çıkarılmış her kareyi etiket verilerinde etiket verilerinde sanal işaretleyicilerle etiketleyin; tutarlı bireysel kimlikler atanabilir ve hem kimliklerin hem de vücut parçalarının kareler arasında eşleşmesini sağlar.

Bir vücut parçası kısmen gizlenmişse ancak bireyin kimliği biliniyorsa, konumunu tahmin edin ve etiketi buna göre uygulayın. Çıkarılan çerçevelerden bir eğitim veri seti oluşturun ve Eğitim Veri Seti Oluştur seçeneğini seçin. Bu eğitim oturumu için ağı verimli net B0 seviyesine ayarlayın.

Ağı eğitmeye başlayarak Train seçin. Bu oturum için maksimum yineleme parametresini 200.000 olarak ayarlayın, diğer tüm ayarlar varsayılan değerlerinde kalabilir. Eğitilmiş ağı değerlendirdikten sonra, daha önce gösterildiği gibi manuel doğrulama yapın.

Kalabalık sahnelerde, VM takibi maDLC'den çok daha yüksek eşleşme yüzdesi elde etti. VM takibi ile yanlış negatif sayısı, maDLC'ye göre çok daha azdı. Ancak, VM takibi ile maDLC arasında yanlış pozitif ve ID switch sayısında bir fark yoktu.

Kalabalık olmayan sahnelerde, VM takibi maDLC'ye göre çok daha yüksek eşleşme yüzdesi elde etti. VM takibi ile yanlış negatif sayısı, maDLC'ye göre çok daha azdı. VM takibi ile maDLC arasında yanlış pozitif ve ID anahtarlama sayılarında hiçbir fark yoktu.

Kalabalık sahnelerde, maDLC'deki eşleşme yüzdesi yaklaşık %85'te durdu; yaklaşık 400 açıklamalı çerçeve sonrası ve daha fazla gelişme olmadı. VM takibi ise yaklaşık 1.000 kare civarında %95'e kadar istikrarlı bir artış gösterdi. maDLC'de, annotasyonlu çerçeve sayısının artırılması yanlış negatif sayısını azaltmazdı.

Doğru atanan sanal işaretleyicilerin daha yüksek oranına sahip sahneler genellikle daha yüksek eşleşme yüzdeleri gösterirdi. Ancak, 3 ve 11 gibi bazı sahneler, birçok yanlış atama veya eksik işarete rağmen yüksek eşleşme yüzdeleri gösterdi. Protokolümüz, çoklu hayvan poz takibinde güvenilir kimlik koruma eksikliğini ele almaktadır.

Sanal işaretleyicileri mevcut araçlarla birleştirerek poz takip doğruluğunu artırır. Gelecekteki araştırmalarımız, grup dinamiklerinin farelerde sosyal davranışları nasıl şekillendirdiğini ele almak için bu verileri kullanacak.