Kemirgen Sosyal Davranış Çalışmalarında Çoklu Hayvan Poz Tahmininin Doğruluğunu Artırmak için vmTracking'i Kullanma

Summary

Bu protokol, hayvanların yoğun bir şekilde gruplandırıldığı kalabalık koşullar altında bile, serbestçe hareket eden, işaretsiz birden fazla hayvanın videolarında yüksek doğrulukta poz takibine olanak tanıyan bir yöntem olan vmTracking'i tanıtmaktadır. Bu yaklaşım, hayvanların serbestçe hareket edebildiği yarı doğal ortamlarda meydana gelen sosyal etkileşimleri analiz etmek için güvenilir veriler sağlar.

Abstract

Kemirgenlerin kullanıldığı sosyal davranış araştırmalarında, serbestçe hareket eden koşullar altında daha doğal etkileşimli davranışların değerlendirilmesine yönelik artan bir talep vardır. Bu amaç için birden fazla hayvanın doğru poz takibi önemlidir. Bununla birlikte, mevcut işaretsiz çok hayvanlı poz izleme araçları önemli bir zorlukla karşı karşıyadır: izleme doğruluğu, tıkanma ve kalabalıklaşma koşulları altında azalma eğilimindedir. Bu sorun, özellikle hayvanlar görsel olarak birbirinden ayırt edilemediğinde belirgin hale gelir. Bu sorunun üstesinden gelmek için, sanal işaretleyiciler kullanarak çerçeveler arasında bireysel kimliği koruyarak bu tür zorlu koşullar altında çok hayvanlı poz izlemenin doğruluğunu artıran bir yöntem olan sanal işaretleyici izlemeyi (vmTracking) geliştirdik. vmTracking, standart izleme iş akışlarına bireysel kimlik etiketleri ekleyen ek işleme adımları eklenerek mevcut işaretsiz çok hayvanlı video verilerine de uygulanabilir. Burada, hem sanal işaretleyiciler atama yöntemini hem de ortaya çıkan etiketli videolarda hayvanları izleme protokolünü açıklıyoruz. vmTracking tarafından sağlanan yüksek doğrulukta çoklu hayvan izleme, yarı doğal koşullar altında sosyal etkileşimlerin sonraki nicel analizleri için güvenilir bir temel sağlar.

Introduction

Kemirgen sosyal davranışı üzerine yapılan araştırmalar, daha doğal sosyal bağlamlardaki etkileşimlerin incelenmesini giderek daha fazla vurgulamıştır¹. Üç odacıklı test gibi geleneksel yaklaşımlar, sosyalliği ve sosyal tercihi değerlendirmek için yaygın olarak kullanılmaktadır², ancak bu paradigmalar sosyal etkileşimin yalnızca basitleştirilmiş yönlerini yakalar³. Bu ihtiyacı karşılamak için, çok hayvanlı DeepLabCut (maDLC)⁴ ve Social LEAP Estimates Animal Poses (SLEAP)⁵ , serbest hareket koşullarında birden fazla hayvanın işaretsiz poz takibi için vazgeçilmez araçlar haline geldi ve işaretsiz çoklu hayvan poz takibi için gelişmiş derin öğrenme tabanlı teknoloji sağladı. Ancak hayvanların yakın olduğu kalabalık ortamlarda bu araçlar, tahmin hataları ve kimlik (ID) anahtarları gibi izleme hatalarına eğilimlidir. Bu koşullar altında güvenilir verilere ulaşmak çoğu zaman kapsamlı manuel düzeltme gerektirir.

Serbestçe hareket eden birden fazla hayvanın doğru poz takibi, daha karmaşık sosyal dinamiklerin araştırılmasına kapı açar. Örneğin, ayrıntılı izleme verileri, lider-takipçi ilişkilerinin, hareket sırasında yaklaşma-kaçınma davranışlarının ve geleneksel davranışsal analizlerle güvenilir bir şekilde değerlendirilemeyen diğer incelikli etkileşim kalıplarının değerlendirilmesine olanak tanır. Bu tür ilerlemeler, çoklu hayvan izlemenin faydasını nispeten basit tanımlayıcı davranış ölçümlerinin ötesine taşıyarak daha karmaşık sosyal etkileşimlerin analizlerini mümkün kılar.

İzleme doğruluğunu artırmaya yönelik bir yaklaşım, tek tek hayvanları net bir şekilde ayırt etmektir. Örneğin, Bordes⁶ , tek hayvanlı DeepLabCut (saDLC)⁷ kullanarak beyaz bir CD1 farenin ve siyah bir C57BL / 6N farenin eşzamanlı olarak izlenmesini gösterdi. Bu bulgu, hayvanlar görsel olarak ayırt edilebildiğinde, doğru bireysel izlemenin mümkün olduğunu göstermektedir. Bununla birlikte, tanımlama için fiziksel belirteçlerin kullanılması doğal davranışları değiştirebilir. Radyo frekansı tanımlama etiketlerinin⁸ implante edilmesi gibi minimal invaziv yöntemler bile, bunların davranış üzerindeki potansiyel etkilerine ilişkin endişeleri artırmaktadır.

Burada, invaziv olmayan bireysel tanımlama için sanal belirteçler (vmTracking)⁹ kullanan çok hayvanlı bir poz izleme yöntemi sunuyoruz. Sosyal davranışın, sosyal bağlamı dikkate alınarak doğru bir şekilde değerlendirilmesi, son derece hassas çoklu hayvan pozu izleme verileri gerektirir. vmTracking, DLC gibi mevcut araçları kullanarak bu tür yüksek kaliteli izleme verilerini elde etmek için yeni bir yazılım veya algoritma yerine güvenilir bir protokol sağlayarak bu ihtiyacı karşılamak için geliştirilmiştir. Bu nedenle, bu verilere dayalı sosyal davranış analizi bu protokolün kapsamı dışındadır. vmTracking iki ana adımdan oluşur: işaretsiz videolara sanal işaretçiler eklemek ve ortaya çıkan sanal işaretçi videolarını izlemek. Bu yöntem, aynı türden görsel olarak ayırt edilemeyen üç veya daha fazla hayvanın dahil olduğu koşullarda bile, fiziksel işaretleyicilere ihtiyaç duymadan yüksek doğrulukta poz takibine olanak tanır. Yarı doğal koşullar altında güvenilir izlemeye izin vererek, vmTracking karmaşık sosyal etkileşimler üzerine araştırmaları ilerletmek için etkili bir araç sağlar ve davranış bilimi, psikoloji ve sinirbilim alanlarında potansiyel uygulamalara sahiptir.

Protocol

Tüm deneysel prosedürler Doshisha Üniversitesi Hayvan Bakım ve Kullanım Komitesi tarafından onaylanmıştır (Onay No. A23068). C57BL/6J fareleri (Malzeme Tablosuna bakınız), 24-26 °C'lik kontrollü koşullar altında, 12 saatlik bir aydınlık/karanlık döngüsü altında, yiyecek ve suya ad libitum erişim ile kafes başına 2-3'lü gruplar halinde barındırıldı. Tüm davranışsal kayıtlar ışık fazı sırasında toplandı. vmTracking işleminin genel iş akışı, bir örnekten alınan anlık görüntülerle birlikte Şekil 1'de gösterilmektedir.

NOT: vmTracking yeni bir yazılım veya algoritma değil, çoklu hayvan izleme doğruluğunu en üst düzeye çıkarmak için mevcut DLC işlevlerini kullanan bir protokoldür. Sonuç olarak, aşağıdaki adımların önemli bir kısmı, tekrarlanabilirliği sağlamak için DLC içindeki belirli grafik kullanıcı arayüzü (GUI) işlemlerini açıklamaktadır.

1. İşaretsiz çok hayvanlı video verilerinin hazırlanması

NOT: Deneysel parametreler spesifik çalışmaya göre ayarlanabilir.

1. Üç C57BL/6J faresini beyaz zeminli ve şeffaf duvarlı (31 cm çap × 17 cm yükseklik; Malzeme Tablosuna bakınız) dairesel bir açık alana yerleştirin ve serbestçe hareket etmelerine izin verin.
2. Yukarıdan aşağıya bir kamera görüntüsü kullanarak, hayvanları 460 × 460 piksel çözünürlükte ve 30 fps kare hızında yaklaşık 60 dakika boyunca kaydedin ( bkz.

2. Sanal bir işaretleyici videosunun oluşturulması

1. DLC sürüm 2.2.3'te maDLC'yi kullanarak standart işaretsiz poz takibi gerçekleştirin (Şekil 2; bkz.
   NOT: Aşağıdaki adımlarda, DLC'deki işlemlerinetleştirmek için DLC GUI sekmesi menü adları ve parametre ayarları kalın harflerle gösterilmiştir. Aksi belirtilmedikçe tüm prosedürler varsayılan ayarlar kullanılarak gerçekleştirilir. DLC'nin kullanımına ilişkin ayrıntılı talimatlar için resmi belgelere bakın¹⁰.
   1. İşaretsiz video izleme için Projeyi Yönet'te (Ek Şekil 1) çok hayvanlı bir proje oluşturun. config.yaml dosyasındaki bireyleri ve vücut bölümleri alanlarını analiz gereksinimlerine göre değiştirin. Bu protokolde birey1'den birey3'e ve bodypart1'den bodypart6'ya kullanılır. Diğer tüm ayarlar isteğe bağlıdır.
      NOT: numframes2pick (çıkarılan kare sayısı) ve dotsize (işaretçi boyutu) parametreleri, video koşullarına ve deneycinin iş yüküne göre ayarlanabilir. Diğer ayarlar olası tüm koşullar altında sistematik olarak test edilmedi; Ancak, başarılı izleme varsayılan yapılandırmalarla onaylandı.
   2. Sonraki etiketleme ve eğitim için Çerçeveleri Ayıkla'daki (Ek Şekil 1) videodan kareleri ayıklayın. Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
   3. Çıkarılan her kareyi Etiket Verilerinde (Ek Şekil 1) etiketleyin ve çerçeveler arasında tutarlı kimlikler sağlamadan her görünür bireye uygun vücut parçalarını atayın.
   4. Eğitim Veri Kümesi Oluşturma bölümünde ayıklanan çerçevelerden bir eğitim veri kümesi oluşturun (Ek Şekil 1). Bu protokolde ağı dlcrnet_ms5 olarak ayarlayın. Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
   5. Ağı Eğit'te eğitmeye başlayın (Ek Şekil 1). Bu protokolde, Maksimum yineleme parametresi eğitim için 200.000 olarak ayarlanır. Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
   6. Eğitilen ağı Değerlendir'de değerlendirin (Ek Şekil 1). Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
   7. Videoları analiz et (Ek Şekil 1) bölümünde seçili videolar üzerinde poz tahmini çalıştırın ve proje klasörünün içindeki videolar klasöründe .h5 koordinat verileri ve diğer çıkış dosyaları oluşturun. Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
      NOT: Eğitim veri kümesi yetersizse, analiz .h5 koordinat dosyalarını oluşturamayabilir. Bu durumda, 2.1.2 adımından yeniden başlatın.
   8. Deneyci tarafından manuel doğrulama.
      1. Video oluşturma bölümünde etiketli bir izleme videosu oluşturun (Ek Şekil 1). DLC GUI'sinde Hayvan kimliği renkli video oluşturulsun mu? seçeneğini belirleyin ve etiketli bir izleme videosu oluşturun (Şekil 2A, maDLC). Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
      2. Kimlik anahtarlarını ve eksik tahminleri kontrol etmek için etiketli videoları (Şekil 2A, maDLC) inceleyin. Gözle görülür hatalar gözlemlenirse yeniden eğitim uygulayın (bkz. adım 2.1.8.3). Yeniden eğitim gerçekleştirilmezse 2.2. adıma geçin.
         NOT: Yeniden eğitim zorunlu değildir, ancak sonraki adımlarda doğruluğu artırır ve iş yükünü azaltır.
      3. Yeniden eğitim için, Aykırı Değerleri Çıkar/İyileştir'de aykırı değer çerçevelerini ayıklayın ve açıklama ekleyin (Ek Şekil 1). Ek açıklama tamamlandıktan sonra, otomatik olarak Eğitim Veri Kümesi Oluştur'a geçmek için Veri kümesini birleştir düğmesine tıklayın ve ardından 2.1.4 adımından itibaren tekrarlayın.
2. Sanal bir işaretçi videosu oluşturmak için maDLC sonuçlarını düzeltin (Şekil 3) .
   1. Özel GUI^11'i (Şekil 3B) kullanarak, sanal işaretçiler için yalnızca seçilen anahtar noktaları koruyun ve diğerlerini .h5 dosyasında NaN ile değiştirin. Anahtar noktalardaki bu azalma, sonraki düzeltme adımları için iş yükünü azaltır (Şekil 3C,E). Bu protokolde gövde parçaları 2 ve 4 kullanılır.
      NOT: Gövde ekseni vektörünü verimli bir şekilde tanımlayan iki anahtar noktanın seçilmesi önerilir. Yalnızca sanal işaretçiler olarak tasarlanan anahtar noktaları kullanarak ilk maDLC izlemesini gerçekleştirmek, 2.1.4 adımında .h5 dosyasını oluşturamayabilir. Bu nedenle, ilk izlemenin daha büyük bir anahtar nokta kümesiyle gerçekleştirilmesi önerilir.
   2. İzleri İyileştir'i (Ek Şekil 1) kullanarak, yalnızca seçili anahtar noktaları içeren önceki adımdaki .h5 dosyasını düzeltin. Her bireyin video boyunca tutarlı bir kimliği koruması için anahtar noktaları düzeltin (Şekil 3E,F). Dosyayı kaydedin; Videolar klasöründeki .h5 dosyası otomatik olarak güncellenecektir.
   3. Video oluşturma bölümündeki düzeltilmiş verilerden kimlik renk etiketleriyle etiketli bir video oluşturun (Ek Şekil 1, Şekil 3A, Sanal İşaretçi). DLC 2.2'de, videolar klasöründeki mevcut etiketli bir video, yeni bir videonun oluşturulmasını engelleyecektir; Devam etmeden önce dosyayı kaldırın, yeniden adlandırın veya taşıyın. Burada, bu veri kümesindeki hayvanı gizlemeden tanımlamaya izin veren en küçük boyutu kullanarak yapılandırma dosyasında işaretçi boyutunu 2 olarak ayarlayın.
   4. saDLC ile bir sonraki adımda yeniden izleme yaparken DLC işleme sırasında hataları önlemek için oluşturulan videoyu kısa bir dosya adıyla yeniden adlandırın.

3. saDLC kullanarak sanal işaretleyici videonun poz takibini gerçekleştirin (Şekil 4)

NOT: Aksi belirtilmedikçe tüm prosedürler varsayılan DLC GUI ayarları kullanılarak gerçekleştirilir.

1. Sanal işaretçi video izleme için Projeyi Yönet'te (Ek Şekil 2) yeni bir saDLC projesi oluşturun. Bu protokolde, config.yaml dosyasının bodyparts alanındaki tüm birey ve vücut parçası kombinasyonlarını listeleyin (örneğin, birey1-bodypart1, birey2-bodypart1, ..., birey3-bodypart6). Diğer tüm ayarlar isteğe bağlıdır.
   NOT: Adım 2.1.1'de olduğu gibi, numframes2pick ve dotsize parametreleri video koşullarına ve deneycinin iş yüküne göre ayarlanabilir. Başarılı izleme, varsayılan yapılandırmalarla onaylandı.
2. Çerçeveleri Ayıkla'daki sanal işaretleyici videosundan kareleri çıkarın (Ek Şekil 2). Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
3. Çıkarılan her kareyi Etiket Verilerinde etiketleyin (Ek Şekil 2), hem kimliklerin hem de gövde parçalarının çerçeveler arasında eşleşmesi için ayrı kimlikler atamak için sanal işaretçileri kullanın (Şekil 3B-D). Bir kişinin kimliği bilindiğinde ve bir vücut parçası kısmen gizlendiğinde, konumunu tahmin edin ve etiketi buna göre yerleştirin. Bireysel kimlikler benzersiz bir şekilde belirlenemiyorsa (örneğin, çerçevede ≥2 kişi için sanal işaretler eksikse), bu vücut parçalarını etiketlemeyin.
4. Eğitim Veri Kümesi Oluşturma bölümünde ayıklanan çerçevelerden bir eğitim veri kümesi oluşturun (Ek Şekil 2). Bu protokolde ağı efficientnet-b0 olarak ayarlayın. Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
5. Ağı Eğit'te eğitmeye başlayın (Ek Şekil 2). Bu protokolde, eğitim için Maksimum yineleme parametresini 200.000 olarak ayarlayın. Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
6. Değerlendirilen ağı değerlendirin (Ek Şekil 2). Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
7. Videoları analiz et (Ek Şekil 2) bölümünde seçili videolar üzerinde poz tahmini çalıştırın ve videolar klasöründe .h5 koordinat verileri ve diğer çıkış dosyaları oluşturun. Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
8. Deneyci tarafından manuel doğrulama.
   1. Video oluşturma bölümünde etiketli izleme videosu oluşturma (Ek Şekil 2). Diğer tüm parametreleri varsayılan değerlerine ayarlayın.
   2. İzleme tutarsızlıklarını denetlemek için etiketli videoları inceleyin (Şekil 4A, vmTracking). Deneyci sonuçlardan memnun kalana kadar yeniden eğitin. Yeniden eğitim gerekmiyorsa prosedür tamamlanmıştır.
      NOT: Tatmin edici izleme sonuçlarını onayladıktan sonra, sanal işaretçiler olmadan sunum kalitesinde bir video oluşturabilir (Şekil 5), izleme sonuçlarını Video oluştur'daki sanal işaretçi videosu yerine orijinal işaretçisiz videoya gönderebilirsiniz (Ek Şekil 2). Videolar klasöründeki sanal işaretçi videosunu işaretçisiz videoyla değiştirin ve analizde daha önce kullanılan sanal işaretçi video dosya adıyla eşleşecek şekilde yeniden adlandırın. DLC 2.2 için, yenisini oluşturmadan önce klasörde etiketli video bulunmadığından emin olun (Şekil 5B,C).
   3. Yeniden eğitim için, Aykırı Değerleri Ayıkla/İyileştir'de aykırı değer çerçevelerini ayıklayın ve açıklama ekleyin (Ek Şekil 2). Ek açıklama tamamlandıktan sonra, otomatik olarak Eğitim Veri Kümesi Oluştur'a geçmek için Veri kümesini birleştir düğmesine tıklayın ve ardından 3.1.4 adımından itibaren tekrarlayın.

Results

İzleme doğruluğu, manuel olarak oluşturulan bir temel gerçek (GT) ile karşılaştırılarak değerlendirildi. Yirmi 5 veya 10 saniyelik sahneler çıkarıldı ve farelerin yolları kesişmesi gibi örtüşmeleri içeren kalabalık (CR) sahneler (12 sahne; toplam 1.950 kare) veya çakışmayan kalabalık olmayan (nCR) sahneler (8 sahne; toplam 1.350 kare) olarak sınıflandırıldı. GT konumunun 10 pikseli içindeki izleme tahminleri eşleşme (Eşleşme) olarak sayıldı; ≥10 piksel uzaklıktaki tahminler yanlış pozitif (FP) olarak sayıldı; ve eksik tahminler yanlış negatif (FN) olarak sayıldı. Ayrıca, tahmin edilen kimlik hemen önceki çerçevedekinden farklıysa, bir kimlik anahtarı olarak sayıldı.

maDLC ile karşılaştırıldığında (Şekil 6), vmTracking hem CR hem de nCR sahnelerinde Eşleşmede önemli bir gelişme gösterdi (Şekil 6A, CR: p < 0.001; Şekil 6E, nCR: p < 0.01). Her iki sahne türünde de FN oluşmadı ve FN sayısı vmTracking ile önemli ölçüde azaldı (Şekil 6B, CR: p < 0.001; Şekil 6F, nCR: p < 0.05). FP (Şekil 6C ve 6G) ve ID anahtarı (Şekil 6D,H) sayımları her iki sahne türünde de değişiklik göstermedi. vmTracking ve geleneksel maDLC kullanılarak elde edilen izleme sonuçlarının yan yana karşılaştırması sunulmakta ve vmTracking'in kalabalık koşullar altında gelişmiş doğruluğu ve kararlılığı vurgulanmaktadır (Ek Video 1).

Ayrıca maDLC ve vmTracking'deki CR sahneleri için açıklama çerçevelerinin sayısı ile hem Match hem de FN arasındaki ilişkiyi inceledik (Şekil 6I). maDLC'de Match, yaklaşık 85 açıklama çerçevesiyle yaklaşık %400'te sabitlendi ve sayı arttıkça çok az gelişme oldu. Eğitim için açıklama çerçevelerinin arttırılması FN'leri azaltmadı. Buna karşılık vmTracking, daha fazla açıklama karesiyle Match'te istikrarlı bir artış gösterdi ve yaklaşık 1.000 karede yaklaşık %95'e ulaştı.

Sanal işaretleyiciler, atama modellerine göre altı kategoriye ayrıldı ve her kategorinin oranı, izleme Eşleşmesi ile ilişkisini incelemek için sanal işaretleyici doğruluğunun bir indeksi olarak kullanıldı (Şekil 6J). Doğru atanmış sanal işaretçilerin oranının daha yüksek olduğu sahneler, daha yüksek Eşleşme gösterme eğilimindeydi. Bununla birlikte, birçok yanlış atama veya birçok eksik işaretçi nedeniyle doğru işaretçilerin oranının düşük olduğu bazı sahneler hala yüksek Eşleşme sergiledi (örneğin, CR sahne 3 ve 11).

Şekil 1: vmTracking iş akışına genel bakış. (A) vmTracking iş akışının şematik diyagramı. İlk olarak, işaretsiz videoda (I) maDLC gerçekleştirin. Elde edilen maDLC izleme verilerine bağlı olarak, her bireyin video boyunca tutarlı bir kimliği koruması için çıktıyı düzeltin ve yalnızca seçilen bir anahtar nokta alt kümesini (II) görüntüleyen etiketli bir video oluşturun. Bu videodaki etiketleri sanal işaretçiler olarak kullanarak, sanal işaretçi videosunu saDLC (III) ile izleyin. (B) İki vmTracking örneği, sürecin her aşamasından anlık görüntüler olarak gösterilir. En soldaki resim tam görünümü gösterir ve sağdaki resimler sarı kutularla çevrili alanların büyütülmüş görünümleridir. Resimlerin sağ alt köşelerindeki turuncu çubuklar ölçekleri gösterir: "İşaretsiz (Genel Bakış)" resmi için 5 cm ve diğerleri için 1 cm. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 2: maDLC kullanan işaretsiz çoklu hayvan izleme iş akışı. Bu rakam Protokol adım 2.1 ile ilgilidir. (A) Paneller Şekil 1B'den uyarlanmıştır ve Şekil 1A'da gösterilen Süreç I'i (işaretsiz çoklu hayvan takibi) göstermektedir. Anlaşılır olması için, her hayvan kesikli bir çizgi ile özetlenmiştir. Her görüntünün sağ alt köşesindeki turuncu çubuk, 1 cm'lik bir ölçek çubuğunu gösterir. (B-D) maDLC yürütmesi sırasında etiketleme için kullanılan çerçevelerin anlık görüntüleri. Her görüntünün sağ alt köşesindeki turuncu çubuk, 5 cm'lik bir ölçek çubuğunu gösterir. (B) Etiketler uygulanmadan önceki örnek çerçeve. (C) Etiketlemeden sonra B'deki ile aynı çerçeve. (D) Başka bir etiketli çerçeve örneği. C ve D çerçeveleri arasındaki bireylerin kimliği bilinmemektedir, ancak etiketleme yapılırken bireysel kimliğin dikkate alınmasına gerek yoktur. Anlık görüntülerde gösterildiği gibi, her hayvanın duruşunu doğru bir şekilde etiketlemek yeterlidir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 3: maDLC sonuçlarına göre sanal işaretçi videosu oluşturmaya yönelik iş akışı. Bu rakam Protokol adım 2.2 ile ilgilidir. (A) Paneller Şekil 1B'den uyarlanmıştır ve Şekil 1A'da gösterilen Süreç II'yi (sanal işaretleyici oluşturma) göstermektedir. Anlaşılır olması için, her hayvan kesikli bir çizgi ile özetlenmiştir. Beyaz oklar, sanal işaretçiler olarak kullanılan anahtar noktaları gösterir (her kimlik için 2. ve 4. anahtar noktalar). Bu örnekte, sanal işaretçiler gri tonlamalı olarak yayınlanır: mor, yeşil ve kırmızı maDLC etiketleri sırasıyla siyah, gri ve beyaz olarak görünür. Örnek 1'de, maDLC sonuçları düzeltme yapılmadan doğrudan sanal belirteçler olarak çıktılandı. Örnek 2'de, ardışık karelerdeki bir kimlik anahtarı nedeniyle mor ve kırmızı kimlikler çıktıdan önce değiştirildi ve düzeltildi. maDLC sonucunda düzeltilmesi gereken yeşil bir nokta gözden kaçırıldı ve değişiklik yapılmadan çıktı alındı. Her görüntünün sağ alt köşesindeki turuncu çubuk, 1 cm'lik bir ölçek çubuğunu gösterir. (B) Yalnızca belirli anahtar noktaları korumak ve diğerlerini NaN¹¹ ile değiştirmek için h5 koordinat veri dosyalarını düzenlemek için Python tabanlı GUI. (Ba) Program başlatıldığında ilk menü penceresi. H5 dosyasını seç butonu ile düzenlenecek dosyayı seçin. (bb) h5 dosyasını seçtikten sonra pencere. NaN ile değiştirilecek anahtar noktaları kontrol edin (ayrı ad-gövde parçası adı olarak görüntülenir) ve NaN değişimi için başlangıç-bitiş zamanlarını (kare hızıyla) veya kare numaralarını belirtin. İşlem Verileri'ne tıklamak, düzenlenen dosyayı aynı klasöre kaydeder ve orijinalin bir yedeğini oluşturur. (C) Bir kimlik değişikliğinin meydana geldiği bir sahneden ardışık kareler. (D) B'deki tüm izleme noktalarının düzeltilmesine örnek. (E) Yalnızca 2. ve 4. anahtar noktaların korunduğu B'den elde edilen sonucu gösteren anlık görüntü. (F) E'deki sonucu düzeltme örneği. Tüm anahtar noktaların (C → D) düzeltilmesiyle karşılaştırıldığında, düzeltmeyi iki noktayla (C → E → F) sınırlamak gerekli düzenleme sayısını azaltır. Her C-F görüntüsünün sağ alt köşesindeki turuncu çubuk, 5 cm'lik bir ölçek çubuğunu gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 4: Sanal işaretçi videosunu izlemek için iş akışı. Bu rakam Protokol adım 3 ile ilgilidir. (A) Paneller Şekil 1B'den uyarlanmıştır ve Şekil 1A'da gösterilen Süreç III'ü (sanal işaretleyici videosunun izlenmesi) göstermektedir. İzleme hedefinin netliği için her birey noktalı bir taslak içine alınmıştır. Bu örnekte, siyah, gri ve beyaz sanal işaretçilere sahip kişiler sırasıyla mor, yeşil ve kırmızı etiketler olarak izlenir. Örnek 1'de gri sanal işaretçi yoktur, ancak vmTracking doğru kimlik izlemeyi sürdürür. Örnek 2'de, gri işaret iki kişide görünür, ancak izleme doğru kalır. Her görüntünün sağ alt köşesindeki turuncu çubuk, 1 cm'lik bir ölçek çubuğunu gösterir. (B-D) vmTracking sırasında etiketleme için kullanılan çerçevelerden anlık görüntüler. Bu adımda, her bir anahtar noktanın hem bireysel hem de vücut parçası bilgilerini içerecek şekilde tanımlandığı saDLC kullanılır. Etiketleme, hangi bireyin hangi vücut bölümünün temsil edildiğini belirtir. Her görüntünün sağ alt köşesindeki turuncu çubuk, 5 cm'lik bir ölçek çubuğunu gösterir. (B) Etiketlemeden önce bir çerçevenin anlık görüntüsü. (C) Etiketlemeden sonra B'deki çerçevenin anlık görüntüsü. (D) Etiketlemeden sonra C'den farklı bir karenin anlık görüntüsü. Farklı çerçevelerde bile (örneğin, C ve D), etiketleme, tutarlı etiket renkleriyle gösterildiği gibi, sanal işaretçiyi bir ipucu olarak kullanarak bireysel kimliği korur. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 5: Sanal işaretçiler olmadan bir izleme videosu oluşturmak için izleme sonuçlarını işaretsiz bir videoyla birleştirmeye yönelik iş akışı. Bu, Adım 3.8.2'deki NOT ile ilgili isteğe bağlı bir adımdır. (A) İzleme sonuçları sanal işaretçi videosuna uygulandığında, sonuçta elde edilen izleme videosu sanal işaretçileri (vmTracking^vm+) korur. Sarı oklar, çıktıda görünen sanal işaretçileri gösterir. İzleme sonuçlarının özgün işaretsiz videoya uygulanması, bunun yerine sunum veya diğer amaçlar için uygun olan sanal işaretçiler (vmTracking^vm-) olmayan bir izleme videosu oluşturur. Her görüntünün sağ alt köşesindeki turuncu çubuk, 1 cm'lik bir ölçek çubuğunu gösterir. (M.Ö.) İşaretsiz bir videoya vmTracking sonuçları uygulanırken proje dizininin "videolar" klasöründeki dosya yönetimi. Turuncu kutu, klasör içeriğini şematik olarak gösterir. (B) İzleme sonuçlarını sanal işaretçi videosuna aktararak bir vmTracking izleme videosu oluşturduktan sonra "videolar" klasörü (şematik olarak '4. Sanal işaretleyici videodaki etiketler'). (C) vmTracking sonuçlarının işaretsiz videoya çıktısını almak için "videolar" klasörünün hazırlanması. '1'i taşıyın veya yeniden adlandırın. Sanal işaretleyici videosu' ve '4. Sanal işaretçi video dosyalarındaki etiketler panel B'den çıkarılır, böylece klasörden çıkarılırlar. Sorun dosyaların kendileri değil, orijinal dosya adlarının işlemeyi engellemesidir. Ardından, '5'i yerleştirin. İşaretsiz video' klasöründe, orijinal sanal işaretçi video dosya adıyla (örneğin, VMvideo.MP4) eşleşecek şekilde yeniden adlandırın. Bu durumda, Video oluştur'u yeniden çalıştırmak, sonuçların işaretçisiz videoya uygulandığı bir izleme videosu oluşturur ('6. İşaretsiz videodaki etiketler'). Bu figür, Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)^7'den değiştirilmiştir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 6: vmTracking ile izleme doğruluğunun değerlendirilmesi. (A-H) Eşleşme oranları için maDLC ve vmTracking arasında karşılaştırma. 12 kalabalık (CR) sahnede (A), yanlış negatifler (B), yanlış pozitifler (C) ve kimlik anahtarları (D) ve kalabalık olmayan 8 sahnede Eşleşmeler (E), yanlış negatifler (F), yanlış pozitifler (G) ve Kimlik anahtarları (H). Grafikler, her sahne için ölçülen değerleri temsil eder ve çubuklar, bunlardan hesaplanan ortalama değerleri temsil eder. İstatistiksel karşılaştırmalar Wilcoxon işaretli sıra testi kullanılarak yapıldı. (I) CR'deki açıklamalı çerçevelerin sayısı ile Eşleşmelerin ve yanlış negatiflerin oranları arasındaki ilişki. Sağdaki yeşil kutu, sol paneldeki yeşil noktalı çizgilerle çevrelenen alanın büyütülmüş bir görünümünü gösterir. Grafikler ortalama değerleri temsil eder. (J) CR ve nCR sahnelerinde sanal işaretleyici doğruluğu ile izleme Eşleşmeleri arasındaki ilişki. Sanal işaretleyici doğruluğu, her bir işaretleyici çifti için altı türe ayrıldı: her iki nokta da doğru kişiye doğru şekilde atandı, biri doğru ve biri eksik, biri doğru ve biri yanlış, ikisi de yanlış, biri yanlış ve biri eksik ve her ikisi de eksik. Her sahne için, bu kategorilerin oranları yığılmış çubuklar olarak gösterilir ve o sahne için karşılık gelen izleme Eşleşmesi her çubuğun üzerinde gösterilir. Sahneler, CR ve nCR sahneleri için ayrı ayrı soldan sağa Match izleme sırasına göre düzenlenir. CR sahneleri: n = 12; nCR sahneleri: n = 8. p < 0.001, **p < 0.01, *p < 0.05. Bu rakam Azechi ve Takahashi'den (2025)⁹ değiştirilmiştir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Ek Şekil 1: Çok hayvanlı DeepLabCut'taki ana pencerenin anlık görüntüsü, her işlem sekmesinin konumunu gösterir. Anlık görüntüler, vmTracking yordamının her adımında kullanılan sekmeleri oklarla gösterir. Görüntüler DeepLabCut GUI'den (sürüm 2.2.3) alınmıştır. Bu rakamı indirmek için lütfen buraya tıklayın.

Ek Şekil 2: Tek hayvanlı DeepLabCut'taki ana pencerenin anlık görüntüsü, her işlem sekmesinin konumunu gösterir. Anlık görüntüler, vmTracking yordamının her adımında kullanılan sekmeleri oklarla gösterir. Görüntüler DeepLabCut GUI'den (sürüm 2.2.3) alınmıştır. Bu rakamı indirmek için lütfen buraya tıklayın.

Ek Video 1: Üç farenin izlenmesinde çok hayvanlı DeepLabCut ve vmTracking'in karşılaştırılması. Bu karşılaştırmalı video, üç farenin takibi sırasında çok hayvanlı DeepLabCut (maDLC; solda) ve vmTracking'in (sağda) performansını göstermektedir. vmTracking videosu, izleme sonuçlarını sanal işaretçiler olmadan sunmak için Adım 3.8.2 NOT'ta açıklanan prosedür izlenerek sanal işaretçi videosu orijinal işaretsiz video ile değiştirilerek oluşturulmuştur. Her izleme yöntemi için, karşılaştırmayı kolaylaştırmak için aynı renk ailesinin renk etiketleri kullanılarak bireysel kimlikler gösterilir. Video boyunca vmTracking, maDLC ile karşılaştırıldığında farklı kişilere ait vücut parçalarının tespit edildiği daha az örnek gösteriyor. Özellikle, 15-17 saniye civarında, maDLC yeşil etiketli ve kırmızı etiketli bireyleri yanlış tanımlar ve bu da atanmış kimliklerinin değişmesine neden olur. Bu dosyayı indirmek için lütfen buraya tıklayın.

Discussion

Kemirgenlerde¹ doğal sosyal etkileşim biçimlerini incelemek için artan bir talep olmasına rağmen, özellikle yakın etkileşimler veya tıkanmalar sırasında serbestçe hareket eden birden fazla hayvan için güvenilir kimlik ve poz bilgisi elde etmek teknik bir zorluk olmaya devam etmektedir. vmTracking bu sınırlamanın üstesinden gelerek bu koşullar altında doğru izleme sağlar. vmTracking, geleneksel çok hayvanlı izleyicilerin ^4,5 sıklıkla başarısız olduğu kalabalık ortamlar 9 dahil olmak üzere çeşitli deneysel koşullarda güvenilir bir şekilde yüksek izleme doğruluğu elde eder. Bu sağlamlık, çoklu hayvan takibine dayalı sanal işaretleyici oluşturmanın, kesin kimlik ve poz tahminine olanak tanıyan saDLC takibi ile birleşiminden kaynaklanmaktadır. Daha da önemlisi, yöntem, sanal işaretleyici doğruluğu optimumun altında olduğunda bile yüksek performansı korudu. Sanal işaretleyicilerdeki belirli bir kusur derecesine karşı bu tolerans, vmTracking'in serbestçe hareket eden birden fazla bireyi güvenilir bir şekilde izlemek için pratik kalmasını sağlar ve böylece yarı doğal koşullar altında kemirgen sosyal etkileşimlerine ilişkin çalışmaları ilerletir.

vmTracking'deki kritik bir adım, sanal işaretçi oluşturma sırasında çoklu hayvan izleme sonuçlarını düzeltmektir. Bu süreçte, kimlik anahtarlarının veya yanlış etiketlerin gözden kaçırılması, saDLC'nin sonraki izleme boyunca bu yanlış tanımlamaları sürdürmesine neden olabilir. Bu tür hatalar daha sonra keşfedilirse, etkilenen bölümler gözden geçirilerek, sanal işaretçi videosu yeniden oluşturularak ve saDLC takibi yeniden çalıştırılarak düzeltilebilir. Bazı durumlarda, sanal işaretleyiciler doğru şekilde yerleştirilebilir, ancak saDLC, kalabalık etkileşimler sırasında farklı hayvanlar üzerindeki işaretleyiciler birbirine yaklaştığında bireyleri yanlış tanımlayabilir. Bu tür hatalar, işaretçiler arası mesafeleri en üst düzeye çıkarmak için oluşturma adımı sırasında etkilenen sanal işaretçilerin yeniden konumlandırılmasıyla azaltılabilir, böylece sonraki izleme aşamasında karışıklık olasılığı azaltılabilir.

Protokolümüz her iki adım için de DLC ^4,7 kullansa da SLEAP ^5,12 ile de uygulanabilir. Deneyimlerimize göre, tek hayvan modundaki SLEAP genellikle saDLC'den daha az kararlıdır ve performans daha çok video^9'a bağlıdır. Ancak sanal işaretleyici oluşturma adımı için SLEAP veya idtracker.ai¹³ eşit derecede etkili olabilir ve en uygun seçim videoya göre değişebilir. Bu nedenle, ilk maDLC izlemesi görsel incelemede sık sık kimlik geçişleri veya ciddi anahtar nokta kaybı gösteriyorsa, karma bir yaklaşım mümkündür - örneğin, SLEAP veya idtracker.ai ile sanal işaretleyiciler oluşturmak ve ardından ortaya çıkan videoyu saDLC ile izlemek.

vmTracking iki izleme adımı içerdiğinden, bazıları bunu hantal olarak görebilir ve fiziksel işaretleyicilerin neden en başından itibaren eklenmediğini sorgulayabilir ve sanal işaretleyici oluşturma ihtiyacını ortadan kaldırabilir. Bununla birlikte, sanal işaretleyiciler açık avantajlar sunar: mevcut işaretsiz videolara post hoc olarak uygulanabilirler ve hayvanlara cihaz takılmasıyla ilgili herhangi bir davranışsal etkiden veya etik kaygıdan kaçınılabilirler. Herhangi bir yere yerleştirilebilirler, asla düşmezler ve duruştan veya yakın etkileşimlerden etkilenmezler, bu da belirli bir videoya uyacak şekilde konumlandırılmalarına ve ayarlanmalarına olanak tanır. Bu esneklik, fiziksel işaretleyicilere kıyasla daha güvenilir bireysel tanımlama ve sonuç olarak gelişmiş izleme doğruluğu sağlar. Sonuç olarak, sanal işaretleyiciler kullanan vmTracking, serbest hareket eden sosyal etkileşim çalışmalarında ve fiziksel işaretleyicilerin uygulanamadığı arşiv video verilerinin yeniden analizinde yüksek doğrulukta izleme sağlar. Bu şekilde elde edilen yüksek doğruluklu izleme verileri, davranış bilimi, psikoloji ve sinirbilim dahil olmak üzere davranışsal deneylere dayanan alanlarda geniş ölçüde faydalıdır.

vmTracking'in çeşitli sınırlamaları vardır. İlk olarak, bireysel tanımlama, işaretleyici rengindeki farklılıklara dayandığından, izlenebilir bireylerin sayısı, ayırt edilebilir renklerin sonlu aralığı ile sınırlıdır. Bugüne kadar on balıktan oluşan bir grubu başarıyla takip ettik⁹; Bununla birlikte, bu sayının arttırılması, sanal işaretleyicilerin çeşitliliğinin genişletilmesini gerektirecektir - örneğin, işaretleyici şekillerini değiştirerek veya iskelet yapılarının ek tanımlayıcılar olarak kullanımını keşfederek - ancak bu yaklaşımlar daha fazla doğrulama gerektirecektir. İkincisi, vmTracking zorunlu olarak her işaretsiz videoya sanal işaretleyiciler eklemek için fazladan bir adım içerir, bu da uzun kayıtlar veya birçok kişiyle veri kümeleri için yoğun emek gerektirebilir. Ek olarak, bu yöntem prensipte çeşitli türlere ve kayıt koşullarına uygulanabilirken, deneysel parametreler optimize edilemediğinde yüksek hassasiyetli izleme elde etmenin pratikliği azalabilir. Örneğin, aydınlatmanın, kamera çözünürlüğünün veya kayıt açılarının kontrol edilmesinin zor olduğu tarla benzeri koşullar altında vahşi veya serbestçe hareket eden hayvanların kayıtlarında, sanal işaretleyici ataması sırasında gereken manuel düzeltme artma eğilimindedir ve potansiyel olarak yüksek kaliteli izleme verileri elde etme kolaylığını sınırlar. Gelecekte, sanal işaretleyici atama sürecinin kolaylaştırılması ve otomatikleştirilmesi, yöntemin uygulanabilirliğini ve kullanılabilirliğini daha da artıracaktır.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Akrilik boru (şeffaf, kalınlığı 5 mm, iç çapı 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Hazaiya'dan (çevrimiçi akrilik malzeme perakendecisi) satın alındı
Akrilik plaka (beyaz, 3 mm kalınlık, 31 cm çap)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Hazaiya'dan (çevrimiçi akrilik malzeme perakendecisi) satın alındı
C57BL/6J fare	Shimizu Laboratuvar Malzemeleri, Co.LTD.	Yok
Kamera	Basler	acA3088-57uc
DeepLabCut 2.2.3	Lozan'daki İsviçre Federal Teknoloji Enstitüsü'nde Mathis laboratuvarı	https://www.mackenziemathislab.org/deeplabcut
Pylon Kamera Yazılım Paketi (Pylon Görüntüleyici)	Basler	Yok