Name: W pełni zautomatyzowane śledzenie nóg u swobodnie poruszających się owadów przy użyciu funkcji segmentacji i śledzenia nóg (FLLIT) (Wideo) | JoVE Journal
Uploaded: 2020-04-23T15:00:00.000+00:00
Duration: 8 min 4 s
Description: Poznaj metodę FLLIT do automatycznego śledzenia ruchów nóg u Drosophila melanogaster. Algorytm uczenia maszynowego analizuje chód owadów bez potrzeby ręcznej anotacji danych treningowych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Autorzy chcieliby podziękować Moumita Chatterjee i Alice Liu za wsparcie techniczne, a także Bloomington Drosophila Stock Centre (Indiana, USA) za udostępnienie szczepów Drosophila użytych w tej pracy. Prace te były wspierane przez Instytut Biologii Molekularnej i Komórkowej w Singapurze; Instytut Bioinformatyki w Singapurze; Organizacja Wspólnej Rady Agencji ds. Nauki, Technologii i Badań Naukowych (grant nr 15302FG149 dla SA i LC); Flagowy Program Badań Klinicznych (Choroba Parkinsona) zarządzany przez Krajową Radę ds. Badań Medycznych Ministerstwa Zdrowia Singapuru (grant nr NMRC/TCR/013-NNI/2014 dla SA), University of Alberta (grant dla start-upu dla LC) oraz grant odkrywczy Kanadyjskiej Rady ds. Nauk Przyrodniczych i Inżynierii (NSERC) (numer grantu RGPIN-2019-04575 dla LC).

1. Konfiguracja systemu
<ol>
	<li>Upewnij się, że stacja rejestrująca jest wyposażona w kamerę wysokiej rozdzielczości oraz stolik nad nią, służący do podtrzymywania komory areny (Rysunek 1). Ustaw kamerę tak, aby rejestrowała obraz z częstotliwością co najmniej 250 klatek na sekundę (fps), przy odpowiednio krótkim czasie naświetlania (w tym przypadku rejestracja odbywa się przy 1000 fps i czasie naświetlania 1 ms). 
	UWAGA: Sprawdź, czy wideo nadaje się do śledzenia, upewniając się, że we wszystkich klatkach rozmycie ruchu poruszających się odnóży jest minimalne lub nie występuje. Jeśli ruch odnóża jest tak rozmyty, że ludzki adnotator nie może go śledzić, należy zwiększyć prędkość rejestracji kamery i/lub skrócić czas naświetlania.</li>
	<li>Umieść diody LED na podczerwień u góry stolika wraz z dyfuzorem (półprzezroczystą płytką) pomiędzy kamerą a próbką (Rysunek 1A,B).</li>
	<li>Wykonaj komorę rejestracyjną, wycinając ją z arkusza akrylu o grubości 1,6 mm. W tym eksperymencie zastosuj pole widzenia 11 mm x 11 mm. Umieść komorę pomiędzy dwoma szkiełkami podstawowymi (Rysunek 1C).</li>
</ol>
2. Przygotowanie much do rejestracji
<ol>
	<li>Przenieś muchy przeznaczone do rejestracji do nowej fiolki z pożywką na 24 h przed rozpoczęciem pomiarów. 
	UWAGA: Nie stosuj CO2 (zazwyczaj używanego do znieczulania much podczas pierwszej kolekcji) na mniej niż 24 h przed rejestracją.</li>
	<li>Około 40 min przed rejestracją przenieś muchy do pustych fiolek i trzymaj je na lodzie przez 5-7 min.</li>
	<li>W międzyczasie przemyj arenę i czyste szkiełka przedmiotowe wodą i chusteczką. 
	UWAGA: Do czyszczenia komór i szkiełek nie używaj etanolu.</li>
	<li>Przygotuj komorę rejestracyjną. Przymocuj jedno z mikroskopowych szkiełek przedmiotowych pod komorą za pomocą taśmy.</li>
	<li>Gdy muchy zostaną znieczulone na lodzie, przenieś jedną muchę do każdej komory za pomocą czystego pędzelka. 
	UWAGA: W tym układzie można wykorzystać zarówno samce, jak i samice much; w miarę możliwości należy analizować osobniki obu płci, aby uniknąć błędu wynikającego z różnic między płciami.</li>
	<li>Zabezpiecz komorę drugim mikroskopowym szkiełkiem przedmiotowym za pomocą taśmy (Rysunek 1C).</li>
	<li>Pozostaw muchy w komorach w temperaturze pokojowej przez 15 - 20 min w celu aklimatyzacji.</li>
</ol>
3. Generowanie filmów do analizy FLLIT
UWAGA: Ten krok jest specyficzny dla użytej kamery wideo. W tym przypadku wykorzystano komercyjnie dostępną kamerę wideo (patrz Tabela materiałów).
<ol>
	<li>Włącz źródło zasilania. Odczekaj, aż zielona dioda LED zasilania oraz pomarańczowa dioda LED połączenia interfejsu ethernet ustabilizują się. Włącz zasilanie diody LED podczerwieni. Upewnij się, że napięcie utrzymuje się na poziomie 12.5 V.</li>
	<li>Otwórz aplikację Viewer na podłączonym systemie komputerowym.</li>
	<li>Zmień częstotliwość klatek nagrywania na 1000 fps. Ustaw czas naświetlania na 1/1000 s (1 ms).</li>
	<li>Umieść komorę z muchą na arenie nagrzącej i zaznacz przycisk LIVE. Upewnij się, że kamera jest ustawiona na końcówki odnóży, gdy mucha idzie pionowo po dnie komory; końcówki odnóży powinny być w ostrym ukierunkowaniu.</li>
	<li>Kliknij Record (Rysunek 2).</li>
	<li>Nagraj chód muchy, upewniając się, że:  
	Mucha poruszała się po względnie prostej trajektorii, nie dotykając krawędzi areny. 
	Mucha wykonała co najmniej trzy kroki każdą nogą. 
	Mucha nie zatrzymuje się podczas chodu. 
	Pokonany dystans jest równoważny co najmniej jednej długości ciała.  
	 
	UWAGA: Czyste odjęcie tła jest kluczowe dla dokładnej segmentacji. Algorytm automatycznego odejmowania tła stosowany przez FLLIT wymaga, aby obrazowana mucha przemieściła się na dystans co najmniej jednej długości ciała.</li>
	<li>Kliknij Rec Done, aby zatrzymać nagrywanie (Rysunek 2).</li>
	<li>Przytnij wideo, aby upewnić się, że nagranie obejmuje tylko prosty chód muchy (jak opisano w kroku 3.6).</li>
	<li>Kliknij Save (Rysunek 2). Zapisz pliki w formacie „.mraw” lub „.tiff” w odpowiednich folderach. 
	UWAGA: Format „.mraw” zapewnia większą elastyczność w zmianie nazwy pliku (jeśli jest to wymagane) oraz w przechowywaniu filmów w porównaniu do formatu plików „.tiff”.</li>
</ol>
4. Instalacja programu FLLIT
UWAGA: Aktualne instrukcje można znaleźć pod adresem: https://github.com/BII-wushuang/FLLIT/blob/master/Compiled/Readme.pdf
<ol>
	<li>Pobieranie FLLIT na dowolny system operacyjny
	<ol>
		<li>Pobierz FLLIT z następującego łącza GitHub: https://github.com/BII-wushuang/FLLIT/archive/master.zip. Rozpakuj zawartość pliku zip.</li>
		<li>Pobierz przykładowe zestawy danych z następującego łącza Google Drive: https://bit.ly/2EibvNY. Utwórz folder Data w katalogu FLLIT-master/Compiled i umieść foldery z zestawami danych w tym katalogu Data.</li>
	</ol>
	</li>
	<li>Instalacja FLLIT w systemie Ubuntu
	<ol>
		<li>Przejdź do katalogu FLLIT/Compiled.</li>
		<li>Kliknij prawym przyciskiem myszy i wybierz Otwórz w terminalu.</li>
		<li>Wprowadź następującą komendę, aby pobrać i zainstalować biblioteki MATLAB runtime w lokalizacji $HOME/MCR: 
		bash MCR_2016a.sh</li>
		<li>Po zakończeniu instalacji bibliotek MATLAB runtime wprowadź następującą komendę, aby nadać uprawnienia do wykonywania programu FLLIT: 
		chmod +x FLLIT</li>
		<li>Otwórz terminal w katalogu FLLIT/Compiled i wprowadź następującą komendę, aby uruchomić FLLIT: 
		bash run_FLLIT.sh $HOME/MCR/v901</li>
	</ol>
	</li>
	<li>Instalacja FLLIT w systemie Windows
	<ol>
		<li>W przypadku wersji Home Windows 7 i 10 zainstaluj Docker Toolbox z adresu: 
		(https://github.com/docker/toolbox/releases/download/v19.03.1/DockerToolbox-19.03.1.exe).</li>
		<li>W przypadku wersji Windows 10 Pro lub Enterprise zainstaluj Docker Desktop dla Windows z adresu: (https://download.docker.com/win/stable/Docker\%20Desktop\%20Installer.exe).</li>
		<li>Aby umożliwić uruchamianie aplikacji GUI w kontenerze Docker w systemie Windows, zainstaluj najpierw VcXSrV (https://sourceforge.net/projects/vcxsrv). Po uruchomieniu VcXsrv skonfiguruj ustawienia zgodnie z Rysunkiem S1. 
		UWAGA: Przed uruchomieniem FLLIT upewnij się, że Docker i VcXsrv są uruchomione.</li>
		<li>Kliknij dwukrotnie plik FLLIT.bat, aby uruchomić FLLIT. 
		UWAGA: Podczas pierwszego uruchomienia pobranie obrazu Docker z Docker Hub zajmie trochę czasu.</li>
	</ol>
	</li>
	<li>Instalacja FLLIT w systemie MacOS
	<ol>
		<li>Pobierz Docker Desktop dla MacOS z adresu https://download.docker.com/mac/stable/Docker.dmg</li>
		<li>Zainstaluj socat, otwierając terminal i wprowadzając następującą komendę: 
		brew install socat</li>
		<li>Uruchom socat poleceniem: 
		socat TCP-LISTEN:6000,reuseaddr,fork UNIX-CLIENT:\"$DISPLAY\" &amp; disown</li>
		<li>Zainstaluj XQuartz (https://www.xquartz.org), aby umożliwić uruchamianie aplikacji GUI w kontenerze Docker w systemie MacOS. Uruchom XQuartz i zmień preferencje, zaznaczając Allow connections from network clients w zakładce Security, jak pokazano na Rysunku S2. 
		UWAGA: Przed uruchomieniem FLLIT upewnij się, że Docker, socat oraz XQuartz są uruchomione.</li>
		<li>Otwórz terminal w katalogu FLLIT/Compiled i uruchom FLLIT za pomocą następującej komendy: 
		bash FLLIT_Mac.sh 
		UWAGA: Podczas pierwszego uruchomienia pobranie obrazu Docker z Docker Hub zajmie trochę czasu.</li>
	</ol>
	</li>
</ol>
5. Uruchamianie programu FLLIT do zautomatyzowanego śledzenia kończyn
<ol>
	<li>Segmentacja
	<ol>
		<li>Konwertuj wideo na poszczególne pliki TIFF i skopiuj je do folderu danych FLLIT.</li>
		<li>Uruchom FLLIT (w systemie Ubuntu kliknij prawym przyciskiem myszy, aby otworzyć FLLIT w Terminalu).</li>
		<li>Wybierz folder zawierający klatki wideo w formacie TIFF, które mają zostać prześledzone, i kliknij przycisk Add.</li>
		<li>W oknie pop-up wybierz 0, aby przeprowadzić wyłącznie segmentację odnóży, lub 1, aby dołączyć śledzenie odnóży do segmentacji.</li>
		<li>Kliknij Done, aby rozpocząć segmentację i śledzenie wybranego wideo.</li>
	</ol>
	</li>
	<li>Śledzenie
	<ol>
		<li>Aby sprawdzić dokładność śledzenia i wprowadzić ewentualne korekty błędów, kliknij Select Data Folder. Wybierz folder do śledzenia i kliknij Open.</li>
		<li>Kliknij View Tracking. 
		UWAGA: Upewnij się, że podczas przeglądania pozycji śledzonych odnóży wybrany pozostaje tryb Viewer Mode. W przeciwnym razie wszelkie wprowadzone wcześniej korekty zostaną nadpisane.</li>
		<li>Sprawdź etykiety wszystkich odnóży w pierwszej klatce. 
		UWAGA: Ponieważ etykiety odnóży są rozmieszczane zgodnie z ich pozycją na ekranie, jeśli mucha idzie w pozycji pionowej, prawa strona muchy jest oznaczona jako L1 (odnóże przednie), L2 (odnóże środkowe), L3 (odnóże tylne), a lewa strona muchy jako odpowiednio R1 (odnóże przednie), R2 (odnóże środkowe), R3 (odnóże tylne) (Rysunek 3). Jeśli mucha idzie do góry nogami, etykiety odnóży zostaną przypisane prawidłowo.</li>
		<li>Jeśli odnóże jest błędnie oznaczone i wymagana jest korekta, kliknij Pause viewing, a następnie Adjust Prediction (Rysunek 3).</li>
		<li>Z prawego panelu zatytułowanego Leg to Adjust wybierz odnóże wymagające korekty.</li>
		<li>Kliknij dwukrotnie w prawidłową pozycję tego odnóża w oknie obrazu, kliknij Save, a następnie Exit. Aby przejść do poprzedniej lub następnej klatki, kliknij Pause viewing, a następnie odpowiednio przyciski wstecz i w przód &lt;I oraz I&gt; (Rysunek 3).</li>
		<li>Aby poprawić błędnie prześledzone filmy, otwórz folder danych wideo do ponownego śledzenia i wybierz Manually Initiate Tracking.</li>
		<li>Kliknij przycisk Tracking, którego etykieta zmieni się wówczas na Initial.</li>
		<li>Kliknij Adjust Prediction i popraw etykiety odnóży, klikając dwukrotnie w koniec każdego odnóża, a następnie przypisując mu właściwą etykietę. Kliknij Save and Exit.</li>
		<li>Kliknij Resume, aby rozpocząć śledzenie.</li>
	</ol>
	</li>
	<li>Przetwarzanie danych i generowanie wideo
	<ol>
		<li>Kliknij Data Process. W oknie pop-up wpisz liczbę klatek na sekundę (fps), z jaką nagrano filmy (np. 1 000 fps).</li>
		<li>Użyj następującego równania, aby obliczyć rzeczywiste pole widzenia zarejestrowanego wideo, tak aby parametry chodu można było zmierzyć w milimetrach: 
		 
		<img alt="Diagram równania równowagi statycznej pokazujący wzór obliczania pola widzenia dla analizy naukowej." src="/files/ftp_upload/61012/61012eq1.jpg" data-altupdatedat="1788250015000" data-alt="Równanie 1"> 
		 
		UWAGA: Na przykład, jeśli rzeczywisty rozmiar komory wynosi 7 mm, szerokość klatki obrazu wynosi 137 mm, szerokość komory w klatce obrazu na ekranie komputera wynosi 81 mm, to szerokość pola widzenia wynosiła 11,83 mm (Rysunek S3).</li>
		<li>Aby zobaczyć wyniki śledzenia, przejdź do folderu Tracking w folderze Results.</li>
		<li>Aby wygenerować wideo śledzonej muchy, wybierz Make video. Wideo zostanie zapisane w tym samym folderze Results, co oryginalne analizowane dane wideo. 
		UWAGA: Można wybrać klatkę startową (pierwszą) i końcową (ostatnią) filmu.</li>
	</ol>
	</li>
	<li>Normalizacja do długości ciała każdej muchy. 
	UWAGA: Ponieważ każda mucha może nieco różnić się rozmiarem, niektóre parametry chodu należy znormalizować do długości ciała każdej muchy, aby ułatwić porównania (np. długość kroku może być większa u większych much, a mniejsza u mniejszych).
	<ol>
		<li>Otwórz trzy nieruchome obrazy z wideo każdej muchy (zazwyczaj pierwszą, środkową i ostatnią klatkę) przy użyciu oprogramowania do obróbki obrazu.</li>
		<li>Powiększ każdą klatkę obrazu do 800% i zaznacz najdalej wysunięty przednio piksel głowy oraz najdalej wysunięty tylno piksel odwłoka na linii środkowej, używając jaskrawego koloru (np. żółtego).</li>
		<li>Otwórz oznaczone obrazy w programie ImageJ.</li>
		<li>Użyj funkcji Set Scale, aby wprowadzić odpowiednią skalę: Set Distance in pixels: 512; Known distance: rzeczywiste pole widzenia (mm) zmierzone w kroku 5.3.2.; Unit of length: mm.</li>
		<li>Narysuj linię prostą między oznaczonymi pikselami końców głowy i odwłoka, aby uzyskać długość ciała.</li>
		<li>Ponownie otwórz Set Scale, aby uzyskać wartość w znanej odległości, którą jest długość ciała w mm.</li>
		<li>Wyciągnij średnią z długości wyznaczonej na każdym z trzech obrazów, aby uzyskać średni rozmiar ciała w mm.</li>
	</ol>
	</li>
</ol>

<ol><li>Wu, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fully+automated+leg+tracking+of+Drosophila+neurodegeneration+models+reveals+distinct+conserved+movement+signatures%5BTitle%5D)+AND+%22PLoS+Biology%22%5BJournal%5D)">Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures.</a> PLoS Biology. 17 (6), 3000346(2019).</li>
<li>Mathis, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nature+Neuroscience%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nature Neuroscience. 19, 1281-1289 (2018).</li>
<li>Pereira, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nature+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nature Methods. 16 (1), 117-125 (2019).</li>
<li>Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+quantitative+framework+for+whole-body+coordination+reveals+specific+deficits+in+freely+walking+ataxic+mice%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice.</a> eLife. 4, (2015).</li>
<li>Lu, B., Vogel, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Drosophila+models+of+neurodegenerative+diseases%5BTitle%5D)+AND+%22Annual+Reviews+in+Pathology%22%5BJournal%5D)">Drosophila models of neurodegenerative diseases.</a> Annual Reviews in Pathology. 4, 315-342 (2009).</li>
<li>McGurk, L., Berson, A., Bonini, N. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Drosophila+as+an+In+Vivo+Model+for+Human+Neurodegenerative+Disease%5BTitle%5D)+AND+%22Genetics%22%5BJournal%5D)">Drosophila as an In Vivo Model for Human Neurodegenerative Disease.</a> Genetics. 201 (2), 377-402 (2015).</li>
<li>Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -C., Rubin, G. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Genetic+reagents+for+making+split-GAL4+lines+in+Drosophila%5BTitle%5D)+AND+%22bioRxiv%22%5BJournal%5D)">Genetic reagents for making split-GAL4 lines in Drosophila.</a> bioRxiv. , (2017).</li>
<li>Cande, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optogenetic+dissection+of+descending+behavioral+control+in+Drosophila%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">Optogenetic dissection of descending behavioral control in Drosophila.</a> eLife. 7, (2018).</li>
<li>Nern, A., Pfeiffer, B. D., Rubin, G. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimized+tools+for+multicolor+stochastic+labeling+reveal+diverse+stereotyped+cell+arrangements+in+the+fly+visual+system%5BTitle%5D)+AND+%22Proceedings+of+the+National+Academy+of+Sciences+of+the+United+States+of+America%22%5BJournal%5D)">Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system.</a> Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).</li>
<li>Xie, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Genetic+Toolkit+for+Dissecting+Dopamine+Circuit+Function+in+Drosophila%5BTitle%5D)+AND+%22Cell+Reports%22%5BJournal%5D)">A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila.</a> Cell Reports. 23 (2), 652-665 (2018).</li>
<li>Warrick, J. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ataxin-3+suppresses+polyglutamine+neurodegeneration+in+Drosophila+by+a+ubiquitin-associated+mechanism%5BTitle%5D)+AND+%22Molecular+Cell%22%5BJournal%5D)">Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism.</a> Molecular Cell. 18 (1), 37-48 (2005).</li>
<li>Ebersbach, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparative+analysis+of+gait+in+Parkinson%27s+disease%2C+cerebellar+ataxia+and+subcortical+arteriosclerotic+encephalopathy%5BTitle%5D)+AND+%22Brain%22%5BJournal%5D)">Comparative analysis of gait in Parkinson's disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy.</a> Brain. 122 (7), 1349-1355 (1999).</li>
<li>Stolze, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Typical+features+of+cerebellar+ataxic+gait%5BTitle%5D)+AND+%22Journal+of+Neurology%2C+Neurosurgery+and+Psychiatry%22%5BJournal%5D)">Typical features of cerebellar ataxic gait.</a> Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).</li>
<li>Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Quantification+of+gait+parameters+in+freely+walking+wild+type+and+sensory+deprived+Drosophila+melanogaster%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster.</a> eLife. 2, 00231(2013).</li>
<li>DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+manifold+structure+of+limb+coordination+in+walking+Drosophila%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">The manifold structure of limb coordination in walking Drosophila.</a> eLife. 8, (2019).</li>
<li>Gunel, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFly3D%2C+a+deep+learning-based+approach+for+3D+limb+and+appendage+tracking+in+tethered%2C+adult+Drosophila%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila.</a> eLife. 8, (2019).</li>
<li>Isakov, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recovery+of+locomotion+after+injury+in+Drosophila+melanogaster+depends+on+proprioception%5BTitle%5D)+AND+%22The+Journal+of+Experimental+Biology%22%5BJournal%5D)">Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception.</a> The Journal of Experimental Biology. 219, Pt 11 1760-1771 (2016).</li>
<li>Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Glio-Protective+Role+of+mir-263a+by+Tuning+Sensitivity+to+Glutamate%5BTitle%5D)+AND+%22Cell+Reports%22%5BJournal%5D)">A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate.</a> Cell Reports. 19 (9), 1783-1793 (2017).</li>
<li>Eberl, D. F., Duyk, G. M., Perrimon, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+genetic+screen+for+mutations+that+disrupt+an+auditory+response+in+Drosophila+melanogaster%5BTitle%5D)+AND+%22Proceedings+of+the+National+Academy+of+Sciences+of+the+United+States+of+America%22%5BJournal%5D)">A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster.</a> Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

W tym manuskrypcie szczegółowo opisujemy etapy związane z użyciem FLLIT, zautomatyzowanego programu uczenia maszynowego1, do analizy chodu u swobodnie chodzących Drosophila. Po śledzeniu i analizie danych, FLLIT automatycznie generuje surowe dane dla informacji o położeniu ciała i pazurów nóg, tworząc dwadzieścia cech ciała i chodu, a także wideo śledzonej muchy, aby umożliwić wizualizację chodu.
Obecnie istnieje wiele metod śledzenia ruchów nóg Drosophila i innych zwierząt 1,2,3,4,14,15,16, co daje naukowcom szeroki zakres opcji w zależności od celów eksperymentu. Niektóre z nich są oparte na odciskach stóp, które są bardzo dokładne, ale podają tylko punkty styku pazurów z powierzchnią wykrywania 4,14. Z drugiej strony, najnowsze podejścia do głębokiego uczenia 2,3,16 są bardzo wszechstronne, umożliwiając analizę zachowań, które wymagają śledzenia stawów nóg i innych części ciała u dowolnego zwierzęcia, z zastrzeżeniem, że algorytmy muszą być najpierw przeszkolone za pomocą zestawów danych z adnotacjami użytkownika. Trzeci rodzaj podejścia wykorzystuje morfologię lub metody oparte na kontraście obrazu 1,15,17 w celu znalezienia konturu każdej nogi w celu zidentyfikowania pozycji pazurów. Ogólnie rzecz biorąc, metody te słabo radzą sobie z zachowaniami, w których nogi się krzyżują (np. podczas pielęgnacji). FLLIT łączy w sobie drugie i trzecie podejście, wykorzystując parametry morfologiczne do wytrenowania algorytmu zwiększania segmentacji nóg. Dzięki temu FLLIT może ominąć pracochłonne zadanie adnotacji użytkownika w celu wygenerowania zestawu danych treningowych, jednocześnie zwiększając dokładność dzięki uczeniu maszynowemu. Przyszłe ulepszenia FLLIT będą musiały radzić sobie z przypadkami, w których nogi się krzyżują, aby umożliwić analizę bardziej złożonych zachowań.
FLLIT jest odporny na niewielkie zmiany oświetlenia, rozdzielczości nagrywania i szybkości klatek1. Jednak szybkość klatek nagranych filmów nie powinna spaść poniżej 250 kl./s, a FLLIT działa optymalnie dla filmów nagranych z szybkością 1000 kl./s. Jeśli na obrazach występuje rozmycie ruchu, które sprawia, że osoba dokonująca adnotacji ma trudności z określeniem pozycji nóg, FLLIT nie będzie w stanie dokładnie zidentyfikować końcówek nóg w tych ramkach. W związku z tym ważne jest, aby aparat był ostro ustawiony na końcówkach nóg. Aby zapobiec artefaktom segmentacji, arena powinna być dokładnie wyczyszczona i nie powinna być przesuwana podczas nagrywania. Aby uzyskać dokładne odejmowanie tła i czystą segmentację, mucha powinna przesunąć się o co najmniej jedną długość ciała podczas nagrywania, bez zatrzymywania się. Po automatycznej segmentacji i śledzeniu należy sprawdzić oznakowanie wszystkich odcinków. Jeśli chód muchy nie jest śledzony lub jest śledzony nieprawidłowo, plik powinien zostać ponownie odtworzony ręcznie za pomocą opcji Ręczne inicjowanie śledzenia (kroki 5.2.7 – 5.2.10).
Choroby neurodegeneracyjne i zaburzenia ruchowe są coraz bardziej powszechne w naszych starzejących się społeczeństwach. Modele neurodegeneracji much są badane od ponad 2 dekad, podczas których poczyniono postępy w zakresie molekularnych i komórkowych aspektów patofizjologii chorób. Jednak konkretne behawioralne konsekwencje choroby były technicznie trudne do oceny. Na przykład, podczas gdy doniesienia o drgawkach u muchy zostały wykonane18,19, nie były one badane ilościowo aż doniedawna1. Test wspinaczkowy był użytecznym i ilościowym, ale stosunkowo zgrubnym pomiarem6. Ten deficyt techniczny w podobny sposób utrudniał analizę ruchu w wysokiej rozdzielczości w innych modelach zwierzęcych. Pojawienie się nowych narzędzi do analizy behawioralnej daje nadzieję na odmłodzenie dziedziny zaburzeń ruchowych, aby umożliwić naukowcom zbadanie, w jaki sposób molekularne i komórkowe mechanizmy chorób nerwowo-mięśniowych prowadzą do określonych wyników behawioralnych w modelach zwierzęcych. W tym artykule i w naszej poprzedniej pracy1 wykazaliśmy za pomocą FLLIT, że modele muchowe SCA3 wykazują hiperkinetyczny chód ataksyjny, podczas gdy modele much PD wykazują hipokinetyczny sztywny chód, rekapitulując cechy charakterystyczne ruchu odpowiednich chorób człowieka1. Analiza chodu umożliwiła nam również zidentyfikowanie odrębnych populacji neuronów leżących u podstaw określonych dysfunkcji ruchowych. Idąc dalej, szczegółowa analiza ruchu, w połączeniu z potężnymi narzędziami obrazowania i funkcjonalnymi dostępnymi w locie, pozwoli nam uzyskać nowy wgląd w mechanizmy dysfunkcji lokomotorycznej, rzucając światło na nasze zrozumienie chorób neurodegeneracyjnych w odniesieniu do mechanizmów obwodów.
FLLIT powinien mieć szerokie zastosowanie w badaniu chodu u innych małych stawonogów, ponieważ wcześniej wykazano, że jest bardzo dokładny w śledzeniu ruchów nóg pająka1. Chociaż skupiamy się tutaj na wykorzystaniu szczegółowego fenotypowania ruchu do ilościowego określania chodu patogennego i jego podstawowych obwodów, postępy w śledzeniu ruchu już zrewolucjonizowały i będą miały ciągły wpływ na zrozumienie normalnej koordynacji chodu i chodu oraz jego podstawowych obwodów, zwłaszcza w niezliczonych różnych gałęziach drzewa ewolucyjnego.

W ciągu ostatnich kilku dekad, choroby neurodegeneracyjne i zaburzenia ruchowe stały się bardziej powszechne w naszych starzejących się populacjach. Chociaż nasza wiedza na temat wielu chorób neurodegeneracyjnych poczyniła postępy na poziomie molekularnym i komórkowym, podstawowe cechy dotkniętych obwodów neuronalnych leżące u podstaw choroby pozostają słabo poznane. Niedawno opracowane narzędzia do śledzenia zachowań1,2,3,4 pozwalają nam teraz badać nieprawidłowości ruchowe w modelach chorób zwierzęcych w celu zidentyfikowania choroby leżącej u podstaw dysregulacji molekularnej, komórkowej i obwodowej.
Szlaki molekularne związane z wieloma chorobami neurodegeneracyjnymi są zachowane u muszki owocowej Drosophila melanogaster, a modele choroby Drosophila pomogły wyjaśnić podstawowe mechanizmy leżące u podstaw neurodegeneracji5,6. Niedawno wykazaliśmy, że modele muchowe choroby Parkinsona (PD) i ataksji rdzeniowo-móżdżkowej 3 (SCA3) wykazują wyraźne, konserwatywne sygnatury chodu, które przypominają te z odpowiednich chorób ludzkich1, co pokazuje, że model muchy może być wykorzystany do zrozumienia mechanizmów obwodowych leżących u podstaw dysfunkcji ruchowej w określonych zaburzeniach ruchowych. Bogaty i stale rosnący arsenał narzędzi w modelu muchy do ukierunkowanej manipulacji i wizualizacji neuronów na poziomie pojedynczego genu i pojedynczej komórki7,8,9,10 sprawia, że mucha jest idealnym modelem do badania związku między szlakami chorobowymi, obwodami neuronalnymi i behawioralnymi manifestacjami fenotypowymi in vivo. Aby umożliwić precyzyjną, zautomatyzowaną analizę chodu owadów, opracowaliśmy niedawno metodę uczenia maszynowego, segmentację LImb opartą na zarobkach Feature Li regały T(FLLIT)1.
FLLIT składa się z w pełni zautomatyzowanego, wieloetapowego algorytmu, który najpierw segmentuje piksele nóg, które następnie są wykorzystywane do lokalizowania i śledzenia odpowiadających im pazurów nóg. FLLIT wykorzystuje algorytm zwiększający do segmentacji, w przeciwieństwie do algorytmów głębokiego uczenia używanych w ostatnich pracach2,3. Istnieją pewne podobieństwa z konwolucyjnymi sieciami neuronowymi w tym, że w obu frameworkach ekstrakcja cech odbywa się automatycznie poprzez uczenie się jąder konwolucyjnych. Pierwszy krok w FLLIT polega na wykorzystaniu operacji morfologicznych (krawędź i szkieletyzacja) w celu automatycznego generowania dodatnich (piksele na nogach) i ujemnych (tło lub piksele na ciele muchy) próbek treningowych z dużą pewnością. W związku z tym FLLIT jest w pełni zautomatyzowany i nie wymaga próbek treningowych z adnotacjami użytkownika. Korzystając z powyższych próbek treningowych, klasyfikator jest następnie trenowany w ramach algorytmu podbijania. Zespół słabych klasyfikatorów jest nauczany iteracyjnie, z których każdy składa się z zestawu jąder konwolucyjnych do ekstrakcji cech i drzewa decyzyjnego. Ostateczny wyuczony klasyfikator jest następnie używany do segmentacji nóg i jest w stanie lepiej rozróżnić trudne obszary/twarde próbki niż operacje morfologiczne, tworząc ogólnie znacznie dokładniejszą segmentację do śledzenia1. Z segmentowych nóg lokalizujemy końcówki i śledzimy je za pomocą węgierskiego algorytmu: dopasowując końcówki w poprzek ramek tak, aby suma odległości przebytej przez każdą końcówkę była zminimalizowana. FLLIT może radzić sobie z przypadkami okluzji, zapamiętując ostatnio widzianą lokalizację (we współrzędnych wyśrodkowanych w locie), dzięki czemu końcówka nogi jest odzyskiwana, gdy nie jest już pod okluzją.
Wcześniej pokazaliśmy, że FLLIT może automatycznie i dokładnie śledzić ruchy nóg i analizować chód nieoznakowanej, swobodnie poruszającej się muchy lub pająka z szybkiego wideo1; FLLIT powinien być zatem szeroko stosowany do śledzenia nóg stawonogów. Wyodrębniając zestawy treningowe uczenia maszynowego przy użyciu parametrów morfologicznych, FLLIT automatycznie szkoli się w segmentacji i śledzeniu odnóży owadów bez konieczności pracochłonnego ręcznego opisywania, które jest wymagane w przypadku większości metod głębokiego uczenia. Dzięki temu FLLIT jest w pełni zautomatyzowany. Po segmentacji i śledzeniu nóg, FLLIT automatycznie tworzy surowe śledzone pozycje ciała i nóg w każdej klatce wideo, 20 parametrów chodu, 5 wykresów i śledzone wideo do analizy chodu i wizualizacji ruchów chodu. Ten protokół zawiera przewodnik krok po kroku dotyczący korzystania z FLLIT.

<table><tbody><tr><td>Arkusze akrylowe</td><td>Dama</td><td>o grubości 1,6 mm, przezroczyste arkusze</td><td>Singapur, Singapur</td></tr><tr><td>Przezroczyste szkło szkiełkowe</td><td>Biomedia</td><td>BMH 880101</td><td>Singapur, Singapur</td></tr><tr><td>Szybka kamera</td><td>Photron</td><td>Fastcam MC2.1</td><td>Tokio, Japonia. Czas otwarcia migawki wynoszący 1 ms lub krótszy jest idealny do zmniejszenia rozmycia ruchu na zarejestrowanych obrazach</td></tr><tr>Dowolna dioda<td>LED na podczerwień</td><td>- ogólna ze sklepu z narzędziami</td><td>Tablica światła podczerwonego 940 nm</td><td>Singapur, Singapur</td></tr><tr><td>Kimberly</td><td>Clark</td><td>34155-01LS</td><td>Irving, Teksas, USA</td></tr></tbody></table>

w pełni zautomatyzowane śledzenie nóg u swobodnie poruszających się owadów przy użyciu funkcji segmentacji i śledzenia nóg (fllit)

Fully Automated Leg Tracking in Freely Moving Insects using Feature Learning Leg Segmentation and Tracking (FLLIT)

Model Drosophila był nieoceniony dla badania funkcji neurologicznych oraz dla zrozumienia molekularnych i komórkowych mechanizmów leżących u podstaw neurodegeneracji. Podczas gdy techniki manipulacji i badania podzbiorów neuronalnych na muchy stają się coraz bardziej wyrafinowane, bogactwo powstałych fenotypów behawioralnych nie zostało uchwycone w podobny sposób. Możliwość badania subtelnych ruchów nóg muchy w celu porównania między mutantami wymaga zdolności do automatycznego pomiaru i ilościowego określania szybkich i szybkich ruchów nóg. W związku z tym opracowaliśmy algorytm uczenia maszynowego do automatycznego śledzenia pazurów nóg u swobodnie chodzących much, segmentacji i śledzenia kończyn opartej na uczeniu się funkcji (FLLIT). W przeciwieństwie do większości metod głębokiego uczenia, FLLIT jest w pełni zautomatyzowany i generuje własne zestawy treningowe bez konieczności adnotacji użytkownika, wykorzystując parametry morfologiczne wbudowane w algorytm uczenia. W tym artykule opisano szczegółowy protokół przeprowadzania analizy chodu przy użyciu FLLIT. Szczegółowo opisuje procedury konfiguracji kamery, budowy areny, nagrywania wideo, segmentacji nóg i śledzenia pazurów nóg. Daje również przegląd danych generowanych przez FLLIT, który obejmuje surowe śledzone pozycje ciała i nóg w każdej klatce wideo, 20 parametrów chodu, 5 wykresów i śledzone wideo. Aby zademonstrować zastosowanie FLLIT, określamy ilościowo odpowiednie parametry chodu chorego w modelu muchy ataksji rdzeniowo-móżdżkowej 3.

Po segmentacji odnóży, śledzeniu i przetwarzaniu danych, program FLLIT automatycznie generuje surowe dane dotyczące pozycji ciała i każdego pazura odnóża, 20 parametrów chodu, 5 wykresów oraz wideo ze śledzeniem (Tabela 1).
W niniejszej pracy prezentujemy te analizy na przykładzie modelu muchy z ataksją spinocebelularną typu 3 (SCA3). Pan-neuronalny driver Elav-GAL4 został wykorzystany do ekspresji pełnej długości ludzkiego białka SCA3 typu dzikiego z 27 glutaminami w obrębie traktu polyQ (UAS-SCA3-flQ27) lub pełnej długości zmutowanego ludzkiego białka SCA3 z 84 glutaminami w obrębie traktu polyQ (UAS-SCA3-flQ84)11. SCA3 charakteryzuje się ataksyjnym chodem z odchylaniem ciała, nieregularnym stawianiem stóp oraz krótkimi, chwiejnymi krokami12,13 (Tabela 2). Aby scharakteryzować chód mutantów SCA3 i zbadać, czy wykazują one wzorce chodu podobne do pacjentów z tą chorobą, przeanalizowano odpowiednie parametry chodu generowane przez FLLIT, a mianowicie: liczbę obrotów ciała, regularność odcisków stóp, zakresy i wielkości nakładania się obszarów ruchu odnóży oraz długość kroku odnóży (Tabela 2).
Stwierdzono, że muchy SCA3-Q84 wykazywały większą liczbę skrętów (Rysunek 4A,A’), nieregularne stawianie stóp, co objawiało się niską regularnością śladów (zwiększone odchylenia standardowe AEP14) (Rysunek 4B), zwiększone nakładanie się obszarów ruchu nóg (Rysunek 4C-D), powiększone obszary ruchu nóg pod względem długości i powierzchni (Rysunek 4E,F) oraz zmniejszoną długość kroku (Rysunek 4G).
FLLIT generuje również wideo pokazujące śledzoną muchę i jej odnóża w widokach wycentrowanych na arenę oraz wycentrowanych na ciało, trajektorię ciała i kierunek poruszania się, a także przemieszczenia pionowe i boczne każdego odnóża (Rysunek 5). Śledzone nagrania wideo umożliwiają bezpośrednie porównanie ruchów odnóży u różnych much. Reprezentatywne filmy z much Elav-GAL4&gt;SCA3-flQ27 (Wideo 1) oraz Elav-GAL4&gt;SCA3-flQ84 (Wideo 2) wykazują, że w porównaniu z muchami Elav-GAL4&gt;UAS-SCA3-flQ27 (Rysunek 5A), muchy Elav-GAL4&gt;UAS-SCA3-flQ84 (Rysunek 5B) wykazują nieregularne, przecinające się obszary ruchu odnóży o różnych rozmiarach, co świadczy o chwiejnym, ataksycznym chódzie.
<img alt="Układ sceny z rozproszonymi diodami LED na podczerwień; wzbudzenie optyczne; przechwytywanie obrazu; obserwacja próbki; schematy." class="xfigimg" src="/files/ftp_upload/61012/61012fig1.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 1"> 
Rysunek 1. Układ stacji rejestrującej i areny. Nagrania z widoku (A) przedniego oraz (B) bocznego. (C) Przykład areny wykorzystywanej do rejestracji lotu much w ramach śledzenia FLLIT. <a href="https://www.jove.com/files/ftp_upload/61012/61012fig1large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<img alt="Analiza toru lotu owada za pomocą kamery wysokich prędkości; konfiguracja eksperymentu z interfejsem oprogramowania do śledzenia." class="xfigimg" src="/files/ftp_upload/61012/61012fig2.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 2"> 
Rysunek 2: Widok aktywnego okna podczas rejestracji chodu muchy przy użyciu kamery dwugłowicowej, która umożliwia jednoczesną rejestrację dwóch much. <a href="https://www.jove.com/files/ftp_upload/61012/61012fig2large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<img alt="Interfejs oprogramowania do śledzenia lokomocji owadów wyświetlający długość ciała i współrzędne ruchu." class="xfigimg" src="/files/ftp_upload/61012/61012fig3.jpg" data-altupdatedat="1788250015000" data-alt="Rycina 3"> 
Rycina 3: Aktywne okno programu FLLIT przedstawiające panel przycisków oraz oznakowane odnóża po segmentacji i śledzeniu. <a href="https://www.jove.com/files/ftp_upload/61012/61012fig3large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.</a>
<img alt="Wykresy trajektorii ciała i nóg, analiza statystyczna pozycji nóg, analiza danych lotu UAS-SCA3." class="xfigimg" src="/files/ftp_upload/61012/61012fig4.jpg" data-altupdatedat="1788250015000" data-alt="Rycina 4"> 
Rycina 4: Reprezentatywne dane wygenerowane przez FLLIT dla istotnych parametrów chodu much wykazujących SCA3 typu dzikiego (SCA3-flQ27) w porównaniu z mutantem (SCA3-flQ84). (A) Liczba zwrotów w trajektorii ciała. (B) Regularność odcisków nóg środkowych znormalizowana do długości ciała. (C-C’) Przebiegłe domeny każdej z nóg. (D) Nakładanie się domen między nogami. (E) Długość domeny nogi środkowej znormalizowana do długości ciała. (F) Pole powierzchni domeny nogi środkowej znormalizowane do długości ciała2. (G) Długość kroku nogi środkowej znormalizowana do długości ciała. <a href="https://www.jove.com/files/ftp_upload/61012/61012fig4large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Analiza śledzenia much; trajektoria ciała, przemieszczenie nóg, kierunek; wyniki eksperymentalne; wykresy, diagramy." class="xfigimg" src="/files/ftp_upload/61012/61012fig5.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 5"> 
Rysunek 5: Migawka reprezentatywnych filmów wygenerowanych za pomocą FLLIT. (A) Elav-GAL4&gt;UAS-SCA3-flQ27 oraz (B) Elav-GAL4&gt;UAS-SCA3-flQ84 muchy. <a href="https://www.jove.com/files/ftp_upload/61012/61012fig5large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Analiza zachowania owadów, klatki wideo w skali szarości, powiązane wykresy ruchu; badanie eksperymentalne." src="/files/ftp_upload/61012/61012video1.jpg" data-altupdatedat="1788250015000" data-alt="Video 1"> 
Wideo 1: Reprezentatywne nagranie muchy wykazującej pan-neuronalną ekspresję ludzkiego pełnowymiarowego białka SCA3 typu dzikiego (Elav-GAL4&gt;UAS-SCA3-flQ27). <a href="https://www.jove.com/files/ftp_upload/61012/Video_1_Elav-GAL4_SCA3-flQ27_22d.mp4" target="_blank">Kliknij tutaj, aby obejrzeć to wideo. (Kliknij prawym przyciskiem myszy, aby pobrać).</a>
<img alt="Badanie owadów z wykorzystaniem obserwacji behawioralnych; układ doświadczalny z wykresami danych i obrazami owadów." src="/files/ftp_upload/61012/61012video2.jpg" data-altupdatedat="1788250015000" data-alt="Wideo 2"> 
Wideo 2: Reprezentatywne nagranie muchy wykazującej pan-neuronalną ekspresję mutantowej ludzkiej pełnowymiarowej białka SCA3 (Elav-GAL4&gt;UAS-SCA3-flQ84). <a href="https://www.jove.com/files/ftp_upload/61012/Video_2_Elav-GAL4_SCA3-flQ84_22d.mp4" target="_blank">Kliknij tutaj, aby obejrzeć to wideo. (Kliknij prawym przyciskiem myszy, aby pobrać).</a>
<img alt="Okno ustawień konfiguracji VcxSrv, wyświetlające opcje konfiguracji ekranu, klientów i ustawienia dodatkowe." src="/files/ftp_upload/61012/61012supfig1.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek dodatkowy 1"> 
Rysunek dodatkowy 1: Konfiguracje dla VcXSrv. <a href="https://www.jove.com/files/ftp_upload/61012/61012supfig1large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<img alt="Konfiguracja preferencji X11; opcje bezpieczeństwa; zezwolenie na połączenia klientów sieciowych; konfiguracja oprogramowania." src="/files/ftp_upload/61012/61012supfig2.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek dodatkowy 2"> 
Rysunek dodatkowy 2: Konfiguracja programu Xquartz. <a href="https://www.jove.com/files/ftp_upload/61012/61012supfig2large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.</a>
<img alt="Analiza zachowania much; opisowy schemat; pomiar szerokości komory; układ eksperymentalny." src="/files/ftp_upload/61012/61012supfig3.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek dodatkowy 3"> 
Rysunek dodatkowy 3: Obraz z zaznaczonymi wymiarami niezbędnymi do obliczenia pola widzenia (Field of view). <a href="https://www.jove.com/files/ftp_upload/61012/61012supfig3large.jpg" target="_blank">Aby wyświetlić większą wersję tego rysunku, kliknij tutaj.</a>
<table border="1" fo:keep-together.within-page="1">
	<tbody>
		<tr>
			<td>Kategoria</td>
			<td>Parametry</td>
			<td>Opis</td>
			<td>Plik/Wykres (jeśli dotyczy)</td>
		</tr>
		<tr>
			<td rowspan="4">Dane surowe</td>
			<td>Pozycja ciała</td>
			<td>Współrzędne pozycyjne centroidu ciała w każdej klatce</td>
			<td>Pierwsze dwie kolumny pliku CoM.csv</td>
		</tr>
		<tr>
			<td>Trajektoria ciała</td>
			<td>Kąt obrotu osi ciała w stopniach (względem osi y)</td>
			<td>Trzecia kolumna pliku CoM.csv</td>
		</tr>
		<tr>
			<td>Uchwyt do kończyn centrowany w arenie 
			pozycje</td>
			<td>Współrzędne pozycyjne każdego pazura odnóża w każdej klatce na podstawie współrzędnych areny</td>
			<td>trajektoria.csv</td>
		</tr>
		<tr>
			<td>Chwytacz nogą centrycznie względem ciała 
			pozycje</td>
			<td>Współrzędne pozycyjne każdego pazura odnóża w każdej klatce 
			na podstawie współrzędnych areny</td>
			<td>norm_trajectory.csv</td>
		</tr>
		<tr>
			<td rowspan="3">Ruchy ciała</td>
			<td>Długość ciała (mm)</td>
			<td>Długość badanego zwierzęcia oszacowana w każdej klatce (od najbardziej przedniej pozycji na głowie do najbardziej tylnej) 
			położenie na skrzydłach)</td>
			<td>dlugosc_ciala.csv</td>
		</tr>
		<tr>
			<td>Hiciarowa prędkość ciała 
			(mm/s)</td>
			<td>Prędkość chwilowa ciała (środka ciężkości) u badanego zwierzęcia</td>
			<td>BodyVelocity.csv; BodyVelocity.pdf</td>
		</tr>
		<tr>
			<td>Punkty obrotu ciała 
			trajektoria</td>
			<td>Aby zlokalizować punkty zwrotne, trajektoria zostaje zredukowana do krzywej liniowo-kawałkowej przy użyciu algorytmu Douglasa-Peuckera. 
			algorytm, zgodnie z którym zdarzenie skrętne jest identyfikowane jako obejmujące kąt &gt; 50 stopni między dwoma sąsiednimi 
			odcinki liniowe tworzące uproszczoną trajektorię</td>
			<td>Trajektoria ciała.pdf</td>
		</tr>
		<tr>
			<td rowspan="9">Indywidualne parametry kroku</td>
			<td>Czas trwania kroku (ms)</td>
			<td>Czas trwania cyklu krokowego</td>
			<td>ParametryKroku.csv</td>
		</tr>
		<tr>
			<td>Okres kroku (ms)</td>
			<td>Czas trwania od jednego zdarzenia krokowego do następnego</td>
			<td></td>
		</tr>
		<tr>
			<td>Przesunięcie kroku (mm)</td>
			<td>Przemieszczenie pazura nogi podczas cyklu kroku</td>
			<td></td>
		</tr>
		<tr>
			<td>Pokonany dystans kroku (mm)</td>
			<td>Całkowita droga pokonana przez pazur kończyny podczas jednego kroku</td>
			<td></td>
		</tr>
		<tr>
			<td>Skrajna pozycja przednia 
			(mm)</td>
			<td>Pozycja lądowania (względem ciała) odnóża na koniec cyklu kroku</td>
			<td></td>
		</tr>
		<tr>
			<td>Tylna pozycja ekstremalna (mm)</td>
			<td>Pozycja startowa (względem ciała) pazura kończyny w momencie rozpoczęcia kroku</td>
			<td></td>
		</tr>
		<tr>
			<td>Amplituda kroku (mm)</td>
			<td>Przemieszczenie w kierunku ruchu dla zdarzenia kroku</td>
			<td></td>
		</tr>
		<tr>
			<td>Liniowość postawy (mm)</td>
			<td>Zdefiniowane jako odchylenie toru kroku od krzywej wygładzonej (w odstępach 20 ms) względem odpowiadającej jej przedniej 
			oraz tylne pozycje skrajne kroku</td>
			<td></td>
		</tr>
		<tr>
			<td>Rozciągnięcie kroku (mm)</td>
			<td>Odległość położenia pazura kończyny od centrum ciała w połowie zdarzenia kroku</td>
			<td></td>
		</tr>
		<tr>
			<td rowspan="10">Ruch kończyn dolnych</td>
			<td>Prędkość nogi (mm/s)</td>
			<td>Prędkość chwilowa każdej kończyny</td>
			<td>LegSpeed.csv; Chód.pdf</td>
		</tr>
		<tr>
			<td>Wskaźnik chodu</td>
			<td>Metoda ta pozwala na pomiar rodzaju koordynacji chodu wykazywanej przez badaną (sześcionogą) zwierzęcą próbkę podczas ruchu. Chód 
			indeks 1 odpowiada chodu trójnodnemu, -1 odpowiada chodu czteronodnemu, natomiast 0 oznacza chód niekanoniczny. 
			W naszej implementacji indeks chodu jest wyznaczany za pomocą średniej kroczącej w oknie czasowym wynoszącym 120 ms</td>
			<td>GaitIndex.csv; GaitIndex.pdf</td>
		</tr>
		<tr>
			<td>Procent ruchu</td>
			<td>Procent czasu, w którym kończyna jest w ruchu</td>
			<td>ParametryNóg.csv</td>
		</tr>
		<tr>
			<td>Średni czas kroku (ms)</td>
			<td>Średni czas od jednego zdarzenia kroku do następnego</td>
			<td>ParametryNóg.csv</td>
		</tr>
		<tr>
			<td>Regularność śladu (mm)</td>
			<td>Zmierzono jako odchylenia standardowe rozkładów a posteriori i</td>
			<td>ParametryNóg.csv</td>
		</tr>
		<tr>
			<td></td>
			<td>skrajne pozycje przednie kończyny dolnej</td>
			<td></td>
		</tr>
		<tr>
			<td>Obszar domeny trajektorii nogi 
			(mm2)</td>
			<td>Pole minimalnej otoczki wypukłej zawierającej całą trajektorię nogi w układzie odniesienia zorientowanym na ciało</td>
			<td>LegParameters.csv; LegDomain.pdf</td>
		</tr>
		<tr>
			<td>Długość i szerokość 
			zakres trajektorii nogi (mm)</td>
			<td>Wyznaczony na podstawie maksymalnej rzutowanej odległości pozycji szczypiec na oś główną (długość domeny) oraz oś mniejszą 
			osie główne (szerokość domeny)</td>
			<td>ParametryNogi.csv</td>
		</tr>
		<tr>
			<td>Przecięcie/zakładka domeny nogi 
			(mm2)</td>
			<td>Przecięcie/zakres wspólny pomiędzy każdą możliwą</td>
			<td>LegDomainOverlap.csv</td>
		</tr>
		<tr>
			<td>Szerokość rozstawu stóp (mm)</td>
			<td>Średnia odległość między AEP a PEP lewej i środkowej nogi</td>
			<td>SzerokoscPostawy.csv</td>
		</tr>
	</tbody>
</table>
Tabela 1: Parametry chodu wygenerowane przez FLLIT.
<table border="1" fo:keep-together.within-page="1">
	<tbody>
		<tr>
			<td></td>
			<td colspan="4">Cecha chodu</td>
		</tr>
		<tr>
			<td>Charakterystyka chodu w ataksji spinocerebelarnej typu 3 (SCA3)</td>
			<td>Odchylenie</td>
			<td>Niestabilne stawianie stóp i krzyżowanie nóg</td>
			<td>Chwiejne kroki</td>
			<td>Krótkie kroki</td>
		</tr>
		<tr>
			<td>Parametr pomiarowy</td>
			<td>Liczba zdarzeń obrotu ciała</td>
			<td>Regularność śladów</td>
			<td>Wielkość domen nóżkowych, stopień nakładania się domen</td>
			<td>Długość kroku</td>
		</tr>
		<tr>
			<td>Plik FLLIT</td>
			<td>TrajektoriaCiała.pdf</td>
			<td>ParametryNogi.csv</td>
			<td>LegDomainOverlap.csv</td>
			<td>ParametryKroku.csv</td>
		</tr>
	</tbody>
</table>
Tabela 2: Tabela przedstawiająca charakterystyczne cechy chodu w SCA3 u pacjentów z odpowiadającymi im parametrami FLLIT i plikami wynikowymi.

Opisujemy szczegółowe protokoły korzystania z FLLIT, w pełni zautomatyzowanej metody uczenia maszynowego do śledzenia ruchów pazurów nóg u swobodnie poruszających się Drosophila melanogaster i innych owadów. Protokoły te mogą być używane do ilościowego pomiaru subtelnych ruchów chodu u much dzikich typów, zmutowanych much i modeli neurodegeneracji much.

W pełni zautomatyzowane śledzenie nóg u swobodnie poruszających się owadów przy użyciu funkcji segmentacji i śledzenia nóg (FLLIT)

The Drosophila model has been invaluable for the study of neurological function and for understanding the molecular and cellular mechanisms that underlie ...

FLLIT to algorytm, który oblicza skład ciała i nóg śledzonego zwierzęcia. Jest to przydatne do scharakteryzowania obwodów, które leżą u podstaw zarówno normalnych, jak i chorobowych zachowań związanych z chodzeniem. Unikalną cechą FLLIT jest to, że nie wymaga żadnych zestawów danych z adnotacjami użytkownika do trenowania, a zatem jest w pełni zautomatyzowany.Ale także automatycznie analizuje dane toru, tworząc serię pomiarów chodu, wykresy chodu do wizualizacji i wideo z trasy. Procedurę zademonstruje Animesh Banerjee, kolega po doktorze z mojego laboratorium. Przed rozpoczęciem eksperymentu upewnij się, że stacja nagraniowa jest wyposażona w szybką kamerę ze stopniem nad nią, w którym znajduje się komora areny.Umieść diody LED na podczerwień w górnej części stolika z dyfuzorem między kamerą a próbką. Około 40 minut przed rozpoczęciem nagrywania przenieś muchy do pustego podłego zbiornika na lodzie na pięć do siedmiu minut. Podczas gdy muchy są uspokajane, użyj wody i chusteczki, aby oczyścić arenę i szklane zjeżdżalnie komory i przyklej taśmą jedną ze szklanych szkiełek pod komorą.Za pomocą czystej szczotki przenieś jedną znieczuloną muchę do komory i zabezpiecz komorę drugim szkiełkiem i taśmą. Następnie pozwól muszce komorowej zaaklimatyzować się w temperaturze pokojowej przez 15 do 20 minut. Aby wygenerować filmy do analizy FLLIT, najpierw włącz źródło zasilania i otwórz aplikację przeglądarki w podłączonym systemie komputerowym.Zmień liczbę klatek na sekundę nagrywania na 1 000 klatek na sekundę i ustaw czas otwarcia migawki na jedną milisekundę. Umieść komorę z muchą na arenie nagrywającej i kliknij przycisk NA ŻYWO. Potwierdzono, że kamera skupia się na czubkach nóg, gdy mucha idzie pionowo po podłodze komory i kliknij przycisk Nagraj.Podczas nagrywania upewnij się, że mucha idzie po stosunkowo prostej trajektorii, nie dotykając krawędzi areny, chodzi co najmniej trzy kroki na nogę, nie zatrzymuje się podczas spaceru i że przebyty dystans jest równy co najmniej półtorej długości ciała. Na końcu analizy kliknij przycisk Nagraj gotowe, aby zatrzymać nagrywanie i zapisać pliki w formacie mraw lub tiff w odpowiednich folderach. Aby zainstalować FLLIT, najpierw pobierz program na dowolny system operacyjny.Wyodrębnij zawartość pliku zip i pobierz przykładowe zestawy danych. Aby zainstalować FLLIT w Ubuntu, przejdź do katalogu FLLIT/Compiled i kliknij prawym przyciskiem myszy, aby wybrać Otwórz w Terminalu. Pobierz przykładowy zestaw danych i utwórz folder data w obszarze FLLIT-master/Compiled, w którym zostaną umieszczone foldery zestawu danych.Zainstaluj biblioteki wykonawcze MATLAB w katalogu HOME/MCR. Po zakończeniu instalacji biblioteki wykonawczej MATLAB wydaj polecenie, aby upewnić się, że prawa do pliku wykonywalnego są rejestrowane w FLLIT. Następnie wprowadź polecenie, aby uruchomić FLLIT.W celu segmentacji wideo przekonwertuj plik na pojedyncze pliki TIFF i zapisz przekonwertowane pliki w folderze danych FLLIT. Po przesłaniu wszystkich plików uruchom FLLIT. W wyskakującym oknie wybierz wartość 0, aby przeprowadzić tylko segmentację nóg lub wybierz 1, aby uwzględnić śledzenie nóg z segmentacją nóg.Wybierz folder zawierający obrazy TIFF klatka po klatce filmu, który ma być śledzony, oraz plik zainteresowania, a następnie kliknij przycisk Dodaj. Następnie kliknij Gotowe, aby rozpocząć segmentację i śledzenie wybranego filmu. Aby sprawdzić dokładność śledzenia i przeprowadzić korektę błędów, kliknij opcję Wybierz folder danych, a następnie wybierz folder, który ma być śledzony.Kliknij opcję Wyświetl śledzenie i sprawdź oznaczenia wszystkich nóg w pierwszej klatce. Jeśli noga jest nieprawidłowo oznaczona i wymagana jest korekta, kliknij przycisk Wstrzymaj wyświetlanie i dostosuj prognozę. W panelu Ramię do dopasowania wybierz ramię, które wymaga korekty, a następnie kliknij dwukrotnie prawidłowe położenie tego ramienia w oknie obrazu.Następnie kliknij Zapisz i wyjdź. Aby przetworzyć posegmentowane i śledzone dane, kliknij opcję Przetwarzanie danych. Najpierw oblicz rzeczywiste pole widzenia przechwyconego wideo, aby można było zmierzyć parametry bramki.W wyskakującym okienku wprowadź liczbę klatek na sekundę, z jaką nagrywane jest wideo i wprowadź obliczone pole widzenia w milimetrach. Aby uzyskać dostęp do wyników śledzenia, otwórz foldery wyników i śledzenia. Aby wygenerować film ze śledzoną muchą, wybierz opcję Utwórz wideo.Po segmentacji, śledzeniu i przetwarzaniu danych nóg, FLLIT automatycznie generuje surowe dane dotyczące pozycji ciała i każdego pazura nogi, 20 parametrów chodu i towarzyszących wykresów oraz śledzonych filmów. SCA3 charakteryzuje się ataksyjnym chodem z skręcaniem ciała, nieregularnym ułożeniem stopy i krótkimi, chwiejnymi krokami. Aby scharakteryzować chód zmutowanych much SCA3 i zbadać, czy wykazują one chód podobny do chodu u ludzi, można przeanalizować odpowiednie parametry chodu generowane przez FLLIT.Muchy SCA3-Q84 wykazują więcej skrętów, nieregularne ułożenie stopy, o czym świadczy niska regularność śladu i zwiększone nakładanie się domen nóg, powiększone domeny nóg pod względem długości i powierzchni oraz zmniejszona długość kroku. FLLIT może również wygenerować film pokazujący śledzoną muchę i nogi w widokach wyśrodkowanych na arenie i skoncentrowanych na ciele, trajektorii ciała, kierunku kierunku oraz pionowych i bocznych przemieszczeń każdej nogi. W porównaniu do much SCA3-Q27, muchy SCA3-Q84 wykazują nieregularne, przecinające się domeny nóg o różnych rozmiarach, co wskazuje na chwiejny, ataksyjny chód.Surowe dane dotyczące pozycji pazurów ciała i nóg mogą być dalej analizowane pod kątem określonych ruchów będących przedmiotem zainteresowania. Na przykład zastosowanie FLLIT pozwoliło naszej grupie ustalić, że sztywne fenotypy wykazywane przez modele choroby Parkinsona Drosophila są spowodowane dysfunkcją neuronów dopaminergicznych.

fully-automated-leg-tracking-freely-moving-insects-using-feature

Research

JoVE Journal

Behavior

Zachowanie

Badanie złożonych zachowań lokomocyjnych u Drosophila melanogaster zależy od możliwości ilościowego określenia zmian w ruchu danej muchy. Niniejszy artykuł demonstruje, jak przeprowadzić ten proces przy użyciu wysokorozdzielczego systemu śledzenia.

Wysokorozdzielcze śledzenie wideo lokomocji u dorosłych osobników Drosophila melanogaster

Opisujemy metodę rejestracji aktywności motorycznej, zsynchronizowaną z elektrycznie rejestrowanym sygnałem kontaktu stopowego u uwięzionego owada chodzącego po śliskiej powierzchni. Metoda ta jest wykorzystywana do badania neuronalnych podstaw adaptacyjnego zachowania przy zredukowanym wpływie oddziaływań mechanicznych między odnóżami a podłożem.

Badanie neuronowych podstaw adaptacyjnego zachowania lokomocyjnego u owadów

Ten film opisuje, jak śledzić swobodnie chodzące muchy, aby ocenić ich ogólną zdolność poruszania się. Prezentowany protokół demonstruje konfigurację testu i analizę danych za pomocą oprogramowania do śledzenia wideo.

Śledzenie swobodnie chodzących much: metoda oceny lokomocji u Drosophila

Wcześniej opracowaliśmy technikę wszczepiania drutów tetrodowych do centralnego kompleksu mózgów karaluchów, która pozwala nam monitorować aktywność w poszczególnych jednostkach karaluchów na uwięzi. Tutaj prezentujemy zmodyfikowaną wersję tej techniki, która pozwala nam również rejestrować aktywność mózgu u swobodnie poruszających się owadów.

Zewnątrzkomórkowy zapis tetrody drutowej w mózgu swobodnie chodzących owadów

Zaproponowaliśmy system, który wykorzystuje niedrogie, nieinwazyjne pseudoakustyczne czujniki optyczne do automatycznego i dokładnego wykrywania, liczenia i klasyfikowania owadów latających na podstawie ich dźwięku lotu.

Wykrywanie i klasyfikacja owadów latających za pomocą niedrogich czujników

FIM to nowatorski, ekonomiczny system obrazowania przeznaczony do śledzenia małych poruszających się obiektów, takich jak C. elegans, planaria czy larwy Drosophila. Towarzyszący mu program FIMTrack został zaprojektowany tak, aby zapewnić szybką i wydajną analizę danych. Razem narzędzia te umożliwiają wysokoprzepustową analizę cech behawioralnych.

FIM Imaging i FIMtrack: dwa nowe narzędzia umożliwiające wysokowydajną i ekonomiczną analizę lokomocji

Ten protokół opisuje proces konstruowania hybrydowego systemu owado-maszynowego i przeprowadzania bezprzewodowej elektrycznej stymulacji mięśni lotu wymaganych do kontrolowania ruchu skrętu latającego owada.

Hybrydowy system owado-maszynowy: zdalne sterowanie radiowe swobodnie latającym chrząszczem (Mercynorrhina torquata)

Zdolność do lokalizacji źródła zapachu jest niezbędna do przetrwania owadów i oczekuje się, że będzie miała zastosowanie do sztucznego śledzenia zapachów. Robot sterowany przez owady jest napędzany przez prawdziwą jedwabną i umożliwia nam ocenę zdolności owadów do śledzenia zapachów za pomocą platformy robotycznej.

Robot sterowany przez owady: mobilna platforma robota do oceny zdolności owadów do śledzenia zapachów

Ten protokół opisuje kroki korzystania z nowatorskiego oprogramowania, SwarmSight, do śledzenia klatka po klatce pozycji anteny owada i trąbki z konwencjonalnych kamer internetowych przy użyciu konwencjonalnych komputerów. Darmowe oprogramowanie typu open source przetwarza klatki około 120 razy szybciej niż ludzie i działa z dokładnością lepszą niż ludzka.

SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu

Protokół ten ustanawia pipeline oceny kinematyki tylnej kończyny szczura za pomocą testu na bieżni bez markerów z automatycznym oznaczaniem trajektorii wielostawowych opartym na głębokim uczeniu, co umożliwia powtarzalną ilościową ilościową identyfikację ruchu.

Wielostawowe synchroniczne śledzenie oparte na uczeniu głębokim do obiektywnej ilościowej kinematyki ruchowej kończyn tylnych u szczurów

Poznaj metodę FLLIT do automatycznego śledzenia ruchów nóg u Drosophila melanogaster. Algorytm uczenia maszynowego analizuje chód owadów bez potrzeby ręcznej anotacji danych treningowych.

W pełni zautomatyzowane śledzenie nóg u swobodnie poruszających się owadów przy użyciu funkcji segmentacji i śledzenia nóg (FLLIT) (Wideo) | JoVE Journal

W pełni zautomatyzowane śledzenie nóg u swobodnie poruszających się owadów przy użyciu funkcji segmentacji i śledzenia nóg (FLLIT)

Przeglądaj więcej filmów