Zautomatyzowana metoda mrużenia oczu dla zachowania synchronizacji czasu i dynamiki mózgu w badaniach bólu myszy

Podsumowanie

Ten protokół zapewnia metodę śledzenia automatycznego mrużenia oczu u gryzoni w czasie w sposób zgodny z blokowaniem czasu na pomiary neurofizjologiczne. Oczekuje się, że protokół ten będzie przydatny dla naukowców badających mechanizmy zaburzeń bólowych, takich jak migrena.

Streszczenie

Spontaniczny ból był trudny do śledzenia w czasie rzeczywistym i ilościowego określenia w sposób, który zapobiega ludzkim uprzedzeniom. Jest to szczególnie prawdziwe w przypadku wskaźników bólu głowy, takich jak zaburzenia takie jak migrena. Zez oka stał się ciągłą zmienną metryką, którą można mierzyć w czasie i jest skuteczna w przewidywaniu stanów bólowych w takich testach. W artykule przedstawiono protokół użycia DeepLabCut (DLC) do automatyzacji i ilościowego określania zeza oka (euklidesowej odległości między powiekami) u skrępowanych myszy z swobodnie obracającymi się ruchami głowy. Protokół ten umożliwia bezstronne określenie ilościowe zeza oka i bezpośrednie porównanie go z pomiarami mechanistycznymi, takimi jak neurofizjologia. Zapewniamy ocenę parametrów treningu AI niezbędnych do osiągnięcia sukcesu, zgodnie z definicją rozróżniania okresów zeza i bez zeza. Wykazujemy zdolność do niezawodnego śledzenia i różnicowania zeza w fenotypie podobnym do migreny wywołanym przez CGRP w rozdzielczości poniżej sekundy.

Wprowadzenie

Migrena jest jednym z najbardziej rozpowszechnionych zaburzeń mózgu na świecie, dotykającym ponad miliard ludzi¹. Przedkliniczne mysie modele migreny pojawiły się jako informacyjny sposób badania mechanizmów migreny, ponieważ badania te mogą być łatwiej kontrolowane niż badania na ludziach, umożliwiając w ten sposób badanie przyczynowe zachowań związanych z migreną². Takie modele wykazały silną i powtarzalną odpowiedź fenotypową na związki wywołujące migrenę, takie jak peptyd związany z genem kalcytoniny (CGRP). Utrzymuje się potrzeba solidnych pomiarów zachowań związanych z migreną w modelach gryzoni, zwłaszcza tych, które można połączyć z metrykami mechanistycznymi, takimi jak obrazowanie i podejścia elektrofizjologiczne.

Migrenowe stany mózgu charakteryzują się fenotypowo obecnością awersji do światła, allodynii łap, hiperalgezji twarzy na szkodliwe bodźce i grymasu twarzy³. Takie zachowania są mierzone całkowitym czasem spędzonym w świetle (awersja do światła) oraz progami wrażliwości na dotyk łap lub twarzy (allodynia łap i hiperalgezja twarzy) i są ograniczone do pojedynczego odczytu w dużych okresach czasu (minuty lub dłużej). Zachowania podobne do migreny mogą być wywoływane u zwierząt poprzez dawkowanie związków wywołujących migrenę, takich jak CGRP, naśladując objawy doświadczane przez pacjentów z migreną³ (tj. wykazując trafność twarzy). Takie związki wywołują również objawy migreny, gdy są podawane ludziom, co dowodzi trafności konstruktu tych modeli⁴. Badania, w których fenotypy behawioralne były osłabione farmakologicznie, doprowadziły do odkryć związanych z leczeniem migreny i dostarczają dalszego uzasadnienia tych modeli (tj. wykazując trafność predykcyjną)^5,6.

Na przykład, wykazano, że monoklonalne przeciwciało anty-CGRP (ALD405) zmniejsza zachowania awersyjne wobec światła⁵ i grymas twarzy u myszy ⁶ leczonych CGRP, a inne badania wykazały, że leki antagonistyczne CGRP zmniejszają zachowania podobne do migreny wywołane podtlenkiem azotu u zwierząt7^,8. Ostatnie badania kliniczne wykazały sukces w leczeniu migreny poprzez blokowanie CGRP^9,10, co prowadzi do powstania wielu zatwierdzonych przez FDA leków ukierunkowanych na CGRP lub jego receptor. Przedkliniczna ocena fenotypów związanych z migreną doprowadziła do przełomu w wynikach klinicznych i dlatego jest niezbędna do zrozumienia niektórych z bardziej złożonych aspektów migreny, które są trudne do bezpośredniego zbadania u ludzi.

Pomimo licznych zalet, eksperymenty wykorzystujące te odczyty behawioralne migreny u gryzoni są często ograniczone w ich możliwościach próbkowania punktów czasowych i mogą być subiektywne i podatne na ludzkie błędy eksperymentalne. Wiele testów behawioralnych ma ograniczoną zdolność do uchwycenia aktywności w bardziej precyzyjnych rozdzielczościach czasowych, co często utrudnia uchwycenie bardziej dynamicznych elementów, które występują w skali czasowej poniżej sekundy, takich jak poziom aktywności mózgu. Okazało się, że trudno jest określić ilościowo bardziej spontaniczne, naturalnie występujące elementy zachowania w czasie przy znaczącej rozdzielczości czasowej dla badania mechanizmów neurofizjologicznych. Stworzenie sposobu na identyfikację aktywności podobnej do migreny w szybszych skalach czasowych pozwoliłoby na zewnętrzną walidację stanów mózgu podobnych do migreny. To z kolei może być zsynchronizowane z aktywnością mózgu, aby stworzyć bardziej solidne profile aktywności mózgu migreny.

Jeden z takich fenotypów związanych z migreną, grymas na twarzy, jest używany w różnych kontekstach jako pomiar bólu u zwierząt, który może być mierzony natychmiast i śledzony w czasie¹¹. Grymas twarzy jest często używany jako wskaźnik spontanicznego bólu w oparciu o ideę, że ludzie (zwłaszcza ludzie niewerbalni) i inne gatunki ssaków wykazują naturalne zmiany w wyrazie twarzy podczas odczuwania bólu¹¹. W badaniach mierzących grymas twarzy jako wskaźnik bólu u myszy w ciągu ostatniej dekady wykorzystano skale, takie jak Skala Grymasu Myszy (MGS), aby ujednolicić charakterystykę bólu u gryzoni¹². Zmienne wyrazu twarzy MGS obejmują zaostrzenie oczodołu (zez), wybrzuszenie nosa, wybrzuszenie policzka, ułożenie uszu i zmianę wąsów. Mimo że wykazano, że MGS niezawodnie charakteryzuje ból u zwierząt¹³, jest notorycznie subiektywny i opiera się na dokładnej punktacji, która może się różnić w zależności od eksperymentatora. Ponadto MGS jest ograniczony, ponieważ wykorzystuje nieciągłą skalę i brakuje mu rozdzielczości czasowej potrzebnej do śledzenia naturalnie występujących zachowań w czasie.

Jednym ze sposobów walki z tym jest obiektywne określenie ilościowe spójnych cech twarzy. Zez jest najbardziej konsekwentnie śledzoną cechą twarzy⁶. Zez odpowiada za większość całkowitej zmienności danych, gdy uwzględnia się wszystkie zmienne MGS (zez, wybrzuszenie nosa, wybrzuszenie policzka, pozycja ucha i zmiana wąsów)⁶. Ponieważ mruz oka ma największy wpływ na ogólny wynik uzyskany za pomocą MGS i niezawodnie śledzi odpowiedź na CGRP^6,14, jest to najbardziej niezawodny sposób śledzenia spontanicznego bólu w modelach myszy migrenowych. To sprawia, że mrużenie oczu jest wymiernym zachowaniem niehomeostatycznym wywołanym przez CGRP. Kilka laboratoriów wykorzystało cechy mimiki twarzy, w tym zeza, do przedstawienia potencjalnego spontanicznego bólu związanego z migreną^6,15.

Pozostało kilka wyzwań związanych z przeprowadzaniem automatycznych skanów w sposób, który można połączyć z mechanistycznymi badaniami migreny. Na przykład trudno było niezawodnie śledzić zeza bez polegania na ustalonej pozycji, która musi być kalibrowana w ten sam sposób podczas wszystkich sesji. Kolejnym wyzwaniem jest możliwość przeprowadzania tego typu analiz w skali ciągłej, a nie w skali dyskretnej, jak w MGS. Aby złagodzić te wyzwania, naszym celem było zintegrowanie uczenia maszynowego w postaci DeepLabCut (DLC) z naszym procesem analizy danych. DLC to model uczenia maszynowego do szacowania pozycji, opracowany przez Mathisa i współpracowników, który został zastosowany do szerokiego zakresu zachowań¹⁶. Korzystając z ich oprogramowania do szacowania pozycji, byliśmy w stanie wytrenować modele, które potrafiły dokładnie przewidywać punkty na oku myszy z dokładnością zbliżoną do ludzkiej. Rozwiązuje to problemy z powtarzającym się ręcznym ocenianiem, jednocześnie drastycznie zwiększając rozdzielczość czasową. Co więcej, tworząc te modele, stworzyliśmy powtarzalne metody do oceniania, mrużenia oczu i szacowania aktywności mózgu podobnej do migreny w większych grupach eksperymentalnych. W tym miejscu przedstawiamy rozwój i walidację tej metody śledzenia zachowań zeza w sposób, który można zablokować w czasie z innymi pomiarami mechanistycznymi, takimi jak neurofizjologia. Nadrzędnym celem jest katalizowanie badań mechanistycznych wymagających ograniczonych czasowo zachowań zeza w modelach gryzoni

.

Protokół

UWAGA: Wszystkie zwierzęta wykorzystane w tych eksperymentach były traktowane zgodnie z protokołami zatwierdzonymi przez Instytucjonalny Komitet ds. Opieki i Użytkowania Zwierząt (IACUC) Uniwersytetu Iowa.

1. Przygotuj sprzęt do zbierania danych

1. Upewnij się, że wszystkie niezbędne sprzęty są dostępne: upewnij się, że zalecany sprzęt do uruchamiania DLC ma co najmniej 8 GB pamięci. Zobacz Spis materiałów, aby uzyskać informacje dotyczące sprzętu i oprogramowania.
   UWAGA: Dane mogą być zbierane w dowolnym formacie, ale przed analizą muszą zostać przekonwertowane do formatu możliwego do odczytania przez DLC. Najpopularniejsze formaty to AVI i MP4.
2. Skonfiguruj co najmniej jedną kamerę tak, aby można było wykryć jedno oko zwierzęcia. Jeśli oba oczy są widoczne, wykonaj dodatkowe filtrowanie, ponieważ może to spowodować zakłócenia w śledzeniu. Przykład takiego filtrowania dla podanych tutaj danych znajduje się w sekcji 10.
3. Zainstaluj DLC, korzystając z pakietu znajdującego się na stronie Deeplabcut.github.io/DeepLabCut/docs/installation.
4. W konfiguracji kamery dołącz pojedynczą kamerę pod kątem bocznym (~90°) do myszy. Aby podążać za tym przykładem, próbkuj z częstotliwością 10 Hz, przy czym myszy są skrępowane, ale mają swobodny dostęp do pełnego zakresu ruchów głowy w stosunku do ciała. Zachowaj odległość od 2 do 4 cali od aparatu do zwierzęcia.

2. Konfiguracja DLC

1. Po zainstalowaniu DLC stwórz środowisko, w którym będziesz pracować. Aby to zrobić, przejdź do folderu, do którego zostało pobrane oprogramowanie DLC, korzystając z katalogu zmian za pomocą następującego polecenia.
   cd folder_name
   UWAGA: W tym miejscu znajduje się plik DEEPLABCUT.yaml.
2. Uruchom pierwsze polecenie, aby utworzyć środowisko i włącz je, wpisując drugie polecenie.
   conda env create -f DEEPLABCUT.yaml
   conda aktywuj Deeplabcut
   UWAGA: Upewnij się, że środowisko jest aktywowane przed każdym użyciem DLC.
   Po aktywacji środowiska otwórz graficzny interfejs użytkownika (GUI) za pomocą następującego polecenia i rozpocznij tworzenie modelu.
   python -m deeplabcut

3. Utwórz model

1. Po otwarciu GUI rozpocznij tworzenie modelu, klikając Utwórz nowy projekt na dole.
2. Nazwij projekt czymś znaczącym i unikalnym, aby zidentyfikować go później, a następnie wprowadź nazwę jako eksperymentator. Sprawdź sekcję Lokalizacja, aby zobaczyć, gdzie projekt zostanie zapisany.
3. Wybierz pozycję Przeglądaj foldery i znajdź filmy wideo, aby wytrenować model. Wybierz opcję Kopiuj filmy do folderu projektu, jeśli filmy wideo nie mają być przenoszone z ich oryginalnego katalogu.
4. Wybierz pozycję Utwórz, aby wygenerować nowy projekt na komputerze.
   UWAGA: Filmy muszą obejmować pełen zakres zachowań, które będziesz obserwować (tj. mrużenie oczu, brak zeza i wszystkie zachowania pomiędzy). Model będzie w stanie rozpoznać tylko zachowanie podobne do tego w danych treningowych, a jeśli brakuje niektórych składników zachowania, model może mieć problemy z jego rozpoznaniem.

4. Konfiguracja ustawień

UWAGA: To jest miejsce, w którym można zdefiniować szczegóły, takie jak to, co wskazuje na śledzenie, ile klatek należy wyodrębnić z każdego filmu szkoleniowego, domyślny rozmiar kropki etykiety i zmienne związane z tym, jak model będzie trenował.

1. Po utworzeniu modelu edytuj ustawienia konfiguracji, wybierając pozycję Edytuj config.yaml. Wybierz opcję Edytuj, aby otworzyć plik ustawień konfiguracyjnych w celu określenia kluczowych ustawień związanych z modelem.
2. Zmodyfikuj części ciała, aby uwzględnić wszystkie części oka do śledzenia, a następnie zmodyfikuj numframes2pick na liczbę klatek potrzebnych na film szkoleniowy, aby uzyskać łącznie 400 klatek. Na koniec zmień rozmiar kropki na sześć, aby domyślny rozmiar podczas etykietowania był wystarczająco mały, aby można go było dokładnie umieścić wokół krawędzi oka.

5. Wyodrębnij ramki treningowe

1. Po skonfigurowaniu przejdź do karty Wyodrębnij ramki w górnej części graficznego interfejsu użytkownika i wybierz pozycję Wyodrębnij ramki w prawym dolnym rogu strony.
2. Monitoruj postęp za pomocą paska ładowania u dołu graficznego interfejsu użytkownika.

6. Etykietowanie ramek treningowych

1. Przejdź do zakładki Etykiety ramek w graficznym interfejsie użytkownika i wybierz opcję Oznacz ramki. Znajdź nowe okno, w którym wyświetlane są foldery dla każdego z wybranych filmów szkoleniowych. Wybierz pierwszy folder, a otworzy się nowy graficzny interfejs użytkownika etykietowania.
2. Oznacz punkty zdefiniowane podczas konfiguracji dla każdej klatki wybranego wideo. Po oznaczeniu wszystkich klatek zapisz je i powtórz proces dla następnego filmu.
3. Aby odpowiednio oznaczyć zeza, użyj dwóch punktów jak najbliżej największego szczytu oka (środka) i wskaż pozycje góra/dół dla każdego punktu. Przybliżony zez jako średnia z tych dwóch długości.
   UWAGA: Podczas oznaczania DLC nie zapisuje automatycznie postępów. Zaleca się okresowe zapisywanie, aby uniknąć utraty danych oznaczonych etykietami.

7. Tworzenie zestawu danych treningowych

1. Po ręcznym etykietowaniu przejdź do karty Train network (Trenowanie sieci) i wybierz pozycję Train network (Trenowanie sieci), aby wyświetlić monit o rozpoczęcie trenowania modelu.
2. Monitoruj postęp w oknie poleceń.

8. Oceń sieć

1. Po zakończeniu trenowania sieci przejdź do karty Ocena sieci i wybierz pozycję Oceń sieć. Poczekaj chwilę, aż niebieskie kółko ładowania zniknie, wskazując, że zakończył się samoocena i model jest gotowy do użycia.

9. Analizuj dane/generuj filmy oznaczone etykietami

1. Aby przeanalizować filmy wideo, przejdź do karty Analizuj filmy . Wybierz pozycję Dodaj więcej filmów i wybierz filmy wideo do analizy.
2. Wybierz opcję Zapisz wyniki jako plik csv, jeśli dane wyjściowe w formacie csv są wystarczające.
3. Po pobraniu wszystkich filmów wybierz pozycję Analizuj filmy u dołu, aby rozpocząć analizę filmów.
   UWAGA: ten krok należy wykonać przed wygenerowaniem filmów oznaczonych etykietami w kroku 9.5
4. Po przeanalizowaniu filmów przejdź do karty Utwórz filmy i wybierz analizowane filmy.
5. Wybierz opcję Utwórz filmy, a oprogramowanie rozpocznie generowanie filmów wideo oznaczonych etykietami, które reprezentują dane wyświetlane w odpowiednim .csv.

10. Przetwarzanie danych końcowych

1. Zastosuj makra znajdujące się na stronie https://research-git.uiowa.edu/rainbo-hultman/facial-grimace-dlc, aby przekonwertować surowe dane na format używany do tej analizy (tj. odległość euklidesowa).
2. Zaimportuj i zastosuj makra oznaczone etykietami Krok 1 i Krok 2 do pliku CSV, aby odfiltrować wszystkie nieoptymalne punkty danych i przekonwertować dane na uśrednioną odległość euklidesową dla najbardziej środkowych punktów u góry i u dołu oka.
3. Uruchom makro o nazwie Krok 3, aby oznaczyć każdy punkt jako 0 bez zeza i 1 zez na podstawie wartości progowej w skrypcie, która jest ustawiona na 75 pikseli.
   UWAGA: Parametry tych makr mogą wymagać dostosowania w zależności od konfiguracji eksperymentalnej (patrz dyskusja). Próg zeza i automatyczny filtr dla maksymalnej wartości oka to parametry, które mogą się zmieniać w zależności od wielkości zwierzęcia i odległości od kamery. Można również dostosować wartości używane do usuwania nieoptymalnych punktów w zależności od tego, jak selektywnie dane mają być filtrowane.

Wyniki

W niniejszym materiale przedstawiamy metodę niezawodnego wykrywania zeza z wysoką rozdzielczością czasową przy użyciu oprogramowania DeepLabCut. Zoptymalizowaliśmy parametry treningowe oraz przedstawiamy ocenę mocnych i słabych stron tej metody (Rycina 1).

Po przeszkoleniu naszych modeli zweryfikowaliśmy, że są one w stanie prawidłowo oszacować górny i dolny punkt powieki (Rysunek 2), które służą jako punkty współrzędnych dla pomiaru odległości euklidesowej. Odległość euklidesowa jest definiowana jako średnia długość dystansów pomiędzy dwoma górnymi i dolnymi punktami oka. Nasz model był w stanie wykryć przypadki braku zmrużenia oczu (Rysunek 2A) oraz zmrużenia oczu (Rysunek 2B). Niebieskie kropki wskazują punkty wykorzystywane do wyznaczenia odległości euklidesowej dla każdej klatki. Zielone, żółte, pomarańczowe i fioletowe kropki posłużyły do pomocy modelowi w prawidłowym szacowaniu odległości euklidesowej oraz zmniejszenia wartości prawdopodobieństwa w sytuacjach, gdy głowa znajduje się w nieoptymalnej pozycji (t.j. uwzględniając ruchy głowy i zmiany pozycji pomiędzy sesjami). Następnie zweryfikowaliśmy dokładność modelu, stosując szereg różnych metod.

Aby zweryfikować optymalną liczbę klatek wykorzystanych w modelu, przeszkoliliśmy i przetestowaliśmy cztery modele o różnej wielkości próby klatek (Rycina 3). W pierwszej kolejności porównaliśmy wartości średnia błędu kwadratowego (RMSE) dla danych testowych i treningowych, aby ocenić, jak precyzyjnie modele potrafią przewidywać dane testowe, na których nie były trenowane. Porównanie to wykazało, że zmienność między punktami etykietowanymi ręcznie a punktami etykietowanymi przez model ustabilizowała się po 300 klatkach. Trend ten korelował z raportowanymi średnimi wartościami prawdopodobieństwa, które również wydawały się stabilizować po 300 etykietowanych klatkach. Wykorzystaliśmy te wartości prawdopodobieństwa do odfiltrowania punktów, dla których wartość ta była mniejsza niż 0,92. Wartości prawdopodobieństwa wskazują, jak pewny jest model co do prawidłowego etykietowania danego punktu na podstawie danych treningowych. Obliczyliśmy średnie z tych wartości dla punktów wchodzących w skład metryki odległości euklidesowej, aby zbadać względną skuteczność poszczególnych modeli. Choć nie stwierdzono istotnej różnicy między 300 a 400 klatkami, zastosowaliśmy 400 klatek, ponieważ średnia wartość prawdopodobieństwa przekroczyła 0,95, co zbliża się do naszego progu filtrowania ręcznego i jest zgodne z progiem stosowanym w podobnych modelach do estymacji pozy¹⁶.

Kolejnym sposobem walidacji dokładności modelu była macierz pomyłek porównująca klatki opisane ręcznie z klatkami opisanymi przez DLC. Dwie osoby w ślepym teście ręcznie opisały 300 klatek tego samego oka w ośmiu filmach. Wykorzystaliśmy te dane do stworzenia macierzy pomyłek w celu oceny wyników prawdziwie i fałszywie dodatnich oraz ujemnych (Rycina 4), przyjmując dane punktowane ręcznie jako prawdę obiektywną (ground truth). W przypadku DLC wartość dodatnią dla mrużenia oka odnotowano, gdy odległość euklidesowa była mniejsza niż 75 pikseli (tzn. zwierzę mruży oko), natomiast wartość ujemną dla odległości większej niż 75 pikseli (tzn. zwierzę nie mruży oka). Uzyskano wartość predykcyjną dodatnią na poziomie 96,96%, co stanowi procent czasu, w którym model poprawnie przewiduje mrużenie w stosunku do ręcznie opisanego mrużenia. Uzyskano wartość predykcyjną ujemną na poziomie 99,66%, co stanowi procent czasu, w którym model poprawnie przewiduje brak mrużenia w stosunku do ręcznie opisanego mrużenia. Wyniki te pokazują proporcję wartości ujemnych i dodatnich, które zostały poprawnie oznaczone. Odnotowaliśmy również odsetek prawdziwie dodatnich wyników na poziomie 98,1% oraz odsetek prawdziwie ujemnych wyników na poziomie 99,46%, co reprezentuje dokładność przewidywań modelu dla wartości dodatnich i ujemnych w stosunku do wszystkich wartości dodatnich i ujemnych odpowiednio. Współczynnik korelacji Matthewsa (MCC) wyniósł 93,8%, co wskazuje na współczynnik korelacji między wartościami obserwowanymi a przewidywanymi.

Po upewnieniu się, że nasz model niezawodnie śledzi mruganie, porównaliśmy tę metodę DLC z wcześniej opublikowaną metodą śledzenia mrugania, wykorzystując zbiór danych przedklinicznych dotyczących migreny.¹⁴Tę drugą metodę będziemy określać jako „model mrużenia oczu oparty na powierzchni (ASM)”, ponieważ została ona opracowana z wykorzystaniem otwartej powierzchni oka jako zmiennej ciągłej służącej do pomiaru mrużenia.¹⁴Model mrużenia obszarowego wykorzystuje wyszkolone oprogramowanie do detekcji twarzy w połączeniu z niestandardowym skryptem MATLAB w celu analizy średniego obszaru pikseli oka, przy jednoczesnym wykluczeniu klatek z błędem śledzenia na poziomie >15%¹⁴Jednym z głównych ograniczeń jest fakt, że „ASM” nie jest oprogramowaniem o otwartym kodzie źródłowym, a w konsekwencji nie jest powszechnie dostępne. DLC umożliwia większą optymalizację i adaptacyjność bez konieczności ponoszenia znacznych wydatków na oprogramowanie i sprzęt.

Wykorzystaliśmy zestaw danych obejmujący 10 samic i 10 samców myszy CD1. W ramach przygotowań wszystkie zwierzęta były aklimatyzowane w łagodnych unieruchomiaczach przez 30 min dziennie przez łącznie 3 dni przed rozpoczęciem rejestracji. Każde zwierzę poddano 5-minutowej rejestracji bazowej, a następnie 5-minutowej rejestracji po podaniu preparatu. Podczas sesji terapeutycznych zwierzęta otrzymywały dobrzusznie albo PBS (nośnik), albo 0,1 mg/kg CGRP (leczenie), aby wywołać stan przypominający migrenę. Dane zbierano w dobrze oświetlonym pomieszczeniu przy użyciu kamer wyposażonych w światło podczerwone do oświetlenia pyska, co zapewniło dokładną detekcję punktów orientacyjnych. Kamera podczerwona posiadała obiektyw Kowa LM35JC 2/3" 35 mm F1.6 z manualną przysłoną, mocowaniem C-mount, odległością ogniskową 254 mm i odpowiednio dostosowaną aperturą. Po zebraniu danych wykorzystaliśmy ASM oraz DLC do ich analizy. Ponieważ w tej dziedzinie tradycyjnie stosuje się ocenę manualną do kwantyfikacji grymasu twarzy, w której mrużenie oczu jest jednym z komponentów grymasu twarzy¹⁴, porównaliśmy nasze dane z danymi ocenianymi manualnie.

Opierając się na wcześniejszych odkryciach, według których obwodowe wstrzyknięcie CGRP indukuje reakcję mrużenia oczu u myszy, spodziewaliśmy się zaobserwować istotne różnice w tej reakcji pomiędzy grupą kontrolną (vehicle) a grupą leczoną CGRP^6,14. Porównaliśmy metody ASM, manualną oraz DLC i stwierdziliśmy, że nasz model niezawodnie wykrył fenotyp mrużenia oczu, podobnie jak metody manualna i ASM (Rycina 5). Należy zauważyć, że model ASM został wykorzystany do oceny bólu i mrużenia oczu indukowanych przez CGRP. W tamtym badaniu Rea i wsp. porównali reakcję mrużenia oczu po podaniu CGRP z reakcją po wstrzyknięciu formaliny do tylnej łapy, która jest „bardziej tradycyjnym” testem indukcji bólu¹⁴. Ponadto dobrze udokumentowano, że CGRP indukuje nadwrażliwość dotykową u myszy, co wykazano przy użyciu włókien von Frey^3,17. Zgodnie z przyjętymi standardami w tej dziedzinie, znormalizowaliśmy średnie mrużenie podczas sesji zabiegowej względem 5-minutowej linii bazowej przed zabiegiem dla każdego zwierzęcia i porównaliśmy zwierzęta traktowane PBS (n = 10) z tymi traktowanymi CGRP (n = 11). Analizy statystyczne grup PBS i CGRP przedstawiają się następująco. Stwierdziliśmy, że zwierzęta traktowane CGRP wykazały zmniejszoną średnią powierzchnię pikseli przy zastosowaniu metody śledzenia obszaru mrużenia (p = 0,012, Rycina 5A) oraz zmniejszoną odległość euklidesową podczas oceny manualnej (p = 0,0007, Rycina 5B) i przy użyciu naszego modelu DLC (p = 0,007, Rycina 5C). Po porównaniu każdej metody w czasie u pojedynczego reprezentatywnego zwierzęcia zaobserwowano ten sam wzorzec (Rycina 5). Zwierzę to wykazało bardzo wyraźny fenotyp mrużenia oczu w odpowiedzi na podanie CGRP, ale nie w odpowiedzi na PBS. Wszystkie modele były w stanie wykryć te różnice, jednak dane zostały najpełniej przedstawione w naszym modelu DLC (Rycina 5). Precyzyjne i dokładne metryki są szczególnie istotne, gdy dane muszą być analizowane w wyższych rozdzielczościach, w których uśrednianie nie odzwierciedla pełnego odczytu behawioralnego (np. aktywności mózgu). Metoda DLC wykrywania mrużenia oczu u myszy pozwala nam na gromadzenie danych w skali milisekundowej i synchronizację czasową z pomiarami aktywności mózgu (np. lokalnymi potencjałami polowymi), które również zachodzą w skali milisekundowej. Możemy następnie wykorzystać tę technikę do zbudowania bardziej solidnego profilu stanu mózgu wskazującego na ból spontaniczny w kontekście migreny i innych złożonych zaburzeń mózgowych.

Rycina 1: Przegląd procedury generowania wytrenowanej sieci za pomocą DLC. Ogólny schemat procesu, w którym cechy oka zwierzęcia są śledzone, a następnie analizowane przy użyciu uczenia maszynowego. Skrót: DLC = DeepLabCut. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Rysunek 2: Przykład zautomatyzowanego śledzenia mrugania u reprezentatywnej myszy CD1. (A) Przykład klatki pokazującej śledzenie mrugania przez DLC (kolorowe kropki) na obrysie oka w dniu zabiegu, gdy mysz nie mruga. (B) Przykład klatki pokazującej zautomatyzowaną detekcję mrugania w dniu zabiegu przy użyciu naszego modelu DLC. Odległość euklidesowa była mierzona jako średnia odległość między punktami B i C, niebieskimi kropkami, na górnej i dolnej krawędzi oka. Niebieskie zestawy kropek na górze i na dole oka są wykorzystywane do śledzenia odległości euklidesowej. Pozostałe punkty (zielone, żółte, pomarańczowe, fioletowe) to punkty orientacyjne ramy, które pomagają modelowi oszacować punkty odległości euklidesowej oraz odfiltrować nieoptymalne ustawienie głowy po zebraniu danych. Skrót: DLC = DeepLabCut. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Rycina 3: Uzasadnienie liczby klatek wykorzystanych do trenowania modelu. (A) Analiza pierwiastka błędu średniokwadratowego (RMSE) wskazuje średnią odległość między wartościami przewidzianymi a obserwowanymi dla zbiorów danych testowych i treningowych. Zbiór danych treningowych reprezentuje klatki pobrane podczas trenowania modelu, a zbiór danych testowych reprezentuje klatki nietreningowe wykorzystane do walidacji tego, jak dobrze model potrafi zidentyfikować podobne, lecz inne obrazy. Wykorzystano pięć zestawów danych treningowych i testowych i stwierdzono, że wartości RMSE ustabilizowały się w okolicach 300 klatek dla grupy testowej. (B) Prawdopodobieństwo (wiarygodność), że dany punkt został poprawnie oznakowany (średnia + SEM). Wykazało to, że 400 ręcznie oznakowanych klatek było optymalną liczbą, ponieważ surowe zbiory danych osiągały średnią wiarygodność powyżej 0,95, mając jednocześnie wynik RMSE najbliższy wynikowi danych treningowych. Oznaczało to, że model był w stanie ściśle przybliżyć punkty, na których był trenowany, raportując jednocześnie większość klatek z wysoką wiarygodnością. Skrót: RMSE = pierwiastek błędu średniokwadratowego. Aby wyświetlić powiększoną wersję tej ryciny, kliknij tutaj.

Rycina 4: Macierz pomyłek dla pomiarów mrużenia oczu za pomocą DLC. Pobrano próbki z 300 s z ośmiu filmów (pięć CGRP i trzy PBS), a następnie porównano te punkty z ręcznie przypisaną binarną oceną tak lub nie dla mrużenia oczu. Wartości przewidywane zdefiniowano jako te zidentyfikowane przez DLC, a wartości rzeczywiste jako te ocenione ręcznie przez człowieka. Następnie porównano te wyniki z danymi ocenianymi ręcznie, aby sprawdzić, jak często mrużenie oczu było prawidłowo identyfikowane w odniesieniu do ręcznej binarnej oceny tak lub nie. Skróty: DLC = DeepLabCut; CGRP = peptyd związany z genem kalcytoniny; PBS = soli fizjologicznej w buforze fosforanowym; TP = prawdziwie dodatnie; FP = fałszywie dodatnie; FN = fałszywie ujemne; TN = prawdziwie ujemne; PPV = dodatnia wartość predykcyjna; NPV = ujemna wartość predykcyjna; TPR = odsetek prawdziwie dodatnich; TNR = odsetek prawdziwie ujemnych; MCC = współczynnik korelacji Matthewsa. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rycina 5: Fenotyp zmrużenia oczu w trzech różnych modelach wykrywania zmrużenia.Dwie górne rzędy przedstawiają to samo reprezentatywne zwierzę dla każdego stanu (PBS lub CGRP) w trzech różnych modelach wykrywania zmrużenia. Dolny rząd odzwierciedla średnie dla wszystkich zwierząt. (A) Odnotowano spadek średniego pola pikseli (średnie całkowite pole pikseli/baseline) u myszy traktowanych CGRP w porównaniu z myszami traktowanymi PBS (t(18) = 2.805, p = 0.012) po przetworzeniu wszystkich danych przy użyciu wcześniej opublikowanego i zwalidowanego modelu pola zmrużenia¹⁴. (B) Podobną odpowiedź zaobserwowano w danych ocenianych ręcznie (t(18) = 4.064, p = 0.0007). (C) Myszy traktowane CGRP wykazały mniejszą średnią odległość między powiekami (odległość euklidesowa po traktowaniu/odległość euklidesowa przed traktowaniem, baseline) niż myszy traktowane PBS (t(18) = 3.040, p = 0.007) przy zastosowaniu DLC do przetworzenia wszystkich danych. N = 20 (10 samic, 10 samców). Słupki błędów wskazują średnią ± SEM. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Dyskusja

Protokół ten zapewnia łatwo dostępną, dogłębną metodę korzystania z narzędzi opartych na uczeniu maszynowym, które mogą rozróżniać zeza z dokładnością zbliżoną do ludzkiej, zachowując tę samą (lub lepszą) rozdzielczość czasową poprzednich podejść. Przede wszystkim sprawia, że ocena automatycznego zeza jest łatwiej dostępna dla szerszego grona odbiorców. Nasza nowa metoda oceny automatycznego zeza ma kilka ulepszeń w porównaniu z poprzednimi modelami. Po pierwsze, zapewnia bardziej solidną metrykę niż ASM, wykorzystując mniej punktów, które faktycznie przyczyniają się do kwantyfikacji zeza. Zmniejsza to prawdopodobieństwo wyników fałszywie dodatnich i ujemnych, ponieważ analiza opiera się na mniejszej liczbie punktów podczas generowania wartości oznaczających zeza. Innymi słowy, model DLC sprawia, że każdy punkt wokół oka jest niezbędny, ale niewystarczający do uwzględnienia punktu czasowego. Dzięki temu możemy filtrować nieoptymalne dane przy użyciu tej samej liczby punktów co ASM bez konieczności polegania na większej zmienności wynikającej z polegania na tak wielu punktach składowych. Dodatkowo ograniczyliśmy potencjalny błąd ludzki, projektując modele, które nie polegają całkowicie na dokładności przeszkolonych osób.

Podczas przetwarzania danych stwierdziliśmy, że nasza metoda dokładnie filtrowała punkty nieoptymalne i punkty odstające, które były większe niż było to możliwe, biorąc pod uwagę maksymalny rozmiar oka myszy (sekcja 10 protokołu). Wykorzystaliśmy makra, które sprawdzały, czy każdy z 10 punktów otaczających oko z osobna miały wartość prawdopodobieństwa większą niż 0,92 i filtrowaliśmy je poniżej tej wartości. W przyszłości można to dostosować tak, aby przetwarzane dane były mniej lub bardziej selektywne. Makra przefiltrowały również wszelkie wartości odległości euklidesowej większe niż 200 pikseli, ponieważ odkryliśmy, że największa możliwa odległość między górną a dolną częścią oka wynosiła 150 pikseli. Może to wymagać zmiany w zależności od konfiguracji eksperymentalnej. Jeśli kamera nie znajduje się w tej samej odległości od oka, maksymalna wartość może być znacznie większa lub mniejsza. Siłą tych makr jest to, że pozwoliły nam wyodrębnić pomiary między górną i dolną częścią oka w sposób, który był zależny od modelu zgłaszającego większe prawdopodobieństwo dla wszystkich punktów składowych otaczających oko.

Zarówno DLC, jak i ASM są ograniczone, ponieważ polegają na tym, że mysz znajduje się w stałej pozycji w określonej odległości od kamery, aby umożliwić spójne skalowanie powiększenia między warunkami wyjściowymi a warunkami leczenia. W związku z tym ruch samego zwierzęcia, nieprawidłowe ułożenie w aparacie lub zmiana procedury eksperymentalnej zagroziłyby zdolności modelu do wykrycia całkowitej powierzchni oka. Nasz model nieco poprawia te ograniczenia, wykorzystując odległość euklidesową, czyli odległość w górę i w dół długości oka, co pozwala na lepsze śledzenie pomimo różnic w kątach kamery, ruchu zwierzęcia i zmienności eksperymentalnej w różnych sesjach bez konieczności dodatkowej ponownej kalibracji. Zdajemy sobie jednak sprawę, że poprawa normalizacji w celu uwzględnienia ruchów głowy może skutkować jeszcze lepszym śledzeniem zeza u poruszających się zwierząt.

Innym ograniczeniem naszej metody jest to, że odfiltrowała ona punkty, w których odległość euklidesowa zbliżała się do zera, co oznaczało zamknięcie oka. Pomimo filtrowania tych istotnych czynników przyczyniających się do zeza, nadal byliśmy w stanie wykryć reakcję zeza wywołaną przez CGRP bardziej solidnie niż poprzednie metody (p = 0,007). Usunięcie tego składnika zeza staje się szczególnie ograniczające, gdy próbujesz porównać go z dodatkowymi punktami zainteresowania, takimi jak aktywność mózgu. Uważamy, że znalezienie znaczenia podczas usuwania tych punktów pokazuje solidność tej metody, ale przyznajemy, że usunięcie tych składników zeza nie jest idealne. Przyszłe badania wykorzystujące tę metodę powinny obejmować większą liczbę ramek odstających, aby lepiej trenować modele w rozpoznawaniu zeza, gdy zbliża się do zera. Ogólnie rzecz biorąc, opracowanie metody niezawodnego śledzenia automatycznego zeza może umożliwić badania mające na celu powiązanie ważnych cech naturalnie występującego zachowania ze stanem mózgu, co pozwoli na solidne badanie profili aktywności mózgu, np. w kontekście migreny.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Zestaw narzędzi CUDA 11.8
cuDNN SDK 8.6.0
Komputery Intel z systemem Windows 11, 13. generacji
Dodatkowy moduł LabFaceX 2D Eyelid Tracker do myszy swobodnie wędrującej:	FaceX LLC	NA	Każda kamera, która może nagrywać oko zwierzęcia, jest wystarczająca, ale to jest nasz sprzęt do śledzenia oczu.
Sterownik karty graficznej NVIDIA w wersji 450.80.02 lub nowszej
NVIDIA RTX A5500, 24 GB DDR6	NVIDIA[	490-BHXV]	Wystarczy dowolny procesor graficzny, który spełnia minimalne wymagania określone dla Twojej wersji DLC, obecnie 8 GB. Użyliśmy karty graficznej NVIDIA GeForce RTX 3080 Ti
Python 3.9-3.11
TensorFlow w wersji 2.10