Name: SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu (Wideo) | JoVE Journal
Uploaded: 2017-12-25T14:00:00.000+00:00
Duration: 8 min 13 s
Description: Poznaj metodę śledzenia ruchów czułków i trąbki pszczół w czasie rzeczywistym za pomocą otwartego oprogramowania SwarmSight i zwykłej kamery internetowej. Technika umożliwia szybką analizę behawioralną bez specjalistycznego sprzętu.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

JB, SMC i RCG były obsługiwane przez NIH R01MH1006674 do SMC i NIH R01EB021711 do RCG. CMJ i BHS były wspierane przez projekt laboratoryjny NSF Ideas dotyczący "Łamania kodu węchowego" dla BHS. Dziękujemy Kyle'owi Steinmetzowi, Taryn Oboyle i Rachael Halby za ich pomoc w przeprowadzeniu tych badań.

1. Łapanie i wykorzystywanie pszczół miodnych
<ol>
	<li>Postępuj zgodnie z krokami protokołu od 1 do 3.1.1 Smith and Burden59.</li>
</ol>
2. Przygotowanie uprzęży dla zwierząt i kamery wideo
<ol>
	<li>Ukryj nogi, nakładając taśmę na górną część rurki uprzęży, sprawdzając wzrokowo, czy nogi nie są widoczne poruszające się od góry.</li>
	<li>Unieruchomić głowę, nakładając podgrzany wosk na tył głowy owada. Sprawdź wzrokowo, czy głowa jest nieruchoma i nie porusza się. W tym momencie czułki i żuchwy powinny być jedynymi wyrostkami, które mogą się swobodnie poruszać.</li>
	<li>Zmaksymalizuj kontrast między antenami a tłem wideo, umieszczając białą kartkę papieru pod uprzężą przeciw owadom. Aby zminimalizować konieczność późniejszej regulacji kamery, zaznacz położenie uprzęży przeciw owadom na papierze, a następnie umieść nowe osobniki w tym samym miejscu.</li>
	<li>Ustal pozycję kamery za pomocą statywu lub uchwytu na kamerę internetową, aby umieścić kamerę nad głową owada. Korzystając z oprogramowania kamery, wyświetl podgląd wideo i powiększ, aby powiększyć obraz głowy, co pozwala na uzyskanie ~20 - 30% prześwitu ze wszystkich stron wideo.
	<ol>
		<li>Upewnij się, że jedynymi poruszającymi się obiektami w widoku kamery są czułki lub trąbka/żuchwy i w razie potrzeby zmień położenie kamery lub zwierzęcia. 
		UWAGA: SwarmSight sprawdza ruch w pikselach otaczających głowę. Obcy ruch w bezpośrednim sąsiedztwie głowy spowodowany przez przedmioty, takie jak nogi, cienie, wentylatory lub ludzie, może zmylić oprogramowanie i wprowadzić dodatkowy hałas.</li>
	</ol>
	</li>
	<li>Zminimalizuj cienie anteny, dostosowując oświetlenie otoczenia. 
	UWAGA: Oprogramowanie toleruje niektóre cienie, ale aby uzyskać najlepsze wyniki, należy je ograniczyć do minimum.</li>
	<li>Zapobiegaj automatycznej regulacji ekspozycji aparatu, korzystając z oprogramowania do czasu otwarcia migawki aparatu, aby utrzymać stały czas ekspozycji aparatu przez cały czas trwania filmu. Korzystając z oprogramowania, dostosuj czas otwarcia migawki, aby zmaksymalizować kontrast (scena wideo nie jest zbyt jasna ani zbyt ciemna), dostosowując "Suwak ekspozycji" w sekcji "Ustawienia kamery internetowej" 
	UWAGA: Powyższe instrukcje dotyczą używanej kamery internetowej i oprogramowania. Będą one musiały zostać dostosowane, jeśli używane są inne kamery internetowe.</li>
	<li>Umieść źródło dostarczania zapachów i upewnij się, że nie zasłania ono kamery view, sprawdzając obraz wideo z kamery. Upewnij się, że źródło podciśnienia jest umieszczone po przeciwnej stronie, aby usunąć zapachy bodźców.</li>
	<li>Umieść diodę LED lub inny wskaźnik wizualny, który zmienia jasność, aby wskazać dostarczanie zapachu, w view kamery. 
	UWAGA: Wartość jasności diody LED jest zapisywana przez oprogramowanie i może być wykorzystana do określenia dokładnych ramek, kiedy zaczyna się i kończy dostarczanie zapachu.</li>
</ol>
3. Filmuj każdą osobę w warunkach eksperymentalnych
<ol>
	<li>Sfilmuj każdego pojedynczego owada i stan testowy w oddzielnych plikach wideo, nagrywając każdą pojedynczą kombinację testową osobno lub używając oprogramowania do edycji wideo, aby podzielić długi plik wideo na mniejsze pliki. 
	UWAGA: Oprogramowanie wymaga od użytkownika zlokalizowania pozycji głowy w każdym filmie i aby głowa pozostała nieruchoma. Jeśli głowa się poruszy, zostanie wprowadzony dodatkowy hałas. Funkcja przetwarzania wsadowego w SwarmSight pozwala użytkownikowi szybko ustawić lokalizację głowy dla wielu filmów i zakłada, że głowa owada pozostaje niezmienna przez czas trwania każdego pliku wideo. Instrukcje dotyczące dzielenia długich plików wideo można znaleźć w Internecie60.</li>
</ol>
4. Analiza wideo
<ol>
	<li>Pobierz i zainstaluj moduł 'Antenna Tracking', postępując zgodnie z instrukcjami podanymi online58. 
	UWAGA: Filmy instruktażowe opisujące sposób korzystania z oprogramowania są również dostępne na stronie internetowej.</li>
	<li>Otwórz plik wideo przedstawiający sfilmowane zwierzę za pomocą przycisku "Przeglądaj".</li>
	<li>Umiejscowienie czujnika antenowego i czujnika zabiegowego
	<ol>
		<li>Po załadowaniu filmu umieść prostokątny widżet "Czujnik anteny" nad głową zwierzęcia, używając ikon obrotu i skali, aby wyrównać widżet z głową (zobacz Rysunek 1D na przykład).</li>
		<li>Umieść okrągły widżet "Czujnik leczenia" nad diodą LED, która wskazuje, kiedy prezentowany jest zapach lub bodziec. 
		UWAGA: Czujnik leczenia będzie rejestrował wartość jasności piksela w środku widżetu dla każdej klatki.</li>
	</ol>
	</li>
	<li>Rozpoczynanie przetwarzania wideo
	<ol>
		<li>Naciśnij przycisk "Odtwórz" (trójkąt) w lewym dolnym rogu, aby rozpocząć analizę klatek. 
		UWAGA: Wykryte prawdopodobne punkty anteny i trąby zostaną podświetlone na żółto. Żółte pierścienie pokażą położenie końcówek przydatków. Kąty (gdzie 0 znajduje się bezpośrednio przed zwierzęciem) anteny i długość przedłużenia trąbki zostaną pokazane w widżecie "Model" w lewym dolnym rogu (patrz <silna klasa="xfig">Rysunek 1D). Widżet "Dominujące sektory" w prawym dolnym rogu pokaże względną intensywność pięciu sektorów 36 stopni, w których wykryto najwięcej punktów antenowych. Najciemniejsze sektory zawierają najwięcej punktów, podczas gdy najjaśniejsze mają ich najmniej. Numer sektora (1 - 5) z największą liczbą punktów zostanie pokazany w dolnych rogach widżetu (patrz <silna klasa="xfig">Rysunek 1D).</li>
	</ol>
	</li>
	<li>Dostosowywanie progów filtrów i dodawanie stref wykluczenia
	<ol>
		<li>Aby zmienić czułość filtrów, dostosuj suwaki w sekcji "Filtry" na prawym panelu. 
		UWAGA: W zależności od warunków oświetleniowych i ogólnej prędkości ruchu przydatków, optymalna będzie różna czułość filtra. Użytkownik może znaleźć optymalne wartości, dostosowując wartości i obserwując podświetlone obszary w widżecie Czujnik anteny. Gdy zostanie znaleziony idealny zestaw czułości, podświetlone zostaną tylko przydatki. Zaleca się szybkie przewijanie do innych części filmu, aby upewnić się, że czułość filtra jest optymalna również tam.</li>
		<li>Opcjonalnie, aby zignorować obce obiekty, na prawym panelu rozwiń sekcję "Czujnik anteny", kliknij przycisk "Dodaj strefę wykluczenia" (patrz <silna klasa="xfig">Rysunek 1D), a następnie kliknij zestaw punktów, aby utworzyć czerwony wielokąt, którego zawartość zostanie zignorowana przez oprogramowanie. 
		UWAGA: Jeśli film zawiera ruch zewnętrzny, a ruch znajduje się w strefie widżetu czujnika anteny (np. poruszające się nogi, silne cienie, sprzęt laboratoryjny itp.), oprogramowanie może pomylić go z ruchem wyrostka roboczy. Obce obiekty można zignorować, rysując czerwone wielokąty lub "Strefy wykluczenia". Wszystko, co znajduje się w czerwonym wielokącie, nie będzie używane do śledzenia.</li>
	</ol>
	</li>
	<li>Zapisywanie wyników
	<ol>
		<li>Po skonfigurowaniu filtrów i widżetów zatrzymaj wideo, uruchom je ponownie od początku i odtwórz do końca. 
		UWAGA: Po odtworzeniu całego filmu pozycje przydatków dla wszystkich klatek wideo zostaną zapisane w pamięci.</li>
		<li>Aby zapisać dane o pozycji dołączki do pliku, rozwiń sekcję "Zapisz" po prawej stronie i kliknij przycisk "Zapisz w . CSV". Następnie wybierz folder, w którym chcesz zapisać plik. 
		UWAGA: Opcja "Zapisz w . CSV" zapisze wyniki przetwarzania do pliku .csv. Domyślnie użytkownik otrzyma propozycję zapisania pliku .csv w tym samym folderze co plik wideo, a w nazwie pliku będzie miała datę i godzinę. Wynikowy plik .csv będzie zawierał zestaw kolumn, które zawierają informacje o położeniu przydatków, w tym kąty anteny i dominujące sektory, a także orientację i położenie głowy. Opis każdej kolumny jest dostępny online61.</li>
		<li>Opcjonalnie użyj pól Kolumny i Wartości w sekcji Zapisz, aby utworzyć dodatkową kolumnę (lub więcej, jeśli są oddzielone przecinkami) w pliku .csv w celu zarejestrowania informacji, takich jak identyfikator podmiotu lub nazwa warunku eksperymentalnego. 
		UWAGA: Wartość w polu Kolumny pojawi się w nagłówku pierwszej kolumny, a wartość w polu Wartości zostanie powtórzona we wszystkich wierszach pierwszej kolumny.</li>
	</ol>
	</li>
	<li>Przetwarzanie wsadowe 
	UWAGA: Oprogramowanie może przetwarzać wiele plików wideo w partii. Jednak przed rozpoczęciem wsadu użytkownik musi podać informacje o lokalizacji głównej dla każdego filmu.
	<ol>
		<li>W prawym panelu, w sekcji "Pliki wideo", kliknij przycisk "Przetwarzanie wsadowe", aby otworzyć okno, które umożliwia utworzenie listy plików wideo do sekwencyjnego przetwarzania przez oprogramowanie.</li>
		<li>Użyj przycisku "Dodaj więcej plików wideo do wsadu", aby wybrać jeden lub więcej plików wideo, które mają zostać uwzględnione na liście wsadowej.</li>
		<li>Opcjonalnie użyj "CTRL" lub "SHIFT", aby wybrać wiele filmów, które będą używać tego samego zestawu parametrów widżetu. 
		UWAGA: Dobrymi kandydatami do ponownego użycia parametrów są zestawy filmów przedstawiających to samo zwierzę, które nie zostało przeniesione między różnymi warunkami doświadczalnymi.</li>
		<li>Rozpocznij ustawianie parametrów widżetu, które mają być używane dla wybranych filmów, klikając przycisk "Ustaw pozycje czujników dla wybranych".</li>
		<li>Dostosuj parametry w sekcjach Czujnik anteny, Czujnik leczenia, Filtry lub Zapisz, a po zakończeniu kliknij "Zapisz parametry w partii".</li>
		<li>Po wybraniu parametrów dla każdego filmu rozpocznij proces wsadowy, klikając przycisk "Rozpocznij przetwarzanie". 
		UWAGA: Oprogramowanie załaduje pliki wideo w kolejności, w jakiej pojawiają się na liście wsadowej, przetworzy je i zapisze odpowiadające im pliki .csv w tym samym folderze, w którym znajdują się pliki wideo. Pasek postępu u góry pokazuje szacowany czas ukończenia po ukończeniu pierwszego filmu.</li>
	</ol>
	</li>
</ol>

Autorzy oświadczają, że nie mają konkurencyjnych interesów finansowych.

Przedstawiona tutaj metoda umożliwia śledzenie w czasie rzeczywistym ruchów anteny i trąbki owadów bez konieczności specjalnego przygotowania zwierząt lub sprzętu.
Ograniczenia:
Pomimo tych zalet istnieją pewne ograniczenia tej metody. Obejmują one wymóg, aby głowa zwierzęcia nie mogła się poruszać, konieczność wyboru przez użytkownika lokalizacji i orientacji zwierzęcia dla każdego filmu, wymóg dostępu do komputera z systemem Windows oraz brak możliwości śledzenia ruchu przez oprogramowanie w trzech wymiarach (3D) i w niektórych wizualnie niejednoznacznych pozycjach przydatków opisanych poniżej.
Oprogramowanie wymaga, aby głowa zwierzęcia była zamocowana na miejscu i nie poruszała się podczas wideo. Jest to podobne do przygotowań poprzedniej pracy 48,49,50,51. Możliwe jest zmodyfikowanie oprogramowania w taki sposób, aby umożliwiało automatyczne wykrywanie obrotów głowicy, jednak pochłonęłoby to dodatkowy czas przetwarzania i wprowadziło nowe źródło błędów. Gdyby zmodyfikowane oprogramowanie wykryło nieprawidłowy obrót głowicy, wpłynęłoby to na kąty anten, ponieważ ich obliczenia są względne w stosunku do kąta obrotu głowicy. Obecnie użytkownik wybiera orientację głowy raz na film. Takie podejście, choć nie jest pozbawione błędów ludzkich, minimalizuje błędy w obliczeniach kąta, gdy głowa nie może się poruszać podczas wideo.
Oprogramowanie wymaga również systemu operacyjnego Windows 7 (lub nowszego). Celem było uczynienie oprogramowania łatwym w instalacji, konfiguracji i obsłudze przez użytkowników bez konieczności programowania lub zaawansowanych umiejętności administrowania komputerem. Zdecydowaliśmy się skupić na systemie Windows, ponieważ jest on powszechnie dostępny, a w przypadkach, gdy dostęp do niego jest ograniczony, można łatwo utworzyć maszyny wirtualne (np. VirtualBox, VMware, Parallels) z systemem Windows. Ten wybór systemu operacyjnego znacznie upraszcza instalację oprogramowania dzięki użyciu łatwego w użyciu instalatora bez wiersza poleceń i pozwala uniknąć błędów specyficznych dla różnych systemów operacyjnych.
Oprogramowanie śledzi tylko położenie przydatków w przestrzeni 2D. Wiadomo, że owady poruszają swoją anteną w 3D, co może oznaczać, że ważne informacje są tracone, gdy mierzone są tylko współrzędne 2D. Podczas gdy użycie wielu kamer lub luster może pomóc w zebraniu dodatkowych informacji wymaganych do lokalizacji 3D, możliwe jest obliczenie, za pomocą relacji trygonometrycznych, szacowanego położenia poza płaszczyzną, zakładając, że anteny są pojedynczymi odcinkami linii o stałej długości i poruszają się tylko po jednej stronie płaszczyzny kamery. W przypadku pszczół miodnych założenie to jest prawdziwe w przypadku uzyskania przybliżonych szacunków pozycji w 3D, ale niekoniecznie w przypadku innych gatunków i sytuacji.
Oprogramowanie nie wykryje poprawnie lokalizacji anten i końcówek trąbek w niektórych niejednoznacznych sytuacjach. Jeśli zwierzę przesunie antenę w taki sposób, że na filmie nachodzi ona na przedłużoną trąbkę, oprogramowanie prawdopodobnie wykryje końcówkę anteny jako końcówkę trąbki. Jednak kąt anteny będzie prawdopodobnie nadal prawdopodobnie obliczony poprawnie (z części nienakładającej się). Podobnie, jeśli końcówki anteny poruszają się bezpośrednio nad głową zwierzęcia (tj . nie po bokach), oprogramowanie może wykryć tylko tę część anteny, która jest widoczna na zewnątrz głowy, lub przyjąć poprzednie położenie anteny, lub wykryć fałszywy szum wideo jako lokalizację anteny. W obu sytuacjach nawet ludzie oceniający mają trudności z odróżnieniem anteny od trąbki lub głowy. Aby złagodzić ten problem, zalecamy zastosowanie 3-ramkowego, symetrycznego filtra kroczącej mediany57 do surowych współrzędnych X i Y utworzonych przez oprogramowanie. Filtr ten usuwa duże przejściowe (jednoramkowe) wahania położenia i zachowuje dłuższe ruchy pozycji anteny. Odkryliśmy, że filtr z 3 klatkami działał lepiej niż brak filtra, podczas gdy szersze filtry (np. 5, 11 lub 15 klatek) zmniejszały dokładność. Przykładowy kod języka R, który korzysta z filtru, oraz samouczek wideo można znaleźć w Internecie58.
Wartość jako narzędzie naukowe:
Dostępność metody pozwalającej na szybkie uzyskanie dokładnych ruchów przydatków owadów w opłacalny sposób może potencjalnie otworzyć nowe obszary badań.
Odruch wydłużania trąbki (PER) jest powszechnie stosowaną reakcją behawioralną do badania uczenia się i pamięci różnych owadów59. Poprzednie badania generalnie opierały się na binarnej rozszerzonej lub nierozszerzonej mierze PER, chociaż analizy wideo i elektromiograficzne wykazały znacznie bardziej złożone topologie ruchów trąbek65,66. Opracowana w tym celu metoda pozwala na szybką kwantyfikację ruchów trąbek w wysokich rozdzielczościach czasowych i przestrzennych.
Ruchy anten owadów w odpowiedzi na zapachy są słabo poznane. Jedną z przyczyn takiego stanu rzeczy jest to, że anteny mają tendencję do poruszania się tak szybko, że nie jest dostępny opłacalny, zautomatyzowany sposób uzyskiwania danych o ruchu anteny. Przedstawiona tutaj metoda może być wykorzystana do szybkiego uzyskania danych o ruchu anteny dla dużej liczby owadów w wielu warunkach. Może to pomóc na przykład naukowcom badającym mapowanie ruchów anteny w odpowiedzi na różne bodźce, w szczególności lotne zapachy. Korzystając z kamer, które rejestrują klatki z częstotliwością 30 Hz, oprogramowanie może być używane do charakteryzowania dynamiki ruchu anteny do 15 Hz (limit Nyquista). Jeśli potrzebna jest charakteryzacja w wyższych częstotliwościach, można zastosować kamery o wyższych szybkościach przechwytywania (np . 60 lub 120 kl./s). Jednak do przetwarzania filmów z większą liczbą klatek na sekundę w czasie rzeczywistym może być wymagany szybszy komputer. Spekulujemy, że klasy zapachów, a być może nawet niektóre pojedyncze zapachy, mają charakterystyczne wrodzone ruchy czułków. Gdyby te klasy lub związki mogły zostać odkryte, nieznane zapachy lub ich klasa mogłyby zostać wykryte na podstawie ruchu czułków niewyszkolonych owadów. Jeśli takie mapowanie istnieje, to połączenie wystarczającej ilości danych o ruchu anteny i najnowocześniejszych algorytmów uczenia maszynowego powinno zacząć je odkrywać. Również to, w jaki sposób to mapowanie zmienia się w odpowiedzi na uczenie się, kształtuje się podczas rozwoju lub jest zakłócane przez interwencje genetyczne, może dać wgląd w funkcje układu węchowego. Wreszcie, prace te mogą dostarczyć informacji na temat sztucznego wykrywania zapachów, jeśli ujawnią optymalne metody próbkowania zapachów w złożonych środowiskach.
Przyszłe prace:
Pokazaliśmy tutaj, że dane o ruchu anteny można szybko uzyskać i przeanalizować: na podstawie danych generowanych przez nasze oprogramowanie można wykryć znaczące reakcje behawioralne i zidentyfikowano kilka obszarów wymagających dalszych badań.
Przebiegi czasowe odchyleń kąta anteny wywołanej bodźcem od linii bazowej i powrotu do niej oraz wszelkie efekty odbicia bodziec-wniosek i jego zależność od stężenia zapachu mogą być badane i modelowane matematycznie. Dodatkowo, wszelkie zmiany ruchów anteny wywołane przez warunkowanie apetytywne lub awersyjne mogą być również oceniane za pomocą oprogramowania.
Można również zbadać lepsze różnicowanie zapachów. W tym badaniu oba zapachy, w wersji czystej i 35-krotnie rozcieńczonej, wywołały podobne reakcje: średnio czułki wydawały się szybko oddalać od źródła zapachu i po kilku sekundach wracać do linii wyjściowych sprzed zapachu. Spekulujemy, że nawet rozcieńczone wersje mogły być bardzo silnymi bodźcami węchowymi dla pszczół miodnych. Jeśli to prawda, szerszy zakres stężeń może być użyty do określenia, czy reakcje czułkowe różnicują zapachy. Ponadto bardziej wyrafinowana analiza może lepiej ujawnić różnice w ruchach anten w odpowiedzi na różne zapachy. Pliki danych użyte do wygenerowania rycin w tym manuskrypcie udostępniliśmy zainteresowanym badaczom na stronie internetowej SwarmSight67.
Co więcej, choć nie wchodzi to w zakres tego manuskryptu, oprogramowanie może zostać rozszerzone o przetwarzanie filmów przedstawiających zwierzęta umieszczone w komorach z podwójnymi lustrami ustawionymi pod kątem 45° (patrz na przykład rysunek 1D ). Można to wykorzystać do dokładnego lokalizowania i śledzenia przydatków i ich ruchu w przestrzeni 3D. Jednak algorytmy śledzenia 3D byłyby wymagane, aby skutecznie: (a) ujednoznaczniać między wieloma antenami, gdy są one widoczne w jednym z lusterek bocznych, (b) korygować niedoskonałości kątów zwierciadła oraz (c) uwzględniać zniekształcenia spowodowane ustawieniem kamery.
Wreszcie, dodatkowe korzyści w dokładności położenia można osiągnąć dzięki zastosowaniu filtra Kalmana68, który modeluje i wykorzystuje informacje o stanie fizycznym, takie jak prędkość wyrostka i przyspieszenie, do ograniczenia przewidywanych lokalizacji. Jednak wszelkie wzrosty dokładności powinny być oceniane pod kątem wszelkich spadków prędkości spowodowanych dodatkowymi obliczeniami.
Konkluzja:
Wiele owadów używa anten do aktywnego pobierania próbek lotnych związków w swoim lokalnym środowisku. Wzorce w ruchach czułków mogą dostarczyć informacji na temat percepcji zapachu owadów i tego, jak wpływa na niego kondycjonowanie, związki toksyczne i zmiany genetyczne. Podobnie ruchy trąbek wykorzystano do oceny percepcji zapachu i jego modulacji. Jednak szybkie uzyskanie dużych ilości danych o ruchu przydatków w wysokiej rozdzielczości było trudne. Tutaj opisany jest protokół i oprogramowanie, które automatyzuje takie zadanie. Podsumowując, stworzyliśmy i pokazaliśmy, w jaki sposób połączenie niedrogiego sprzętu, zwykłego preparatu dla zwierząt i oprogramowania typu open source można wykorzystać do szybkiego uzyskania danych o ruchu wyrostka owadów o wysokiej rozdzielczości. Pokazano wyniki oprogramowania, w jaki sposób przewyższa ono oceniających pod względem szybkości i dokładności oraz w jaki sposób można analizować i wizualizować jego dane wyjściowe.

Większość stawonogów porusza czułkami lub innymi wyrostkami, aby próbkować sygnały i bodźce środowiskowe w czasie i przestrzeni. Zwierzęta te mogą wykorzystywać czułki do nawigacji w środowisku poprzez wykrywanie bodźców sensorycznych, takich jak lotne substancje chemiczne oraz bodźce smakowe i mechaniczne1,2,3,4. U owadów czułki zawierają receptory sensoryczne, które wiążą lotne substancje chemiczne4,5,6 i przekazują ten sygnał za pośrednictwem węchowych neuronów sensorycznych do ośrodkowych obszarów mózgu1,7,8,9. Owady mogą korygować położenie czułków, aby modulować informacje o docierających zapachach4,10,11. Modulacja ta ułatwia aktywne, oparte na informacjach reakcje behawioralne na zapachy i ich pióropusze12,13.
Wiele owadów, w tym błonkówki (np. pszczoły miodne i trzmiele), motyle (np. motyle dzienne) oraz muchówki (np. muchy i komary), między innymi, żywi się poprzez wysuwanie trąbki14,15,16,17,18,19,20,21. Wysuwanie trąbki było w przeszłości wiarygodnie wykorzystywane w różnych zadaniach dotyczących uczenia się i pamięci22,23,24,25,26,27,28,29,30,31. Podobnie, ilościowa ocena ruchu czułków z wysoką rozdzielczością czasową i przestrzenną może dostarczyć informacji o zależności między bodźcem, zachowaniem a stanem wewnętrznym zwierzęcia. Rzeczywiście, wcześniejsze prace wykazały, że ruchy czułków zawierają bogatą ilość informacji o sposobie monitorowania środowiska przez pszczołę miodną oraz o tym, jak ruchy te zmieniają się w procesie uczenia się32,33,34,35,36,37,38.
W ciągu ostatniej dekady metody obserwacji zachowań zwierząt uległy znacznemu przyspieszeniu dzięki postępom w dziedzinie kamer wideo o wysokiej rozdzielczości, prędkości przetwarzania danych przez komputery oraz algorytmów wizji komputerowej. Zadania takie jak detekcja, liczenie, śledzenie zwierząt oraz analizy preferencji miejsca są wspomagane przez zaawansowane oprogramowanie, które potrafi przetwarzać nagrania wideo z zachowań zwierząt i wyodrębniać istotne parametry pomiarowe39,40,41,42,43,44,45,46,47.
Technologie te pomogły również w śledzeniu ruchów czułków i aparatów gębowych owadów. Osoby oceniające mogą używać kursora myszy do ręcznego śledzenia pozycji czułków. Jednakże, choć metoda ta może być dokładna, zadanie to jest czasochłonne, a brak uwagi i zmęczenie operatora mogą prowadzić do niewiarygodnych wyników. Aby zmniejszyć potrzebę stosowania złożonego oprogramowania, można wykorzystać specjalistyczny sprzęt i przygotowanie. Na przykład w jednej z konfiguracji wykorzystano kamerę wysokiej prędkości i pomalowano końcówki czułków, aby śledzić ich ruch48. Można również poprosić użytkowników o wybranie klatek kluczowych z nagrań wideo, aby pomóc oprogramowaniu w wykrywaniu położenia czułków i aparatu gębowego49. Inne podejście polegało na wykrywaniu dwóch największych skupisk ruchu w celu identyfikacji czułków, jednak nie pozwala ono na wykrycie położenia aparatu gębowego50. Inny pakiet oprogramowania potrafi wykrywać położenie czułków i aparatu gębowego, lecz wymaga około 7,5 s czasu przetwarzania na każdą klatkę51, co może być ograniczające w przypadku obserwacji w czasie rzeczywistym lub badań długoterminowych. Wreszcie, możliwe może być dostosowanie komercyjnych pakietów oprogramowania (np. EthoVision) do wykonania tego zadania46, jednak koszty licencji i szkolenia mogą być zbyt wysokie.
Stosując opisaną tutaj metodę, rozszerzyliśmy nasze poprzednie prace nad oprogramowaniem do analizy ruchu41 w celu śledzenia położenia czułków i ssawki owadów, wyznaczając następujące cele: (1) brak wymogu stosowania specjalistycznego sprzętu lub złożonego przygotowania zwierząt, (2) przetwarzanie klatek w czasie rzeczywistym (30 fps lub szybciej) na konwencjonalnym komputerze, (3) łatwość obsługi oraz (4) kod o otwartym źródle, łatwy do rozbudowy.
Opracowana nowa metoda oraz otwartoźródłowe oprogramowanie, SwarmSight Appendage Tracking, nie wymagają malowania końcówek anten, umożliwiają wykorzystanie konsumenckiej kamery internetowej do nagrywania filmów oraz przetwarzają klatki wideo z prędkością 30-60 fps na konwencjonalnym komputerze (Ryc. 1). Oprogramowanie przyjmuje pliki wideo jako dane wejściowe. Użytkownik wskazuje położenie głowy owada na filmie, a po przetworzeniu generowany jest plik wartości rozdzielanych przecinkami (.csv) z lokalizacjami anten i proboscis. Oprogramowanie jest w stanie odczytywać setki różnych formatów wideo (w tym formaty generowane przez większość aparatów cyfrowych) dzięki zastosowaniu biblioteki FFmpeg52.
<img alt="Eksperyment śledzenia mrówek: konfiguracja analizy anten, schemat z danymi (x, y, θ); oprogramowanie do śledzenia wideo." class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 1"> 
Rysunek 1: Konfiguracja zwierzęcia i wynik działania oprogramowania. (A) Pszczoła miodna zbieraczka z głową i ciałem unieruchomionymi w uprzęży. (B) Źródło zapachu umieszczone przed zwierzęciem, kamera wideo zlokalizowana powyżej oraz źródło próżni umieszczone za zwierzęciem. (C) Zmienne dotyczące końcówki anteny i trąbki wykryte przez oprogramowanie SwarmSight z nagrania wideo. (D) Użytkownik umieszcza sensor anteny nad zwierzęciem i dostosowuje parametry filtra. Oprogramowanie wykrywa pozycje anten i trąbek (żółte pierścienie). <a href="//cloudflare.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.</a>
Najpierw ciało i głowa owada są unieruchomione w uprzęży w taki sposób, aby ruchy czułków i trąbki były łatwo obserwowalne (Rysunek 1A). Przed owadem umieszcza się źródło zapachu, a za nim źródło próżni, aby usuwać zapachy z powietrza i zminimalizować potencjalne efekty adaptacji sensorycznej (Rysunek 1B). Nad głową owada, na statywie, umieszcza się konwencjonalną kamerę internetową. W polu widzenia kamery można ustawić diodę LED, która będzie sygnalizować moment podawania zapachu.
<img alt="Schemat równowagi statycznej z kątami θ_left, θ_right oraz osiami kartezjańskimi X i Y." class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 2"> 
Rysunek 2: Układ współrzędnych anteny. Wartości X, Y odpowiadają układowi współrzędnych wideo, w którym lewy górny róg jest początkiem układu, a wartości X i Y zwiększają się podczas przesuwania w kierunku prawego dolnego rogu. Kąty wyrażone są w stopniach względem przodu głowy (zazwyczaj źródła zapachu). Wartość „0” oznacza, że linia tworzona przez flagellum anteny jest skierowana bezpośrednio przed zwierzę. Wszystkie kąty są dodatnie, z wyjątkiem sytuacji, gdy antena jest skierowana w przeciwnym kierunku (np. prawe flagellum skierowane jest w lewo). <a href="//cloudflare.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.</a>
Po nagraniu plik wideo jest otwierany w oprogramowaniu SwarmSight, w którym użytkownik umieszcza widżet Antenna Sensor (Rysunek 1D, czarny kwadrat) nad głową owada i uruchamia odtwarzanie wideo. Po zapisaniu wyników plik .csv będzie zawierał pozycje X, Y końcówek czułków, kąty nachylenia czułków względem przodu głowy (Rysunek 2) oraz pozycję X, Y cycumna. Dodatkowo dla każdego czułka obliczana jest metryka sektora dominującego. Metryka ta wskazuje, który z pięciu 36-stopniowych sektorów otaczających każdy czułek zawierał najwięcej punktów uznanych za prawdopodobne położenie czułków; może to być przydatne w sytuacjach, gdy metryki pozycji/kąta czułków są niewiarygodne z powodu szumów lub innych problemów w nagraniu wideo.
Krótko mówiąc, oprogramowanie działa w oparciu o zestaw filtrów ruchu53 oraz zmodyfikowany algorytm zalewania (flood fill)54. Aby zidentyfikować prawdopodobne punkty czułków, stosuje się dwa filtry: filtr różnicy trzech następujących po sobie klatek41,55 oraz filtr odejmowania tła medianowego56. Do wykrywania punktów na trąbce stosowany jest filtr progu odległości kolorystycznej. Połączono górne 10% punktów z każdego filtra, a algorytm zalewania, który sprawdza sąsiadujące punkty z przerwami do 2 pikseli (px), lokalizuje punkty skrajne. Wysoką wydajność uzyskano dzięki równoległym potokom dekodowania, przetwarzania i renderowania klatek oraz zoptymalizowanej alokacji pamięci dla przepływu danych filtrów. Surowe wartości współrzędnych x i y generowane przez oprogramowanie są poddawane postprocesowaniu za pomocą kroczącego filtra medianowego z 3 klatek57 (patrz: Dyskusja). Instrukcje pobierania pełnego kodu źródłowego znajdują się w internecie58.
Poniżej znajduje się protokół przygotowania robotnicy pszczoły miodnej do śledzenia ruchów czułków. Podobny protokół można zastosować do śledzenia ruchów czułków lub proboscis u każdego innego owada. W sekcji wyników opisujemy przykładowy zapis ruchu czułka wykryty przez oprogramowanie, porównanie wyników oprogramowania z analizą przeprowadzoną przez oceniających oraz ocenę ruchu czułków w odpowiedzi na pięć substancji zapachowych.

<table><tbody><tr><td>Uprząż przeciw owadom</td><td>Nie</td><td></td> dotyczy <td>Używaj materiałów potrzebnych do sekcji protokołu 1-3.1.1 Smith & Burden (2014)</td></tr><tr><td>Źródło dostarczania zapachów</td><td>N/A</td><td>N/A</td><td>Użyj materiałów potrzebnych do sekcji 3 protokołu Smith & Burden (2014)</td></tr><tr><td>Źródło próżni</td><td>NIE DOTYCZY</td><td></td><td>NIE DOTYCZY Użyj materiałów potrzebnych do sekcji 3 protokołu Smith & Burden (2014)Dioda</td></tr> <tr><td>LED podłączona do źródła dostarczania zapachów</td><td>NIE DOTYCZY</td><td></td><td>Używaj materiałów potrzebnych do sekcji 3 protokołu Smith & Obciążenie (2014)</td></tr><tr><td>Lutownica niskonapięciowa</td><td>Stannol</td><td>Niskonapięciowa mikrolutownica 12 V, 8 W</td><td></td></tr><tr><td>DC</td><td>Zasilacz Tekpower</td><td>HY152A</td><td></td></tr><tr><td>Statyw</td><td>AmazonBasics</td><td>50-calowy lekki statyw</td><td>Opcjonalny</td></tr><tr><td>aparat</td><td>Genius</td><td>WideCam F100</td><td>FLIR Flea3 lub inny aparat z ręcznym ustawianiem ostrości.</td></tr><tr><td>Oprogramowanie kamery</td><td>Oprogramowanie Genius</td><td>N/A jest</td><td>dostarczane z aparatem. W systemie MacOS aplikacja Photo Booth może być używana do nagrywania filmów.</td></tr><tr><td>Oprogramowanie do pomiaru czasu otwarcia migawki</td><td>aparatu Genius</td><td>N/A</td><td>Oprogramowanie aparatu Genius umożliwia ustawienie czasu otwarcia migawki. W systemie Mac OS można zamiast tego używać okularów iGlasses firmy ecamm: http://www.ecamm.com/mac/iglasses/</td></tr> <tr><td>System operacyjny Windows</td><td>Microsoft</td><td>Windows 7 Professional</td><td>w wersji 7 lub nowszej jest zgodny. Oracle VirtualBox, Parallels Desktop lub VMWare Fusion mogą być używane do tworzenia maszyny wirtualnej Windows w środowiskach MacOS.</td></tr><tr><td>Oprogramowanie SwarmSight</td><td>Śledzenie wyrostka</td><td>SwarmSight</td><td>Pobierz z oprogramowania http://SwarmSight.org</td></tr><tr><td>R</td><td>R Project</td><td>R 3.4.0</td><td>Pobierz z: Oprogramowanie https://cran.r-project.org/bin/windows/base/</td></tr> <tr><td>R Studio</td><td>RStudio RStudio</td><td>Desktop</td><td>Pobierz z: https://www.rstudio.com/products/rstudio/download/</td></tr></tbody></table>

swarmsight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

Wiele ważnych z naukowego i rolniczego punktu widzenia owadów używa anten do wykrywania obecności lotnych związków chemicznych i przedłużania swojej trąbki podczas żerowania. Możliwość szybkiego uzyskania wysokiej rozdzielczości pomiarów naturalnych ruchów anteny i trąbki oraz oceny, jak zmieniają się one w odpowiedzi na manipulacje chemiczne, rozwojowe i genetyczne, może pomóc w zrozumieniu zachowania owadów. Rozszerzając naszą wcześniejszą pracę nad oceną zagregowanych ruchów roju owadów lub grup zwierząt na podstawie filmów naturalnych i laboratoryjnych za pomocą oprogramowania do analizy wideo SwarmSight, opracowaliśmy nowatorski, bezpłatny moduł oprogramowania o otwartym kodzie źródłowym, SwarmSight Appendage Tracking (SwarmSight.org) do śledzenia klatka po klatce pozycji anteny i trąbki owadów z konwencjonalnych filmów z kamer internetowych przy użyciu konwencjonalnych komputerów. Oprogramowanie przetwarza klatki około 120 razy szybciej niż ludzie, działa z dokładnością lepszą niż człowiek, a przy użyciu filmów z 30 klatkami na sekundę (fps) może rejestrować dynamikę anteny do 15 Hz. Oprogramowanie wykorzystano do śledzenia reakcji czułków pszczół miodnych na dwa zapachy i stwierdzono znaczne średnie cofnięcie czułków z dala od źródła zapachu około 1 s po prezentacji zapachu. Obserwowaliśmy położenie anteny, gęstość, tworzenie się klastrów oraz zależność klastra i kąta średniego od stężenia zapachu.

W poniższych sekcjach przedstawiono przykładowy wykres kątów anten produkowany na podstawie danych z oprogramowania, porównanie dokładności i szybkości oprogramowania z oceniającymi ludźmi oraz wyniki eksperymentu, w którym ruch anten pszczół miodnych był zależny od prezentacji różnych zapachów. Do przeprowadzenia analizy i wygenerowania rycin wykorzystano oprogramowanie R62,63. Kod R do analizy i generowania rycin, a także tutoriale wideo są dostępne online58.
Wynik programu:
Rycina 3 przedstawia pięć losowo wybranych przebiegów kątów anten wykrytych przez oprogramowanie z filmów z pszczołami miodnymi poddanych działaniu czystego oraz rozcieńczonych 35-krotnie w oleju mineralnym heptanalu i heptanolu, a także czystego powietrza.
<img alt="Wykres odpowiedzi kąta anten; efekt bodźców zapachowych; eksperyment z heptanolem i heptanalem; analiza danych." class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 3"> 
Rysunek 3: Pięć przykładowych przebiegów kątów anten wykrytych przez SwarmSight. Oś Y przedstawia kąt anteny w stopniach, gdzie „0” znajduje się bezpośrednio przed zwierzęciem, w stronę źródła zapachu, a większe wartości wskazują kierunek przeciwny do źródła zapachu. Heptanol, heptanal i ich wersje rozcieńczone 35x w oleju mineralnym, a także czyste powietrze, były podawane pojedynczym pszczołom robotniczym zbieraczom w szarych oknach czasowych 0 – 3 600 ms. Lewa antena jest zaznaczona na czerwono, prawa na niebiesko. Na pięciu wykresach przedstawiono pięć losowych pszczół, po jednej dla każdego warunku. <a href="https://cloudflare.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Walidacja oprogramowania:
Aby zweryfikować, czy oprogramowanie potrafi niezawodnie wykrywać położenie anten, pozycje anten wyznaczone przez ludzi porównano z pozycjami wyznaczonymi przez oprogramowanie. Dwóch oceniających zostało poproszonych o wskazanie końcówek anten i trąbki w 425 klatkach wideo (~14 s nagrania). Specjalistyczny moduł oprogramowania rejestrował zaznaczone przez oceniających położenia wyrostków, automatycznie przesuwał klatki wideo i odnotowywał czas poświęcony na to zadanie. Jako przykład zgodności między wartościami wyznaczonymi przez ludzi a tymi wyznaczonymi przez oprogramowanie, na Rysunku 4A przedstawiono nałożone na siebie ślady współrzędnych pionowych jednej anteny dla oprogramowania oraz dla dwóch pozycji wykrytych przez ludzi. Obliczono odległość między zaznaczonymi przez dwóch oceniających pozycjami anten i nazwano ją „Inter-Human Distance”. Odległość między położeniem anteny wykrytym przez oprogramowanie a najbliższym położeniem wykrytym przez oceniających obliczono i nazwano „Software-Closest Human Distance” (Rysunek 4B).
<img alt="Analiza śledzenia mrówek; wykresy porównawcze dokładności detekcji przez ludzi i oprogramowanie na wykresach słupkowych." class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 4"> 
Rysunek 4: Porównanie z oceniającymi ludźmi. (A) Dwóch oceniających ludzi oraz program SwarmSight zlokalizowali końcówki anten w 425 klatkach wideo. Nałożono na siebie współrzędne Y końcówek lewej anteny wyznaczone klatka po klatce przez ludzi i oprogramowanie. (B) Nałożone na siebie rozbieżności klatka po klatce (odległość w pikselach wideo) pomiędzy oceniającymi ludźmi (pomarańczowy) oraz rozbieżności pomiędzy oprogramowaniem a najbliższą wartością wyznaczoną przez człowieka (czarny). (C) Lokalizacje końcówek anten: człowiek vs człowiek (pomarańczowy) oraz oprogramowanie vs człowiek (czarny). (D) Histogramy i rozkłady skumulowane (przerywane) odległości rozbieżności klatka po klatce dla par człowiek vs człowiek oraz oprogramowanie vs człowiek. <a href="https://cloudflare.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Średnia odległość między ludźmi (Inter-Human Distance) wynosiła 10,9 px, w 95% klatek mieściła się w przedziale do 55,2 px, a jej wartość maksymalna wyniosła 81,6 px. Średnia odległość od najbliższego człowieka według oprogramowania (Software-Closest Human Distance) wynosiła 8,0 px, w 95% klatek mieściła się w przedziale do 18,3 px, a jej wartość maksymalna wyniosła 49,0 px (patrz histogramy odległości na Rysunku 4D oraz Rysunku 4C). Wartość 5 px odpowiadała w przybliżeniu szerokości anteny. Ogólnie odległość między ludźmi była niewielka w klatkach na początku zadania i zwiększała się w drugiej jego połowie. Podejrzewamy, że wynikało to ze zmęczenia oceniających. Jednocześnie poziom odległości od najbliższego człowieka według oprogramowania pozostał stały przez cały czas trwania zadania.
Porównanie szybkości i dokładności oprogramowania z ocenami ludzkimi:
Ludzie oceniali położenie końców anten i trąbek z średnią prędkością 0,52 klatek na sekundę (fps). Aby oszacować ludzką wartość fps, całkowitą liczbę klatek ocenionych przez ludzi (po 425 każdemu) podzielono przez całkowity czas poświęcony na to zadanie (873 s i 761 s). Oprogramowanie oceniało klatki średnio z prędkością 65 fps na komputerze PC z systemem Windows 7 i procesorem Dual-Core. Biorąc pod uwagę wysoką prędkość przetwarzania oraz dokładność podobną lub wyższą niż w przypadku oceniających ludzi, można oczekiwać, że oprogramowanie wykona pracę około 125 oceniających ludzi w jednostce czasu.
Wykrywanie odpowiedzi czułków na zapachy:
Aby wykazać, że protokół ten może być wykorzystany do wykrywania istotnych różnic behawioralnych w ruchu owadów, poddano 23 samice pszczoły miodnej działaniu dwóch różnych zapachów. Czysty heptanal i heptanol, rozcieńczenia obu zapachów w oleju mineralnym w stosunku 35x oraz czyste powietrze jako kontrola były prezentowane po 4 s każdy (łącznie pięć warunków). Filmy, zgodnie z powyższym protokołem, przetworzono za pomocą oprogramowania SwarmSight, a następnie przeanalizowano kąty nachylenia czułków (Rycina 5).
<img alt="Odpowiedź kąta czułka na bodźce zapachowe na mapach kolorów, heptanol, heptanal, analiza eksperymentalna." class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg" data-altupdatedat="1788250015000" data-alt="Rysunek 5"> 
Rysunek 5: Średnie kąty czułków i mapy ciepła gęstości dla pięciu warunków zapachowych. (A) Mapy ciepła przedstawiające gęstość kąta czułków przed, w trakcie (ciemniejszy region środkowy) i po podaniu zapachów heptanolu, powietrza i heptanalu robotnicom pszczoły miodnej (n = 23). Czarne krzywe przedstawiają średnie kąty czułków dla każdej klatki (oba czułki). Linie poziome oznaczają średnie kąty przed podaniem zapachu (linia bazowa). Zwróć uwagę na skupisko preferowanych pozycji czułków (czerwone skupisko na dolnym wykresie) oddalonych od źródła zapachu w przypadku czystych zapachów oraz odpowiadające temu zmiany średniego kąta czułka. Zwróć również uwagę na skupisko „odbicia” po ustaniu zapachu i jego widoczną zależność od stężenia zapachu w momencie wystąpienia (patrz lokalizacja skupisk na pozostałych czterech wykresach). Skala kolorów mapy ciepła gęstości jest umowna, ale jednolita dla wszystkich warunków. (B) Średnia zmiana kąta względem średniej przed podaniem zapachu (słupki błędu S.E.M). Z wyjątkiem powietrza, wszystkie średnie zmiany były istotne (test t, p &lt;0.05). <a href="https://cloudflare.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Klatki wideo z 9 s segmentów filmu, składających się z 3 s przed wystąpieniem zapachu, 3,6 s prezentacji zapachu oraz 2,4 s po ustąpieniu zapachu, zostały wyrównane dla wszystkich osobników i warunków (300 klatek/segment). Dla każdej warunki obliczono średnie wartości kątów obu anten wszystkich osobników dla każdej klatki, które nazwano „Mean Angles” (Rysunek 5A, czarne krzywe). Obliczono również średnie kąty anten w klatkach przed wystąpieniem zapachu dla wszystkich osobników w każdej warunku, które nazwano „Pre-Odor Baselines” (Rysunek 5A, cienkie linie poziome).
We wszystkich warunkach, z wyjątkiem kontroli, średnie kąty zwiększyły się względem wartości bazowych, osiągając szczyt raz w przedziale 750 - 1 050 ms po pojawieniu się zapachu (Rysunek 5A, czarne krzywe w regionie 0 - 3 600 ms). Istotność średnich zmian względem wartości bazowych (Rysunek 5B) sprawdzono, porównując średnie z obu anten u poszczególnych osobników w czasie szczytowego średniego kąta prezentacji zapachu dla każdego warunku ze średnią bazową, stosując serię jednopróbkowych testów t (testy normalności Shapiro nie były istotne we wszystkich warunkach). Średnia zmiana kąta względem wartości bazowej wyniosła 26,9° dla czystego heptanalu (szczyt średniej w 750 ms po pojawieniu się zapachu), 21,1° dla 0,2 M heptanalu (w 990 ms), 19,6° dla czystego heptanolu (w 1 050 ms), 19,3° dla 0,2 M heptanolu (w 780 ms) oraz 3,45° dla kontroli powietrznej (brak szczytu). We wszystkich warunkach, z wyjątkiem kontroli, średnia zmiana kąta względem wartości bazowej była istotna (poprawione p według metody Holma &lt;0,05). Zauważono, że średni kąt powraca do wartości bazowej wolniej w odpowiedzi na czyste substancje zapachowe niż na substancje rozcieńczone (średnia przefiltrowana filtrem dolnoprzepustowym powróciła do wartości bazowej w 3 690 ms po pojawieniu się zapachu dla czystego i w 2 940 ms dla rozcieńczonego heptanolu; dla heptanalu czasy powrotu wyniosły 4 260 ms dla wersji czystej i 3 000 ms dla wersji rozcieńczonej).
Wizualizacja przy użyciu map ciepła:
Aby zwizualizować odpowiedzi antenalne, dla każdego stanu wygenerowano mapy ciepła gęstości kątów anten (Rycina 5A, tło niebiesko-czerwone). Kąty anten w 10 s segmentach wideo dla każdego osobnika w danym stanie zostały splotowane z jądrem Gaussa (pakiet R MASS, funkcja kde2d64). Obszary niebieskie wskazują niską gęstość kątów anten, natomiast obszary czerwone wskazują wysoką gęstość kątów anten. Mapa ciepła na dolnym wykresie na Rycini 5A dla stanu z czystym heptanalem ilustruje zachowanie anten.
Mapa pokazuje, że przed podaniem zapachu (t &lt; 0), gęstość kątów anten jest rozłożona stosunkowo równomiernie we wszystkich zakresach. Około 1 s po wystąpieniu zapachu (t ~1 000 ms) pojawia się para klastrów niebieskich i czerwonych. W obszarach zaznaczonych na czerwono anteny występowały częściej niż w obszarach zaznaczonych na niebiesko. Niebieski klaster wskazuje, że anteny miały tendencję do unikania mniejszych kątów (źródło zapachu znajdowało się w kierunku 0 stopni), natomiast czerwony klaster wskazuje, że anteny preferowały większe kąty (z dala od źródła zapachu). Czerwony klaster stopniowo znika w miarę utrzymywania obecności zapachu. Kolejny czerwony, choć mniej intensywny, klaster pojawia się około 1 s po zakończeniu podawania zapachu. Drugie czerwone klastry nazywamy „Klastrami Odbicia” (Rebound Clusters). Zgodnie z powyższymi średnimi czasami powrotu kąta, zauważamy, że klastry odbicia wydają się pojawiać wcześniej i są mniej intensywne w przypadku zapachów rozcieńczonych niż w przypadku zapachów czystych.

Ten protokół opisuje kroki korzystania z nowatorskiego oprogramowania, SwarmSight, do śledzenia klatka po klatce pozycji anteny owada i trąbki z konwencjonalnych kamer internetowych przy użyciu konwencjonalnych komputerów. Darmowe oprogramowanie typu open source przetwarza klatki około 120 razy szybciej niż ludzie i działa z dokładnością lepszą niż ludzka.

SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu

Many scientifically and agriculturally important insects use antennae to detect the presence of volatile chemical compounds and extend their proboscis ...

Ogólnym celem tej procedury jest szybki pomiar ruchów czułków i trąbek owadów na podstawie nagrań wideo z pospolitego preparatu zwierzęcego przy użyciu oprogramowania typu open source do lokalizacji roju oraz konwencjonalnej kamery i sprzętu komputerowego. Metody te mogą być wykorzystywane do szybkiego uzyskiwania pomiarów o wysokiej rozdzielczości ruchów anteny i trąby. Zastosowanie tych metod może wyjaśnić, w jaki sposób zmieniają się ruchy anteny i trąbki w odpowiedzi na manipulacje chemiczne, rozwojowe i genetyczne.Główną zaletą tej techniki jest to, że może szybko mierzyć ruchy za pomocą bezpłatnego oprogramowania i nie wymaga wyrafinowanego sprzętu wideo ani komputerowego. Chociaż metoda ta może zapewnić wgląd w reakcje zapachowe pszczół miodnych, można ją również zastosować do innych systemów owadzich. Na początek użyj fiolek, aby zebrać pszczoły robotnice z wejścia do ula i na krótko umieść fiolki w lodowej zawiesinie.Za pomocą taśmy klejącej zabezpiecz każdą pszczołę w rurze uprzęży, a następnie nałóż taśmę na górną część rury, aby ukryć nogi. Upewnij się, że nogi nie są widoczne z górnej części rury uprzęży. Następnie, pod mikroskopem preparacyjnym, użyj lutownicy niskotemperaturowej, aby nałożyć podgrzany wosk na tył głowy każdej pszczoły, aby ją unieruchomić.Użyj małego pręta, aby trzymać antenę z dala od wosku i upewnij się, że anteny mogą się swobodnie poruszać. Użyj uchwytu na kamerę internetową, aby ustawić kamerę bezpośrednio nad głową pszczoły i użyj oprogramowania do nagrywania, aby sprawdzić wideo i powiększyć głowę. Po nałożeniu taśmy i wosku wyświetl podgląd sceny za pomocą kamery i poszukaj wszystkiego, co może się poruszać lub zmieniać, co nie jest anteną lub trąbką.Następnie dostosuj taśmę i wosk w razie potrzeby. Następnie użyj ustawień oprogramowania do nagrywania, aby utrzymać stałą ekspozycję aparatu i dostosować suwak ekspozycji do żądanej wartości. Dostosuj suwaki kontrastu, jasności i ostrości, aby poprawić wykrywanie anteny.Dostosuj oświetlenie otoczenia, aby zredukować cienie anteny. Użyj rozproszonego źródła światła, takiego jak laboratoryjna lampa na gęsiej szyi lub latarka z papierem, aby oświetlić pszczołę. Następnie umieść diodę LED umieszczoną w widoku kamery, aby wskazać, kiedy dostarczony zostanie zapach bodźca.W dygestorii przygotuj wkłady zapachowe, które posłużą do stymulacji pszczół podczas nagrań wideo. Umieść źródło dostarczania zapachów w pobliżu rurki wiązki przewodów, uważając, aby nie zasłaniać kamery view. Umieść źródło podciśnienia naprzeciwko źródła zapachu, aby usunąć zapachy bodźcowe i włącz je przed prezentacją zapachu.Po unieruchomieniu pszczół i zakończeniu przygotowań do kamery, sfilmuj każdą pszczołę w każdych warunkach eksperymentalnych jako osobny plik wideo. Następnie w module śledzenia anteny roju kliknij przycisk przeglądania, aby otworzyć plik wideo. Po załadowaniu pliku wideo umieść widżet czujnika anteny nad głową pszczoły.Użyj ikon obrotu i skali, aby dostosować wyrównanie widżetu. Widżet powinien obejmować pełny zakres ruchu na antenie pszczoły. Następnie umieść widżet czujnika leczenia nad diodą LED, która wskazuje, kiedy dostarczany jest zapach bodźca.Kliknij przycisk odtwarzania w lewym dolnym rogu, aby rozpocząć wyświetlanie pliku wideo klatka po klatce. Prawdopodobne punkty anteny i trąbki zostaną podświetlone na żółto, a żółte pierścienie wskażą końcówki wyrostka. Dostosuj suwaki w sekcji filtrów, aby zoptymalizować czułość filtra.Po osiągnięciu idealnej czułości w kadrze zostaną podświetlone tylko przydatki pszczoły. Przewiń do przodu kolejne części filmu, aby upewnić się, że czułość filtra jest zoptymalizowana w całym filmie. Przetestuj swoją konfigurację, tworząc krótki przykładowy film z owadem i przeanalizuj go za pomocą oprogramowania, szukając obcych poruszających się obiektów, które wykrywa oprogramowanie.Dostosuj scenę, oświetlenie i kąt kamery, aż oprogramowanie odizoluje ruchy anten i trąbki. Po skonfigurowaniu widżetów i filtrów wstrzymaj wideo, uruchom je ponownie i odtwórz od początku do końca. Na koniec rozwiń sekcję zapisywania, kliknij przycisk zapisz dane śledzenia i wybierz folder, w którym chcesz zapisać plik.Aby zweryfikować oprogramowanie do śledzenia wyrostków, dwóch oceniających zlokalizowało końcówki anten w 425 klatkach wideo, które następnie zostały przeanalizowane przez oprogramowanie. Odległość między dwoma oceniającymi ludźmi jest pokazana na tym rysunku, przy czym odległość między ludźmi i odległość między lokalizacjami wykrytymi przez oprogramowanie a ludźmi oceniającymi jest pokazana przy użyciu odległości najbliższej człowiekowi w oprogramowaniu. Dystans między ludźmi był niewielki w przypadku klatek na początku, a następnie zwiększył się w drugiej połowie filmu.Poziomy odległości od ludzi najbliższe oprogramowaniu pozostają niezmienne przez cały film. 23 samice pszczół miodnych były wystawione na pięć różnych warunków zapachowych, a filmy z prób zostały przeanalizowane za pomocą oprogramowania do śledzenia wyrostków. Z wyjątkiem warunków kontrolnych, oprogramowanie było w stanie wykryć znaczące różnice w średnich zmianach kąta anten po wystawieniu na eksperymentalne warunki zapachowe.Dodatkowo mapy gęstości kątów anten ujawniły klastry preferencji lokalizacji anteny. Czerwone skupiska na mapie wskazują, że anteny preferują kąty oddalone od źródła zapachu wkrótce po pojawieniu się zapachu i preferują kąty w kierunku źródła zapachu wkrótce po wywnioskowaniu zapachu. Próbując wykonać tę procedurę, należy pamiętać o dokładnym sprawdzeniu każdej sceny wideo przed nagraniem pod kątem optymalnego rozmieszczenia pszczół i oświetlenia.Dodatkowo ważne jest, aby oznaczyć ramki doprowadzające zapach wskaźnikiem wizualnym. Po wykonaniu tej procedury można wykonać inne metody, takie jak kondycjonowanie zapachu. Ta procedura jest również przydatna do badania wrodzonych reakcji u pszczół miodnych i innych owadów.Nie zapominaj, że praca z pszczołami i niektórymi chemikaliami może być niebezpieczna. Podczas wykonywania tego zabiegu należy zawsze nosić odpowiednie środki ochrony osobistej. Po opanowaniu procedura ta może być wykorzystana do efektywnego uzyskania danych o ruchu anteny i trąbki dla dużej liczby owadów i warunków eksperymentalnych.Swarm Sight, oprogramowanie typu open source używane w tej procedurze, można pobrać z firmy swarmsight.org.

swarmsight-real-time-tracking-insect-antenna-movements-proboscis

Research

JoVE Journal

Neuroscience

Neuronauka

Opisujemy metodę rejestracji aktywności motorycznej, zsynchronizowaną z elektrycznie rejestrowanym sygnałem kontaktu stopowego u uwięzionego owada chodzącego po śliskiej powierzchni. Metoda ta jest wykorzystywana do badania neuronalnych podstaw adaptacyjnego zachowania przy zredukowanym wpływie oddziaływań mechanicznych między odnóżami a podłożem.

Badanie neuronowych podstaw adaptacyjnego zachowania lokomocyjnego u owadów

Opracowaliśmy system mikroskopu śledzącego w czasie rzeczywistym, który umożliwia rejestrację i kwantyfikację zachowania C. elegans z wysoką rozdzielczością i przy dużych prędkościach. Opracowaliśmy również metody obliczeniowe pozwalające na redukcję wymiarowości obrazów nicieni do podstawowego zestawu pomiarów, które w pełni opisują kształt organizmu.

Śledzenie i pomiar zachowania C. elegans

Pokazujemy różne warianty techniki wewnątrzkomórkowego zapisu wielojednostkowego, aby scharakteryzować reakcje wywołane zapachem w pierwszych trzech etapach szlaku węchowego bezkręgowców. Techniki te można łatwo zaadaptować do badania aktywności zespołu również w innych systemach neuronowych.

Wielojednostkowe metody rejestracji w celu scharakteryzowania aktywności neuronalnej w obwodach węchowych szarańczy (Schistocerca americana)

W tym protokole pokazujemy, jak kondycjonować zaprzęgnięte pszczoły miodne do bodźców dotykowych i wprowadzamy technikę przechwytywania ruchu 2D do analizy kinematyki wzorca próbkowania anteny na małą skalę.

Kondycjonowanie dotykowe i analiza ruchu w strategiach pobierania próbek czułków u pszczół miodnych (Apis mellifera L.)

Prezentujemy nowatorską procedurę chirurgiczną polegającą na wszczepieniu elektrod w Manduca sexta podczas jej wczesnych stadiów metamorficznych. Technika ta pozwala na mechanicznie stabilne i elektrycznie niezawodne sprzężenie z tkanką nerwowo-mięśniową w celu badania dynamiki neurofizjologii lotu. Prezentujemy również nowatorską platformę lewitacji magnetycznej do badań ziewania owadów na uwięzi.

Wczesna technologia wprowadzania metamorficznego do monitorowania zachowania owadów w locie

Protokół warunkowania Proboscis Extension Response (PER), opracowany dla pszczół miodnych (Apis mellifera), dostarcza ekologicznie istotnych i łatwo mierzalnych środków do badania kilku różnych mechanizmów uczenia się u wielu gatunków owadów.

Protokół odpowiedzi na wydłużenie trąby do badania plastyczności behawioralnej u owadów: zastosowanie do badań podstawowych, biomedycznych i rolniczych

Opisujemy protokół używania anten owadów w postaci elektroantennogramów (EAG) na autonomicznych robotach. Nasza eksperymentalna konstrukcja pozwala na stabilne nagrania w ciągu jednego dnia i rozwiązuje indywidualne plamy zapachowe do 10 Hz. Skuteczność czujników EAG w poszukiwaniu węchu jest wykazywana poprzez kierowanie robota w kierunku źródła zapachu.

Wykorzystanie czujników elektroantennogramu owadów w autonomicznych robotach do wyszukiwania węchowego

Ten protokół opisuje proces konstruowania hybrydowego systemu owado-maszynowego i przeprowadzania bezprzewodowej elektrycznej stymulacji mięśni lotu wymaganych do kontrolowania ruchu skrętu latającego owada.

Hybrydowy system owado-maszynowy: zdalne sterowanie radiowe swobodnie latającym chrząszczem (Mercynorrhina torquata)

Zdolność do lokalizacji źródła zapachu jest niezbędna do przetrwania owadów i oczekuje się, że będzie miała zastosowanie do sztucznego śledzenia zapachów. Robot sterowany przez owady jest napędzany przez prawdziwą jedwabną i umożliwia nam ocenę zdolności owadów do śledzenia zapachów za pomocą platformy robotycznej.

Robot sterowany przez owady: mobilna platforma robota do oceny zdolności owadów do śledzenia zapachów

Pomiar wzorców pojawiania się owadów wymaga precyzji. Istniejące systemy są tylko częściowo zautomatyzowane, a wielkość próby jest ograniczona. Zajęliśmy się tymi problemami, projektując system wykorzystujący mikrokontrolery do precyzyjnego pomiaru czasu pojawienia się dużej liczby pojawiających się owadów.

Precyzyjny i autonomiczny system wykrywania wzorców pojawiania się owadów

Poznaj metodę śledzenia ruchów czułków i trąbki pszczół w czasie rzeczywistym za pomocą otwartego oprogramowania SwarmSight i zwykłej kamery internetowej. Technika umożliwia szybką analizę behawioralną bez specjalistycznego sprzętu.

SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu (Wideo) | JoVE Journal

SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu

Przeglądaj więcej filmów