Artykuł metodologiczny

SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu

10.8K wyświetleń

⸱

DOI:

10.3791/56803

⸱

25 grudnia 2017

 ,  ,  ,  , 
1School of Life Sciences, Arizona State University, 2School of Mathematical and Statistical Sciences, Arizona State University

W tym artykule

Podsumowanie

Ten protokół opisuje kroki korzystania z nowatorskiego oprogramowania, SwarmSight, do śledzenia klatka po klatce pozycji anteny owada i trąbki z konwencjonalnych kamer internetowych przy użyciu konwencjonalnych komputerów. Darmowe oprogramowanie typu open source przetwarza klatki około 120 razy szybciej niż ludzie i działa z dokładnością lepszą niż ludzka.

Streszczenie

Wiele ważnych z naukowego i rolniczego punktu widzenia owadów używa anten do wykrywania obecności lotnych związków chemicznych i przedłużania swojej trąbki podczas żerowania. Możliwość szybkiego uzyskania wysokiej rozdzielczości pomiarów naturalnych ruchów anteny i trąbki oraz oceny, jak zmieniają się one w odpowiedzi na manipulacje chemiczne, rozwojowe i genetyczne, może pomóc w zrozumieniu zachowania owadów. Rozszerzając naszą wcześniejszą pracę nad oceną zagregowanych ruchów roju owadów lub grup zwierząt na podstawie filmów naturalnych i laboratoryjnych za pomocą oprogramowania do analizy wideo SwarmSight, opracowaliśmy nowatorski, bezpłatny moduł oprogramowania o otwartym kodzie źródłowym, SwarmSight Appendage Tracking (SwarmSight.org) do śledzenia klatka po klatce pozycji anteny i trąbki owadów z konwencjonalnych filmów z kamer internetowych przy użyciu konwencjonalnych komputerów. Oprogramowanie przetwarza klatki około 120 razy szybciej niż ludzie, działa z dokładnością lepszą niż człowiek, a przy użyciu filmów z 30 klatkami na sekundę (fps) może rejestrować dynamikę anteny do 15 Hz. Oprogramowanie wykorzystano do śledzenia reakcji czułków pszczół miodnych na dwa zapachy i stwierdzono znaczne średnie cofnięcie czułków z dala od źródła zapachu około 1 s po prezentacji zapachu. Obserwowaliśmy położenie anteny, gęstość, tworzenie się klastrów oraz zależność klastra i kąta średniego od stężenia zapachu.

Wprowadzenie

Większość stawonogów porusza czułkami lub innymi wyrostkami, aby próbkować sygnały i bodźce środowiskowe w czasie i przestrzeni. Zwierzęta te mogą wykorzystywać czułki do nawigacji w środowisku poprzez wykrywanie bodźców sensorycznych, takich jak lotne substancje chemiczne oraz bodźce smakowe i mechaniczne1,2,3,4. U owadów czułki zawierają receptory sensoryczne, które wiążą lotne substancje chemiczne4,5,6 i przekazują ten sygnał za pośrednictwem węchowych neuronów sensorycznych do ośrodkowych obszarów mózgu1,7,8,9. Owady mogą korygować położenie czułków, aby modulować informacje o docierających zapachach4,10,11. Modulacja ta ułatwia aktywne, oparte na informacjach reakcje behawioralne na zapachy i ich pióropusze12,13.

Wiele owadów, w tym błonkówki (np. pszczoły miodne i trzmiele), motyle (np. motyle dzienne) oraz muchówki (np. muchy i komary), między innymi, żywi się poprzez wysuwanie trąbki14,15,16,17,18,19,20,21. Wysuwanie trąbki było w przeszłości wiarygodnie wykorzystywane w różnych zadaniach dotyczących uczenia się i pamięci22,23,24,25,26,27,28,29,30,31. Podobnie, ilościowa ocena ruchu czułków z wysoką rozdzielczością czasową i przestrzenną może dostarczyć informacji o zależności między bodźcem, zachowaniem a stanem wewnętrznym zwierzęcia. Rzeczywiście, wcześniejsze prace wykazały, że ruchy czułków zawierają bogatą ilość informacji o sposobie monitorowania środowiska przez pszczołę miodną oraz o tym, jak ruchy te zmieniają się w procesie uczenia się32,33,34,35,36,37,38.

W ciągu ostatniej dekady metody obserwacji zachowań zwierząt uległy znacznemu przyspieszeniu dzięki postępom w dziedzinie kamer wideo o wysokiej rozdzielczości, prędkości przetwarzania danych przez komputery oraz algorytmów wizji komputerowej. Zadania takie jak detekcja, liczenie, śledzenie zwierząt oraz analizy preferencji miejsca są wspomagane przez zaawansowane oprogramowanie, które potrafi przetwarzać nagrania wideo z zachowań zwierząt i wyodrębniać istotne parametry pomiarowe39,40,41,42,43,44,45,46,47.

Technologie te pomogły również w śledzeniu ruchów czułków i aparatów gębowych owadów. Osoby oceniające mogą używać kursora myszy do ręcznego śledzenia pozycji czułków. Jednakże, choć metoda ta może być dokładna, zadanie to jest czasochłonne, a brak uwagi i zmęczenie operatora mogą prowadzić do niewiarygodnych wyników. Aby zmniejszyć potrzebę stosowania złożonego oprogramowania, można wykorzystać specjalistyczny sprzęt i przygotowanie. Na przykład w jednej z konfiguracji wykorzystano kamerę wysokiej prędkości i pomalowano końcówki czułków, aby śledzić ich ruch48. Można również poprosić użytkowników o wybranie klatek kluczowych z nagrań wideo, aby pomóc oprogramowaniu w wykrywaniu położenia czułków i aparatu gębowego49. Inne podejście polegało na wykrywaniu dwóch największych skupisk ruchu w celu identyfikacji czułków, jednak nie pozwala ono na wykrycie położenia aparatu gębowego50. Inny pakiet oprogramowania potrafi wykrywać położenie czułków i aparatu gębowego, lecz wymaga około 7,5 s czasu przetwarzania na każdą klatkę51, co może być ograniczające w przypadku obserwacji w czasie rzeczywistym lub badań długoterminowych. Wreszcie, możliwe może być dostosowanie komercyjnych pakietów oprogramowania (np. EthoVision) do wykonania tego zadania46, jednak koszty licencji i szkolenia mogą być zbyt wysokie.

Stosując opisaną tutaj metodę, rozszerzyliśmy nasze poprzednie prace nad oprogramowaniem do analizy ruchu41 w celu śledzenia położenia czułków i ssawki owadów, wyznaczając następujące cele: (1) brak wymogu stosowania specjalistycznego sprzętu lub złożonego przygotowania zwierząt, (2) przetwarzanie klatek w czasie rzeczywistym (30 fps lub szybciej) na konwencjonalnym komputerze, (3) łatwość obsługi oraz (4) kod o otwartym źródle, łatwy do rozbudowy.

Opracowana nowa metoda oraz otwartoźródłowe oprogramowanie, SwarmSight Appendage Tracking, nie wymagają malowania końcówek anten, umożliwiają wykorzystanie konsumenckiej kamery internetowej do nagrywania filmów oraz przetwarzają klatki wideo z prędkością 30-60 fps na konwencjonalnym komputerze (Ryc. 1). Oprogramowanie przyjmuje pliki wideo jako dane wejściowe. Użytkownik wskazuje położenie głowy owada na filmie, a po przetworzeniu generowany jest plik wartości rozdzielanych przecinkami (.csv) z lokalizacjami anten i proboscis. Oprogramowanie jest w stanie odczytywać setki różnych formatów wideo (w tym formaty generowane przez większość aparatów cyfrowych) dzięki zastosowaniu biblioteki FFmpeg52.

Eksperyment śledzenia mrówek: konfiguracja analizy anten, schemat z danymi (x, y, θ); oprogramowanie do śledzenia wideo.
Rysunek 1: Konfiguracja zwierzęcia i wynik działania oprogramowania. (A) Pszczoła miodna zbieraczka z głową i ciałem unieruchomionymi w uprzęży. (B) Źródło zapachu umieszczone przed zwierzęciem, kamera wideo zlokalizowana powyżej oraz źródło próżni umieszczone za zwierzęciem. (C) Zmienne dotyczące końcówki anteny i trąbki wykryte przez oprogramowanie SwarmSight z nagrania wideo. (D) Użytkownik umieszcza sensor anteny nad zwierzęciem i dostosowuje parametry filtra. Oprogramowanie wykrywa pozycje anten i trąbek (żółte pierścienie). Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Najpierw ciało i głowa owada są unieruchomione w uprzęży w taki sposób, aby ruchy czułków i trąbki były łatwo obserwowalne (Rysunek 1A). Przed owadem umieszcza się źródło zapachu, a za nim źródło próżni, aby usuwać zapachy z powietrza i zminimalizować potencjalne efekty adaptacji sensorycznej (Rysunek 1B). Nad głową owada, na statywie, umieszcza się konwencjonalną kamerę internetową. W polu widzenia kamery można ustawić diodę LED, która będzie sygnalizować moment podawania zapachu.

Schemat równowagi statycznej z kątami θ_left, θ_right oraz osiami kartezjańskimi X i Y.
Rysunek 2: Układ współrzędnych anteny. Wartości X, Y odpowiadają układowi współrzędnych wideo, w którym lewy górny róg jest początkiem układu, a wartości X i Y zwiększają się podczas przesuwania w kierunku prawego dolnego rogu. Kąty wyrażone są w stopniach względem przodu głowy (zazwyczaj źródła zapachu). Wartość „0” oznacza, że linia tworzona przez flagellum anteny jest skierowana bezpośrednio przed zwierzę. Wszystkie kąty są dodatnie, z wyjątkiem sytuacji, gdy antena jest skierowana w przeciwnym kierunku (np. prawe flagellum skierowane jest w lewo). Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Po nagraniu plik wideo jest otwierany w oprogramowaniu SwarmSight, w którym użytkownik umieszcza widżet Antenna Sensor (Rysunek 1D, czarny kwadrat) nad głową owada i uruchamia odtwarzanie wideo. Po zapisaniu wyników plik .csv będzie zawierał pozycje X, Y końcówek czułków, kąty nachylenia czułków względem przodu głowy (Rysunek 2) oraz pozycję X, Y cycumna. Dodatkowo dla każdego czułka obliczana jest metryka sektora dominującego. Metryka ta wskazuje, który z pięciu 36-stopniowych sektorów otaczających każdy czułek zawierał najwięcej punktów uznanych za prawdopodobne położenie czułków; może to być przydatne w sytuacjach, gdy metryki pozycji/kąta czułków są niewiarygodne z powodu szumów lub innych problemów w nagraniu wideo.

Krótko mówiąc, oprogramowanie działa w oparciu o zestaw filtrów ruchu53 oraz zmodyfikowany algorytm zalewania (flood fill)54. Aby zidentyfikować prawdopodobne punkty czułków, stosuje się dwa filtry: filtr różnicy trzech następujących po sobie klatek41,55 oraz filtr odejmowania tła medianowego56. Do wykrywania punktów na trąbce stosowany jest filtr progu odległości kolorystycznej. Połączono górne 10% punktów z każdego filtra, a algorytm zalewania, który sprawdza sąsiadujące punkty z przerwami do 2 pikseli (px), lokalizuje punkty skrajne. Wysoką wydajność uzyskano dzięki równoległym potokom dekodowania, przetwarzania i renderowania klatek oraz zoptymalizowanej alokacji pamięci dla przepływu danych filtrów. Surowe wartości współrzędnych x i y generowane przez oprogramowanie są poddawane postprocesowaniu za pomocą kroczącego filtra medianowego z 3 klatek57 (patrz: Dyskusja). Instrukcje pobierania pełnego kodu źródłowego znajdują się w internecie58.

Poniżej znajduje się protokół przygotowania robotnicy pszczoły miodnej do śledzenia ruchów czułków. Podobny protokół można zastosować do śledzenia ruchów czułków lub proboscis u każdego innego owada. W sekcji wyników opisujemy przykładowy zapis ruchu czułka wykryty przez oprogramowanie, porównanie wyników oprogramowania z analizą przeprowadzoną przez oceniających oraz ocenę ruchu czułków w odpowiedzi na pięć substancji zapachowych.

Protokół

1. Łapanie i wykorzystywanie pszczół miodnych

  1. Postępuj zgodnie z krokami protokołu od 1 do 3.1.1 Smith and Burden59.

2. Przygotowanie uprzęży dla zwierząt i kamery wideo

  1. Ukryj nogi, nakładając taśmę na górną część rurki uprzęży, sprawdzając wzrokowo, czy nogi nie są widoczne poruszające się od góry.
  2. Unieruchomić głowę, nakładając podgrzany wosk na tył głowy owada. Sprawdź wzrokowo, czy głowa jest nieruchoma i nie porusza się. W tym momencie czułki i żuchwy powinny być jedynymi wyrostkami, które mogą się swobodnie poruszać.
  3. Zmaksymalizuj kontrast między antenami a tłem wideo, umieszczając białą kartkę papieru pod uprzężą przeciw owadom. Aby zminimalizować konieczność późniejszej regulacji kamery, zaznacz położenie uprzęży przeciw owadom na papierze, a następnie umieść nowe osobniki w tym samym miejscu.
  4. Ustal pozycję kamery za pomocą statywu lub uchwytu na kamerę internetową, aby umieścić kamerę nad głową owada. Korzystając z oprogramowania kamery, wyświetl podgląd wideo i powiększ, aby powiększyć obraz głowy, co pozwala na uzyskanie ~20 - 30% prześwitu ze wszystkich stron wideo.
    1. Upewnij się, że jedynymi poruszającymi się obiektami w widoku kamery są czułki lub trąbka/żuchwy i w razie potrzeby zmień położenie kamery lub zwierzęcia.
      UWAGA: SwarmSight sprawdza ruch w pikselach otaczających głowę. Obcy ruch w bezpośrednim sąsiedztwie głowy spowodowany przez przedmioty, takie jak nogi, cienie, wentylatory lub ludzie, może zmylić oprogramowanie i wprowadzić dodatkowy hałas.
  5. Zminimalizuj cienie anteny, dostosowując oświetlenie otoczenia.
    UWAGA: Oprogramowanie toleruje niektóre cienie, ale aby uzyskać najlepsze wyniki, należy je ograniczyć do minimum.
  6. Zapobiegaj automatycznej regulacji ekspozycji aparatu, korzystając z oprogramowania do czasu otwarcia migawki aparatu, aby utrzymać stały czas ekspozycji aparatu przez cały czas trwania filmu. Korzystając z oprogramowania, dostosuj czas otwarcia migawki, aby zmaksymalizować kontrast (scena wideo nie jest zbyt jasna ani zbyt ciemna), dostosowując "Suwak ekspozycji" w sekcji "Ustawienia kamery internetowej"
    UWAGA: Powyższe instrukcje dotyczą używanej kamery internetowej i oprogramowania. Będą one musiały zostać dostosowane, jeśli używane są inne kamery internetowe.
  7. Umieść źródło dostarczania zapachów i upewnij się, że nie zasłania ono kamery view, sprawdzając obraz wideo z kamery. Upewnij się, że źródło podciśnienia jest umieszczone po przeciwnej stronie, aby usunąć zapachy bodźców.
  8. Umieść diodę LED lub inny wskaźnik wizualny, który zmienia jasność, aby wskazać dostarczanie zapachu, w view kamery.
    UWAGA: Wartość jasności diody LED jest zapisywana przez oprogramowanie i może być wykorzystana do określenia dokładnych ramek, kiedy zaczyna się i kończy dostarczanie zapachu.

3. Filmuj każdą osobę w warunkach eksperymentalnych

  1. Sfilmuj każdego pojedynczego owada i stan testowy w oddzielnych plikach wideo, nagrywając każdą pojedynczą kombinację testową osobno lub używając oprogramowania do edycji wideo, aby podzielić długi plik wideo na mniejsze pliki.
    UWAGA: Oprogramowanie wymaga od użytkownika zlokalizowania pozycji głowy w każdym filmie i aby głowa pozostała nieruchoma. Jeśli głowa się poruszy, zostanie wprowadzony dodatkowy hałas. Funkcja przetwarzania wsadowego w SwarmSight pozwala użytkownikowi szybko ustawić lokalizację głowy dla wielu filmów i zakłada, że głowa owada pozostaje niezmienna przez czas trwania każdego pliku wideo. Instrukcje dotyczące dzielenia długich plików wideo można znaleźć w Internecie60.

4. Analiza wideo

  1. Pobierz i zainstaluj moduł 'Antenna Tracking', postępując zgodnie z instrukcjami podanymi online58.
    UWAGA: Filmy instruktażowe opisujące sposób korzystania z oprogramowania są również dostępne na stronie internetowej.
  2. Otwórz plik wideo przedstawiający sfilmowane zwierzę za pomocą przycisku "Przeglądaj".
  3. Umiejscowienie czujnika antenowego i czujnika zabiegowego
    1. Po załadowaniu filmu umieść prostokątny widżet "Czujnik anteny" nad głową zwierzęcia, używając ikon obrotu i skali, aby wyrównać widżet z głową (zobacz Rysunek 1D na przykład).
    2. Umieść okrągły widżet "Czujnik leczenia" nad diodą LED, która wskazuje, kiedy prezentowany jest zapach lub bodziec.
      UWAGA: Czujnik leczenia będzie rejestrował wartość jasności piksela w środku widżetu dla każdej klatki.
  4. Rozpoczynanie przetwarzania wideo
    1. Naciśnij przycisk "Odtwórz" (trójkąt) w lewym dolnym rogu, aby rozpocząć analizę klatek.
      UWAGA: Wykryte prawdopodobne punkty anteny i trąby zostaną podświetlone na żółto. Żółte pierścienie pokażą położenie końcówek przydatków. Kąty (gdzie 0 znajduje się bezpośrednio przed zwierzęciem) anteny i długość przedłużenia trąbki zostaną pokazane w widżecie "Model" w lewym dolnym rogu (patrz Rysunek 1D). Widżet "Dominujące sektory" w prawym dolnym rogu pokaże względną intensywność pięciu sektorów 36 stopni, w których wykryto najwięcej punktów antenowych. Najciemniejsze sektory zawierają najwięcej punktów, podczas gdy najjaśniejsze mają ich najmniej. Numer sektora (1 - 5) z największą liczbą punktów zostanie pokazany w dolnych rogach widżetu (patrz Rysunek 1D).
  5. Dostosowywanie progów filtrów i dodawanie stref wykluczenia
    1. Aby zmienić czułość filtrów, dostosuj suwaki w sekcji "Filtry" na prawym panelu.
      UWAGA: W zależności od warunków oświetleniowych i ogólnej prędkości ruchu przydatków, optymalna będzie różna czułość filtra. Użytkownik może znaleźć optymalne wartości, dostosowując wartości i obserwując podświetlone obszary w widżecie Czujnik anteny. Gdy zostanie znaleziony idealny zestaw czułości, podświetlone zostaną tylko przydatki. Zaleca się szybkie przewijanie do innych części filmu, aby upewnić się, że czułość filtra jest optymalna również tam.
    2. Opcjonalnie, aby zignorować obce obiekty, na prawym panelu rozwiń sekcję "Czujnik anteny", kliknij przycisk "Dodaj strefę wykluczenia" (patrz Rysunek 1D), a następnie kliknij zestaw punktów, aby utworzyć czerwony wielokąt, którego zawartość zostanie zignorowana przez oprogramowanie.
      UWAGA: Jeśli film zawiera ruch zewnętrzny, a ruch znajduje się w strefie widżetu czujnika anteny (np. poruszające się nogi, silne cienie, sprzęt laboratoryjny itp.), oprogramowanie może pomylić go z ruchem wyrostka roboczy. Obce obiekty można zignorować, rysując czerwone wielokąty lub "Strefy wykluczenia". Wszystko, co znajduje się w czerwonym wielokącie, nie będzie używane do śledzenia.
  6. Zapisywanie wyników
    1. Po skonfigurowaniu filtrów i widżetów zatrzymaj wideo, uruchom je ponownie od początku i odtwórz do końca.
      UWAGA: Po odtworzeniu całego filmu pozycje przydatków dla wszystkich klatek wideo zostaną zapisane w pamięci.
    2. Aby zapisać dane o pozycji dołączki do pliku, rozwiń sekcję "Zapisz" po prawej stronie i kliknij przycisk "Zapisz w . CSV". Następnie wybierz folder, w którym chcesz zapisać plik.
      UWAGA: Opcja "Zapisz w . CSV" zapisze wyniki przetwarzania do pliku .csv. Domyślnie użytkownik otrzyma propozycję zapisania pliku .csv w tym samym folderze co plik wideo, a w nazwie pliku będzie miała datę i godzinę. Wynikowy plik .csv będzie zawierał zestaw kolumn, które zawierają informacje o położeniu przydatków, w tym kąty anteny i dominujące sektory, a także orientację i położenie głowy. Opis każdej kolumny jest dostępny online61.
    3. Opcjonalnie użyj pól Kolumny i Wartości w sekcji Zapisz, aby utworzyć dodatkową kolumnę (lub więcej, jeśli są oddzielone przecinkami) w pliku .csv w celu zarejestrowania informacji, takich jak identyfikator podmiotu lub nazwa warunku eksperymentalnego.
      UWAGA: Wartość w polu Kolumny pojawi się w nagłówku pierwszej kolumny, a wartość w polu Wartości zostanie powtórzona we wszystkich wierszach pierwszej kolumny.
  7. Przetwarzanie wsadowe
    UWAGA: Oprogramowanie może przetwarzać wiele plików wideo w partii. Jednak przed rozpoczęciem wsadu użytkownik musi podać informacje o lokalizacji głównej dla każdego filmu.
    1. W prawym panelu, w sekcji "Pliki wideo", kliknij przycisk "Przetwarzanie wsadowe", aby otworzyć okno, które umożliwia utworzenie listy plików wideo do sekwencyjnego przetwarzania przez oprogramowanie.
    2. Użyj przycisku "Dodaj więcej plików wideo do wsadu", aby wybrać jeden lub więcej plików wideo, które mają zostać uwzględnione na liście wsadowej.
    3. Opcjonalnie użyj "CTRL" lub "SHIFT", aby wybrać wiele filmów, które będą używać tego samego zestawu parametrów widżetu.
      UWAGA: Dobrymi kandydatami do ponownego użycia parametrów są zestawy filmów przedstawiających to samo zwierzę, które nie zostało przeniesione między różnymi warunkami doświadczalnymi.
    4. Rozpocznij ustawianie parametrów widżetu, które mają być używane dla wybranych filmów, klikając przycisk "Ustaw pozycje czujników dla wybranych".
    5. Dostosuj parametry w sekcjach Czujnik anteny, Czujnik leczenia, Filtry lub Zapisz, a po zakończeniu kliknij "Zapisz parametry w partii".
    6. Po wybraniu parametrów dla każdego filmu rozpocznij proces wsadowy, klikając przycisk "Rozpocznij przetwarzanie".
      UWAGA: Oprogramowanie załaduje pliki wideo w kolejności, w jakiej pojawiają się na liście wsadowej, przetworzy je i zapisze odpowiadające im pliki .csv w tym samym folderze, w którym znajdują się pliki wideo. Pasek postępu u góry pokazuje szacowany czas ukończenia po ukończeniu pierwszego filmu.

Wyniki

W poniższych sekcjach przedstawiono przykładowy wykres kątów anten produkowany na podstawie danych z oprogramowania, porównanie dokładności i szybkości oprogramowania z oceniającymi ludźmi oraz wyniki eksperymentu, w którym ruch anten pszczół miodnych był zależny od prezentacji różnych zapachów. Do przeprowadzenia analizy i wygenerowania rycin wykorzystano oprogramowanie R62,63. Kod R do analizy i generowania rycin, a także tutoriale wideo są dostępne online58.

Wynik programu:

Rycina 3 przedstawia pięć losowo wybranych przebiegów kątów anten wykrytych przez oprogramowanie z filmów z pszczołami miodnymi poddanych działaniu czystego oraz rozcieńczonych 35-krotnie w oleju mineralnym heptanalu i heptanolu, a także czystego powietrza.

Wykres odpowiedzi kąta anten; efekt bodźców zapachowych; eksperyment z heptanolem i heptanalem; analiza danych.
Rysunek 3: Pięć przykładowych przebiegów kątów anten wykrytych przez SwarmSight. Oś Y przedstawia kąt anteny w stopniach, gdzie „0” znajduje się bezpośrednio przed zwierzęciem, w stronę źródła zapachu, a większe wartości wskazują kierunek przeciwny do źródła zapachu. Heptanol, heptanal i ich wersje rozcieńczone 35x w oleju mineralnym, a także czyste powietrze, były podawane pojedynczym pszczołom robotniczym zbieraczom w szarych oknach czasowych 0 – 3 600 ms. Lewa antena jest zaznaczona na czerwono, prawa na niebiesko. Na pięciu wykresach przedstawiono pięć losowych pszczół, po jednej dla każdego warunku. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Walidacja oprogramowania:

Aby zweryfikować, czy oprogramowanie potrafi niezawodnie wykrywać położenie anten, pozycje anten wyznaczone przez ludzi porównano z pozycjami wyznaczonymi przez oprogramowanie. Dwóch oceniających zostało poproszonych o wskazanie końcówek anten i trąbki w 425 klatkach wideo (~14 s nagrania). Specjalistyczny moduł oprogramowania rejestrował zaznaczone przez oceniających położenia wyrostków, automatycznie przesuwał klatki wideo i odnotowywał czas poświęcony na to zadanie. Jako przykład zgodności między wartościami wyznaczonymi przez ludzi a tymi wyznaczonymi przez oprogramowanie, na Rysunku 4A przedstawiono nałożone na siebie ślady współrzędnych pionowych jednej anteny dla oprogramowania oraz dla dwóch pozycji wykrytych przez ludzi. Obliczono odległość między zaznaczonymi przez dwóch oceniających pozycjami anten i nazwano ją „Inter-Human Distance”. Odległość między położeniem anteny wykrytym przez oprogramowanie a najbliższym położeniem wykrytym przez oceniających obliczono i nazwano „Software-Closest Human Distance” (Rysunek 4B).

Analiza śledzenia mrówek; wykresy porównawcze dokładności detekcji przez ludzi i oprogramowanie na wykresach słupkowych.
Rysunek 4: Porównanie z oceniającymi ludźmi. (A) Dwóch oceniających ludzi oraz program SwarmSight zlokalizowali końcówki anten w 425 klatkach wideo. Nałożono na siebie współrzędne Y końcówek lewej anteny wyznaczone klatka po klatce przez ludzi i oprogramowanie. (B) Nałożone na siebie rozbieżności klatka po klatce (odległość w pikselach wideo) pomiędzy oceniającymi ludźmi (pomarańczowy) oraz rozbieżności pomiędzy oprogramowaniem a najbliższą wartością wyznaczoną przez człowieka (czarny). (C) Lokalizacje końcówek anten: człowiek vs człowiek (pomarańczowy) oraz oprogramowanie vs człowiek (czarny). (D) Histogramy i rozkłady skumulowane (przerywane) odległości rozbieżności klatka po klatce dla par człowiek vs człowiek oraz oprogramowanie vs człowiek. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Średnia odległość między ludźmi (Inter-Human Distance) wynosiła 10,9 px, w 95% klatek mieściła się w przedziale do 55,2 px, a jej wartość maksymalna wyniosła 81,6 px. Średnia odległość od najbliższego człowieka według oprogramowania (Software-Closest Human Distance) wynosiła 8,0 px, w 95% klatek mieściła się w przedziale do 18,3 px, a jej wartość maksymalna wyniosła 49,0 px (patrz histogramy odległości na Rysunku 4D oraz Rysunku 4C). Wartość 5 px odpowiadała w przybliżeniu szerokości anteny. Ogólnie odległość między ludźmi była niewielka w klatkach na początku zadania i zwiększała się w drugiej jego połowie. Podejrzewamy, że wynikało to ze zmęczenia oceniających. Jednocześnie poziom odległości od najbliższego człowieka według oprogramowania pozostał stały przez cały czas trwania zadania.

Porównanie szybkości i dokładności oprogramowania z ocenami ludzkimi:

Ludzie oceniali położenie końców anten i trąbek z średnią prędkością 0,52 klatek na sekundę (fps). Aby oszacować ludzką wartość fps, całkowitą liczbę klatek ocenionych przez ludzi (po 425 każdemu) podzielono przez całkowity czas poświęcony na to zadanie (873 s i 761 s). Oprogramowanie oceniało klatki średnio z prędkością 65 fps na komputerze PC z systemem Windows 7 i procesorem Dual-Core. Biorąc pod uwagę wysoką prędkość przetwarzania oraz dokładność podobną lub wyższą niż w przypadku oceniających ludzi, można oczekiwać, że oprogramowanie wykona pracę około 125 oceniających ludzi w jednostce czasu.

Wykrywanie odpowiedzi czułków na zapachy:

Aby wykazać, że protokół ten może być wykorzystany do wykrywania istotnych różnic behawioralnych w ruchu owadów, poddano 23 samice pszczoły miodnej działaniu dwóch różnych zapachów. Czysty heptanal i heptanol, rozcieńczenia obu zapachów w oleju mineralnym w stosunku 35x oraz czyste powietrze jako kontrola były prezentowane po 4 s każdy (łącznie pięć warunków). Filmy, zgodnie z powyższym protokołem, przetworzono za pomocą oprogramowania SwarmSight, a następnie przeanalizowano kąty nachylenia czułków (Rycina 5).

Odpowiedź kąta czułka na bodźce zapachowe na mapach kolorów, heptanol, heptanal, analiza eksperymentalna.
Rysunek 5: Średnie kąty czułków i mapy ciepła gęstości dla pięciu warunków zapachowych. (A) Mapy ciepła przedstawiające gęstość kąta czułków przed, w trakcie (ciemniejszy region środkowy) i po podaniu zapachów heptanolu, powietrza i heptanalu robotnicom pszczoły miodnej (n = 23). Czarne krzywe przedstawiają średnie kąty czułków dla każdej klatki (oba czułki). Linie poziome oznaczają średnie kąty przed podaniem zapachu (linia bazowa). Zwróć uwagę na skupisko preferowanych pozycji czułków (czerwone skupisko na dolnym wykresie) oddalonych od źródła zapachu w przypadku czystych zapachów oraz odpowiadające temu zmiany średniego kąta czułka. Zwróć również uwagę na skupisko „odbicia” po ustaniu zapachu i jego widoczną zależność od stężenia zapachu w momencie wystąpienia (patrz lokalizacja skupisk na pozostałych czterech wykresach). Skala kolorów mapy ciepła gęstości jest umowna, ale jednolita dla wszystkich warunków. (B) Średnia zmiana kąta względem średniej przed podaniem zapachu (słupki błędu S.E.M). Z wyjątkiem powietrza, wszystkie średnie zmiany były istotne (test t, p <0.05). Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Klatki wideo z 9 s segmentów filmu, składających się z 3 s przed wystąpieniem zapachu, 3,6 s prezentacji zapachu oraz 2,4 s po ustąpieniu zapachu, zostały wyrównane dla wszystkich osobników i warunków (300 klatek/segment). Dla każdej warunki obliczono średnie wartości kątów obu anten wszystkich osobników dla każdej klatki, które nazwano „Mean Angles” (Rysunek 5A, czarne krzywe). Obliczono również średnie kąty anten w klatkach przed wystąpieniem zapachu dla wszystkich osobników w każdej warunku, które nazwano „Pre-Odor Baselines” (Rysunek 5A, cienkie linie poziome).

We wszystkich warunkach, z wyjątkiem kontroli, średnie kąty zwiększyły się względem wartości bazowych, osiągając szczyt raz w przedziale 750 - 1 050 ms po pojawieniu się zapachu (Rysunek 5A, czarne krzywe w regionie 0 - 3 600 ms). Istotność średnich zmian względem wartości bazowych (Rysunek 5B) sprawdzono, porównując średnie z obu anten u poszczególnych osobników w czasie szczytowego średniego kąta prezentacji zapachu dla każdego warunku ze średnią bazową, stosując serię jednopróbkowych testów t (testy normalności Shapiro nie były istotne we wszystkich warunkach). Średnia zmiana kąta względem wartości bazowej wyniosła 26,9° dla czystego heptanalu (szczyt średniej w 750 ms po pojawieniu się zapachu), 21,1° dla 0,2 M heptanalu (w 990 ms), 19,6° dla czystego heptanolu (w 1 050 ms), 19,3° dla 0,2 M heptanolu (w 780 ms) oraz 3,45° dla kontroli powietrznej (brak szczytu). We wszystkich warunkach, z wyjątkiem kontroli, średnia zmiana kąta względem wartości bazowej była istotna (poprawione p według metody Holma <0,05). Zauważono, że średni kąt powraca do wartości bazowej wolniej w odpowiedzi na czyste substancje zapachowe niż na substancje rozcieńczone (średnia przefiltrowana filtrem dolnoprzepustowym powróciła do wartości bazowej w 3 690 ms po pojawieniu się zapachu dla czystego i w 2 940 ms dla rozcieńczonego heptanolu; dla heptanalu czasy powrotu wyniosły 4 260 ms dla wersji czystej i 3 000 ms dla wersji rozcieńczonej).

Wizualizacja przy użyciu map ciepła:

Aby zwizualizować odpowiedzi antenalne, dla każdego stanu wygenerowano mapy ciepła gęstości kątów anten (Rycina 5A, tło niebiesko-czerwone). Kąty anten w 10 s segmentach wideo dla każdego osobnika w danym stanie zostały splotowane z jądrem Gaussa (pakiet R MASS, funkcja kde2d64). Obszary niebieskie wskazują niską gęstość kątów anten, natomiast obszary czerwone wskazują wysoką gęstość kątów anten. Mapa ciepła na dolnym wykresie na Rycini 5A dla stanu z czystym heptanalem ilustruje zachowanie anten.

Mapa pokazuje, że przed podaniem zapachu (t < 0), gęstość kątów anten jest rozłożona stosunkowo równomiernie we wszystkich zakresach. Około 1 s po wystąpieniu zapachu (t ~1 000 ms) pojawia się para klastrów niebieskich i czerwonych. W obszarach zaznaczonych na czerwono anteny występowały częściej niż w obszarach zaznaczonych na niebiesko. Niebieski klaster wskazuje, że anteny miały tendencję do unikania mniejszych kątów (źródło zapachu znajdowało się w kierunku 0 stopni), natomiast czerwony klaster wskazuje, że anteny preferowały większe kąty (z dala od źródła zapachu). Czerwony klaster stopniowo znika w miarę utrzymywania obecności zapachu. Kolejny czerwony, choć mniej intensywny, klaster pojawia się około 1 s po zakończeniu podawania zapachu. Drugie czerwone klastry nazywamy „Klastrami Odbicia” (Rebound Clusters). Zgodnie z powyższymi średnimi czasami powrotu kąta, zauważamy, że klastry odbicia wydają się pojawiać wcześniej i są mniej intensywne w przypadku zapachów rozcieńczonych niż w przypadku zapachów czystych.

Dyskusja

Przedstawiona tutaj metoda umożliwia śledzenie w czasie rzeczywistym ruchów anteny i trąbki owadów bez konieczności specjalnego przygotowania zwierząt lub sprzętu.

Ograniczenia:

Pomimo tych zalet istnieją pewne ograniczenia tej metody. Obejmują one wymóg, aby głowa zwierzęcia nie mogła się poruszać, konieczność wyboru przez użytkownika lokalizacji i orientacji zwierzęcia dla każdego filmu, wymóg dostępu do komputera z systemem Windows oraz brak możliwości śledzenia ruchu przez oprogramowanie w trzech wymiarach (3D) i w niektórych wizualnie niejednoznacznych pozycjach przydatków opisanych poniżej.

Oprogramowanie wymaga, aby głowa zwierzęcia była zamocowana na miejscu i nie poruszała się podczas wideo. Jest to podobne do przygotowań poprzedniej pracy 48,49,50,51. Możliwe jest zmodyfikowanie oprogramowania w taki sposób, aby umożliwiało automatyczne wykrywanie obrotów głowicy, jednak pochłonęłoby to dodatkowy czas przetwarzania i wprowadziło nowe źródło błędów. Gdyby zmodyfikowane oprogramowanie wykryło nieprawidłowy obrót głowicy, wpłynęłoby to na kąty anten, ponieważ ich obliczenia są względne w stosunku do kąta obrotu głowicy. Obecnie użytkownik wybiera orientację głowy raz na film. Takie podejście, choć nie jest pozbawione błędów ludzkich, minimalizuje błędy w obliczeniach kąta, gdy głowa nie może się poruszać podczas wideo.

Oprogramowanie wymaga również systemu operacyjnego Windows 7 (lub nowszego). Celem było uczynienie oprogramowania łatwym w instalacji, konfiguracji i obsłudze przez użytkowników bez konieczności programowania lub zaawansowanych umiejętności administrowania komputerem. Zdecydowaliśmy się skupić na systemie Windows, ponieważ jest on powszechnie dostępny, a w przypadkach, gdy dostęp do niego jest ograniczony, można łatwo utworzyć maszyny wirtualne (np. VirtualBox, VMware, Parallels) z systemem Windows. Ten wybór systemu operacyjnego znacznie upraszcza instalację oprogramowania dzięki użyciu łatwego w użyciu instalatora bez wiersza poleceń i pozwala uniknąć błędów specyficznych dla różnych systemów operacyjnych.

Oprogramowanie śledzi tylko położenie przydatków w przestrzeni 2D. Wiadomo, że owady poruszają swoją anteną w 3D, co może oznaczać, że ważne informacje są tracone, gdy mierzone są tylko współrzędne 2D. Podczas gdy użycie wielu kamer lub luster może pomóc w zebraniu dodatkowych informacji wymaganych do lokalizacji 3D, możliwe jest obliczenie, za pomocą relacji trygonometrycznych, szacowanego położenia poza płaszczyzną, zakładając, że anteny są pojedynczymi odcinkami linii o stałej długości i poruszają się tylko po jednej stronie płaszczyzny kamery. W przypadku pszczół miodnych założenie to jest prawdziwe w przypadku uzyskania przybliżonych szacunków pozycji w 3D, ale niekoniecznie w przypadku innych gatunków i sytuacji.

Oprogramowanie nie wykryje poprawnie lokalizacji anten i końcówek trąbek w niektórych niejednoznacznych sytuacjach. Jeśli zwierzę przesunie antenę w taki sposób, że na filmie nachodzi ona na przedłużoną trąbkę, oprogramowanie prawdopodobnie wykryje końcówkę anteny jako końcówkę trąbki. Jednak kąt anteny będzie prawdopodobnie nadal prawdopodobnie obliczony poprawnie (z części nienakładającej się). Podobnie, jeśli końcówki anteny poruszają się bezpośrednio nad głową zwierzęcia (tj . nie po bokach), oprogramowanie może wykryć tylko tę część anteny, która jest widoczna na zewnątrz głowy, lub przyjąć poprzednie położenie anteny, lub wykryć fałszywy szum wideo jako lokalizację anteny. W obu sytuacjach nawet ludzie oceniający mają trudności z odróżnieniem anteny od trąbki lub głowy. Aby złagodzić ten problem, zalecamy zastosowanie 3-ramkowego, symetrycznego filtra kroczącej mediany57 do surowych współrzędnych X i Y utworzonych przez oprogramowanie. Filtr ten usuwa duże przejściowe (jednoramkowe) wahania położenia i zachowuje dłuższe ruchy pozycji anteny. Odkryliśmy, że filtr z 3 klatkami działał lepiej niż brak filtra, podczas gdy szersze filtry (np. 5, 11 lub 15 klatek) zmniejszały dokładność. Przykładowy kod języka R, który korzysta z filtru, oraz samouczek wideo można znaleźć w Internecie58.

Wartość jako narzędzie naukowe:

Dostępność metody pozwalającej na szybkie uzyskanie dokładnych ruchów przydatków owadów w opłacalny sposób może potencjalnie otworzyć nowe obszary badań.

Odruch wydłużania trąbki (PER) jest powszechnie stosowaną reakcją behawioralną do badania uczenia się i pamięci różnych owadów59. Poprzednie badania generalnie opierały się na binarnej rozszerzonej lub nierozszerzonej mierze PER, chociaż analizy wideo i elektromiograficzne wykazały znacznie bardziej złożone topologie ruchów trąbek65,66. Opracowana w tym celu metoda pozwala na szybką kwantyfikację ruchów trąbek w wysokich rozdzielczościach czasowych i przestrzennych.

Ruchy anten owadów w odpowiedzi na zapachy są słabo poznane. Jedną z przyczyn takiego stanu rzeczy jest to, że anteny mają tendencję do poruszania się tak szybko, że nie jest dostępny opłacalny, zautomatyzowany sposób uzyskiwania danych o ruchu anteny. Przedstawiona tutaj metoda może być wykorzystana do szybkiego uzyskania danych o ruchu anteny dla dużej liczby owadów w wielu warunkach. Może to pomóc na przykład naukowcom badającym mapowanie ruchów anteny w odpowiedzi na różne bodźce, w szczególności lotne zapachy. Korzystając z kamer, które rejestrują klatki z częstotliwością 30 Hz, oprogramowanie może być używane do charakteryzowania dynamiki ruchu anteny do 15 Hz (limit Nyquista). Jeśli potrzebna jest charakteryzacja w wyższych częstotliwościach, można zastosować kamery o wyższych szybkościach przechwytywania (np . 60 lub 120 kl./s). Jednak do przetwarzania filmów z większą liczbą klatek na sekundę w czasie rzeczywistym może być wymagany szybszy komputer. Spekulujemy, że klasy zapachów, a być może nawet niektóre pojedyncze zapachy, mają charakterystyczne wrodzone ruchy czułków. Gdyby te klasy lub związki mogły zostać odkryte, nieznane zapachy lub ich klasa mogłyby zostać wykryte na podstawie ruchu czułków niewyszkolonych owadów. Jeśli takie mapowanie istnieje, to połączenie wystarczającej ilości danych o ruchu anteny i najnowocześniejszych algorytmów uczenia maszynowego powinno zacząć je odkrywać. Również to, w jaki sposób to mapowanie zmienia się w odpowiedzi na uczenie się, kształtuje się podczas rozwoju lub jest zakłócane przez interwencje genetyczne, może dać wgląd w funkcje układu węchowego. Wreszcie, prace te mogą dostarczyć informacji na temat sztucznego wykrywania zapachów, jeśli ujawnią optymalne metody próbkowania zapachów w złożonych środowiskach.

Przyszłe prace:

Pokazaliśmy tutaj, że dane o ruchu anteny można szybko uzyskać i przeanalizować: na podstawie danych generowanych przez nasze oprogramowanie można wykryć znaczące reakcje behawioralne i zidentyfikowano kilka obszarów wymagających dalszych badań.

Przebiegi czasowe odchyleń kąta anteny wywołanej bodźcem od linii bazowej i powrotu do niej oraz wszelkie efekty odbicia bodziec-wniosek i jego zależność od stężenia zapachu mogą być badane i modelowane matematycznie. Dodatkowo, wszelkie zmiany ruchów anteny wywołane przez warunkowanie apetytywne lub awersyjne mogą być również oceniane za pomocą oprogramowania.

Można również zbadać lepsze różnicowanie zapachów. W tym badaniu oba zapachy, w wersji czystej i 35-krotnie rozcieńczonej, wywołały podobne reakcje: średnio czułki wydawały się szybko oddalać od źródła zapachu i po kilku sekundach wracać do linii wyjściowych sprzed zapachu. Spekulujemy, że nawet rozcieńczone wersje mogły być bardzo silnymi bodźcami węchowymi dla pszczół miodnych. Jeśli to prawda, szerszy zakres stężeń może być użyty do określenia, czy reakcje czułkowe różnicują zapachy. Ponadto bardziej wyrafinowana analiza może lepiej ujawnić różnice w ruchach anten w odpowiedzi na różne zapachy. Pliki danych użyte do wygenerowania rycin w tym manuskrypcie udostępniliśmy zainteresowanym badaczom na stronie internetowej SwarmSight67.

Co więcej, choć nie wchodzi to w zakres tego manuskryptu, oprogramowanie może zostać rozszerzone o przetwarzanie filmów przedstawiających zwierzęta umieszczone w komorach z podwójnymi lustrami ustawionymi pod kątem 45° (patrz na przykład rysunek 1D ). Można to wykorzystać do dokładnego lokalizowania i śledzenia przydatków i ich ruchu w przestrzeni 3D. Jednak algorytmy śledzenia 3D byłyby wymagane, aby skutecznie: (a) ujednoznaczniać między wieloma antenami, gdy są one widoczne w jednym z lusterek bocznych, (b) korygować niedoskonałości kątów zwierciadła oraz (c) uwzględniać zniekształcenia spowodowane ustawieniem kamery.

Wreszcie, dodatkowe korzyści w dokładności położenia można osiągnąć dzięki zastosowaniu filtra Kalmana68, który modeluje i wykorzystuje informacje o stanie fizycznym, takie jak prędkość wyrostka i przyspieszenie, do ograniczenia przewidywanych lokalizacji. Jednak wszelkie wzrosty dokładności powinny być oceniane pod kątem wszelkich spadków prędkości spowodowanych dodatkowymi obliczeniami.

Konkluzja:

Wiele owadów używa anten do aktywnego pobierania próbek lotnych związków w swoim lokalnym środowisku. Wzorce w ruchach czułków mogą dostarczyć informacji na temat percepcji zapachu owadów i tego, jak wpływa na niego kondycjonowanie, związki toksyczne i zmiany genetyczne. Podobnie ruchy trąbek wykorzystano do oceny percepcji zapachu i jego modulacji. Jednak szybkie uzyskanie dużych ilości danych o ruchu przydatków w wysokiej rozdzielczości było trudne. Tutaj opisany jest protokół i oprogramowanie, które automatyzuje takie zadanie. Podsumowując, stworzyliśmy i pokazaliśmy, w jaki sposób połączenie niedrogiego sprzętu, zwykłego preparatu dla zwierząt i oprogramowania typu open source można wykorzystać do szybkiego uzyskania danych o ruchu wyrostka owadów o wysokiej rozdzielczości. Pokazano wyniki oprogramowania, w jaki sposób przewyższa ono oceniających pod względem szybkości i dokładności oraz w jaki sposób można analizować i wizualizować jego dane wyjściowe.

Oświadczenia

Autorzy oświadczają, że nie mają konkurencyjnych interesów finansowych.

Podziękowania

JB, SMC i RCG były obsługiwane przez NIH R01MH1006674 do SMC i NIH R01EB021711 do RCG. CMJ i BHS były wspierane przez projekt laboratoryjny NSF Ideas dotyczący "Łamania kodu węchowego" dla BHS. Dziękujemy Kyle'owi Steinmetzowi, Taryn Oboyle i Rachael Halby za ich pomoc w przeprowadzeniu tych badań.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Uprząż przeciw owadomNieUżywaj materiałów potrzebnych do sekcji protokołu 1-3.1.1 Smith & Burden (2014)
Źródło dostarczania zapachówN/AN/AUżyj materiałów potrzebnych do sekcji 3 protokołu Smith & Burden (2014)
Źródło próżniNIE DOTYCZYNIE DOTYCZY Użyj materiałów potrzebnych do sekcji 3 protokołu Smith & Burden (2014)Dioda
LED podłączona do źródła dostarczania zapachówNIE DOTYCZYUżywaj materiałów potrzebnych do sekcji 3 protokołu Smith & Obciążenie (2014)
Lutownica niskonapięciowaStannolNiskonapięciowa mikrolutownica 12 V, 8 W
DCZasilacz TekpowerHY152A
StatywAmazonBasics50-calowy lekki statywOpcjonalny
aparatGeniusWideCam F100FLIR Flea3 lub inny aparat z ręcznym ustawianiem ostrości.
Oprogramowanie kameryOprogramowanie GeniusN/A jestdostarczane z aparatem. W systemie MacOS aplikacja Photo Booth może być używana do nagrywania filmów.
Oprogramowanie do pomiaru czasu otwarcia migawkiaparatu GeniusN/AOprogramowanie aparatu Genius umożliwia ustawienie czasu otwarcia migawki. W systemie Mac OS można zamiast tego używać okularów iGlasses firmy ecamm: http://www.ecamm.com/mac/iglasses/
System operacyjny WindowsMicrosoftWindows 7 Professionalw wersji 7 lub nowszej jest zgodny. Oracle VirtualBox, Parallels Desktop lub VMWare Fusion mogą być używane do tworzenia maszyny wirtualnej Windows w środowiskach MacOS.
Oprogramowanie SwarmSightŚledzenie wyrostkaSwarmSightPobierz z oprogramowania http://SwarmSight.org
RR ProjectR 3.4.0Pobierz z: Oprogramowanie https://cran.r-project.org/bin/windows/base/
R StudioRStudio RStudioDesktopPobierz z: https://www.rstudio.com/products/rstudio/download/
dotyczy

Bibliografia

  1. Hansson, B. S. Insect Olfaction. , Springer Science & Business Media. New York. (1999).
  2. Masson, C., Mustaparta, H. Chemical information processing in the olfactory system of insects. Physiol Rev. 70 (1), 199-245 (1990).
  3. Firestein, S. How the olfactory system makes sense of scents. Nature. 413 (6852), 211-218 (2001).
  4. Schneider, D. Insect antennae. Annu Rev Entomol. 9 (1), 103-122 (1964).
  5. Kaissling, K. Chemo-electrical transduction in insect olfactory receptors. Annu Rev Neurosci. 9 (1), 121-145 (1986).
  6. Nakagawa, T., Vosshall, L. B. Controversy and consensus: noncanonical signaling mechanisms in the insect olfactory system. Curr Opin Neurobiol. 19 (3), 284-292 (2009).
  7. Heisenberg, M. What do the mushroom bodies do for the insect brain? An introduction. Learn Memory. 5 (1), 1-10 (1998).
  8. Zars, T. Behavioral functions of the insect mushroom bodies. Curr Opin Neurobiol. 10 (6), 790-795 (2000).
  9. Heisenberg, M. Mushroom body memoir: from maps to models. Nature Rev Neurosci. 4 (4), 266-275 (2003).
  10. Pelletier, Y., McLEOD, C. D. Obstacle perception by insect antennae during terrestrial locomotion. Physiol Entomol. 19 (4), 360-362 (1994).
  11. Suzuki, H. Antennal movements induced by odour and central projection of the antennal neurones in the honey-bee. J Insect Physiol. 21 (4), 831-847 (1975).
  12. Wachowiak, M. All in a sniff: olfaction as a model for active sensing. Neuron. 71 (6), 962-973 (2011).
  13. Bruce, T. J., Wadhams, L. J., Woodcock, C. M. Insect host location: a volatile situation. Trends Plant Sci. 10 (6), 269-274 (2005).
  14. Lunau, K., Wacht, S. Optical releasers of the innate proboscis extension in the hoverfly Eristalis tenax L.(Syrphidae, Diptera). J Comp Physiol [A]. 174 (5), 575-579 (1994).
  15. Szucsich, N. U., Krenn, H. W. Morphology and function of the proboscis in Bombyliidae (Diptera, Brachycera) and implications for proboscis evolution in Brachycera. Zoomorphology. 120 (2), 79-90 (2000).
  16. Harder, L. D. Measurement and estimation of functional proboscis length in bumblebees (Hymenoptera: Apidae). Can J Zool. 60 (5), 1073-1079 (1982).
  17. Hobbs, G. A. Further studies on the food-gathering behaviour of bumble bees (Hymenoptera: Apidae). Canadian Entomol. 94 (05), 538-541 (1962).
  18. Krenn, H. W. Functional morphology and movements of the proboscis of Lepidoptera (Insecta). Zoomorphology. 110 (2), 105-114 (1990).
  19. Krenn, H. W. Feeding mechanisms of adult Lepidoptera: structure, function, and evolution of the mouthparts. Annu Rev Entomol. 55, 307-327 (2010).
  20. Hepburn, H. R. Proboscis extension and recoil in Lepidoptera. J Insect Physiol. 17 (4), 637-656 (1971).
  21. Ramírez, G., Fagundez, C., Grosso, J. P., Argibay, P., Arenas, A., Farina, W. M. Odor Experiences during Preimaginal Stages Cause Behavioral and Neural Plasticity in Adult Honeybees. Front Behav Neurosci. 10, (2016).
  22. Takeda, K. Classical conditioned response in the honey bee. J Insect Physiol. 6 (3), 168-179 (1961).
  23. Bitterman, M. E., Menzel, R., Fietz, A., Schäfer, S. Classical conditioning of proboscis extension in honeybees (Apis mellifera). J Comp Psychol. 97 (2), 107(1983).
  24. Lambin, M., Armengaud, C., Raymond, S., Gauthier, M. Imidacloprid-induced facilitation of the proboscis extension reflex habituation in the honeybee. Arch Insect Biochem Physiol. 48 (3), 129-134 (2001).
  25. Masterman, R., Smith, B. H., Spivak, M. Brood odor discrimination abilities in hygienic honey bees (Apis mellifera L.) using proboscis extension reflex conditioning. J Insect Behav. 13 (1), 87-101 (2000).
  26. Rix, R. R., Christopher Cutler, G. Acute Exposure to Worst-Case Concentrations of Amitraz Does Not Affect Honey Bee Learning, Short-Term Memory, or Hemolymph Octopamine Levels. J Econ Entomol. 110 (1), 127-132 (2017).
  27. Urlacher, E., et al. Measurements of Chlorpyrifos Levels in Forager Bees and Comparison with Levels that Disrupt Honey Bee Odor-Mediated Learning Under Laboratory Conditions. J Chem Ecol. 42 (2), 127-138 (2016).
  28. Charbonneau, L. R., Hillier, N. K., Rogers, R. E. L., Williams, G. R., Shutler, D. Effects of Nosema apis, N. ceranae, and coinfections on honey bee (Apis mellifera) learning and memory. Sci Rep. 6, (2016).
  29. Urlacher, E., Devaud, J. -M., Mercer, A. R. C-type allatostatins mimic stress-related effects of alarm pheromone on honey bee learning and memory recall. PLOS ONE. 12 (3), e0174321(2017).
  30. Eiri, D. M., Nieh, J. C. A nicotinic acetylcholine receptor agonist affects honey bee sucrose responsiveness and decreases waggle dancing. J Exp Biol. 215 (12), 2022-2029 (2012).
  31. Liang, C. -H., Chuang, C. -L., Jiang, J. -A., Yang, E. -C. Magnetic Sensing through the Abdomen of the Honey bee. Sci Rep. 6, (2016).
  32. Erber, J., Pribbenow, B., Bauer, A., Kloppenburg, P. Antennal reflexes in the honeybee: tools for studying the nervous system. Apidologie. 24, 283(1993).
  33. Erber, J., Kierzek, S., Sander, E., Grandy, K. Tactile learning in the honeybee. J Comp Physiol [A]. 183 (6), 737-744 (1998).
  34. Erber, J., Pribbenow, B. Antennal Movements in the Honeybee: How Complex Tasks are Solved by a Simple Neuronal System. Prerational Intelligence: Adaptive Behavior and Intelligent Systems Without Symbols and Logic, Volume 1, Volume 2 Prerational Intelligence: Interdisciplinary Perspectives on the Behavior of Natural and Artificial Systems, Volume 3. , 109-121 (2000).
  35. McAfee, A., Collins, T. F., Madilao, L. L., Foster, L. J. Odorant cues linked to social immunity induce lateralized antenna stimulation in honey bees (Apis mellifera L). Sci Rep. 7, (2017).
  36. Dötterl, S., Vater, M., Rupp, T., Held, A. Ozone Differentially Affects Perception of Plant Volatiles in Western Honey Bees. J Chem Ecol. 42 (6), 486-489 (2016).
  37. Wang, Z., et al. Honey Bees Modulate Their Olfactory Learning in the Presence of Hornet Predators and Alarm Component. PLOS ONE. 11 (2), e0150399(2016).
  38. Søvik, E., Plath, J. A., Devaud, J. -M., Barron, A. B. Neuropharmacological Manipulation of Restrained and Free-flying Honey Bees, Apis mellifera. J Vis Exp. (117), e54695(2016).
  39. Fang, Y., Du, S., Abdoola, R., Djouani, K., Richards, C. Motion Based Animal Detection in Aerial Videos. Procedia Computer Science. 92, 13-17 (2016).
  40. Miller, B., Lim, A. N., Heidbreder, A. F., Black, K. J. An Automated Motion Detection and Reward System for Animal Training. Cureus. 7 (12), (2015).
  41. Birgiolas, J., Jernigan, C. M., Smith, B. H., Crook, S. M. SwarmSight: Measuring the temporal progression of animal group activity levels from natural-scene and laboratory videos. Behav Res Methods. , (2016).
  42. Stern, U., Zhu, E. Y., He, R., Yang, C. -H. Long-duration animal tracking in difficult lighting conditions. Sci Rep. 5, 10432(2015).
  43. Macrì, S., Mainetti, L., Patrono, L., Pieretti, S., Secco, A., Sergi, I. A tracking system for laboratory mice to support medical researchers in behavioral analysis. Engineering in Medicine and Biology Society (EMBC), 2015 37th Annual International Conference of the IEEE. , 4946-4949 (2015).
  44. Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: a low-cost, image-based tracking system for the study of animal behavior and locomotion. PLOS ONE. 10 (9), e0136487(2015).
  45. York, J. M., Blevins, N. A., McNeil, L. K., Freund, G. G. Mouse short-and long-term locomotor activity analyzed by video tracking software. J Vis Exp. (76), e50252(2013).
  46. Noldus, L. P., Spink, A. J., Tegelenbosch, R. A. EthoVision: a versatile video tracking system for automation of behavioral experiments. Behav Res Methods. 33 (3), 398-414 (2001).
  47. Egnor, S. E. R., Branson, K. Computational Analysis of Behavior. Annu Rev Neurosci. 39 (1), 217-236 (2016).
  48. Cholé, H., Junca, P., Sandoz, J. -C. Appetitive but not aversive olfactory conditioning modifies antennal movements in honeybees. Learn Memory. 22 (12), 604-616 (2015).
  49. Shen, M., et al. Interactive tracking of insect posture. Pattern Recognit. 48 (11), 3560-3571 (2015).
  50. Mujagić, S., Würth, S. M., Hellbach, S., Dürr, V. Tactile conditioning and movement analysis of antennal sampling strategies in honey bees (apis mellifera l). J Vis Exp. (70), (2012).
  51. Shen, M., Szyszka, P., Deussen, O., Galizia, C. G., Merhof, D. Automated tracking and analysis of behavior in restrained insects. J Neurosci Methods. 239, 194-205 (2015).
  52. Bellard, F., Niedermayer, M. FFmpeg. , Available from: http://ffmpeg.org (2012).
  53. Cucchiara, R., Grana, C., Piccardi, M., Prati, A. Detecting moving objects, ghosts, and shadows in video streams. IEE Trans Pattern Anal Mach. 25 (10), 1337-1342 (2003).
  54. Shaw, J. R. QuickFill: An efficient flood fill algorithm. The Code Project. , (2004).
  55. Zhang, H., Wu, K. A vehicle detection algorithm based on three-frame differencing and background subtraction. Computational Intelligence and Design (ISCID), 2012 Fifth International Symposium on Computational Intelligence and Design. 1, 148-151 (2012).
  56. Elgammal, A., Harwood, D., Davis, L. Non-parametric Model for Background Subtraction. Computer Vision - ECCV 2000. , 751-767 (2000).
  57. Zeileis, A., Grothendieck, G. zoo: S3 infrastructure for regular and irregular time series. arXiv preprint math/0505527. , (2005).
  58. SwarmSight.org. Swarmsight. , Available from: http://swarmsight.org/ (2017).
  59. Smith, B. H., Burden, C. M. A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research. J Vis Exp. (91), e51057(2014).
  60. Abbass, H. How to split a video or audio file with VLC Player. Darktips. , Available from: https://darktips.com/split-video-audio-file/ (2012).
  61. SwarmSight.org. SwarmSight Appendage Tracking CSV File Column Reference. , Available from: http://swarmsight.org/Examples/Appendage%20Tracking/ColumnReference (2017).
  62. R Core Team. R: A Language and Environment for Statistical Computing. , R Foundation for Statistical Computing. Vienna, Austria. Available from: http://www.R-project.org/ (2014).
  63. Team, R. s RStudio: integrated development for R. , RStudio, Inc. Boston, MA. (2015).
  64. Venables, W. N., Ripley, B. D. Modern Applied Statistics with S-PLUS. , Springer Science & Business Media. New York. (2013).
  65. Smith, B. H., Menzel, R. An Analysis of Variability in the Feeding Motor Program of the Honey Bee; the Role of Learning in Releasing a Modal Action Pattern. Ethology. 82 (1), 68-81 (1989).
  66. Smith, B. H. An analysis of blocking in odorant mixtures: an increase but not a decrease in intensity of reinforcement produces unblocking. Behavioral neuroscience. 111 (1), 57(1997).
  67. Birgiolas, J. SwarmSight Antenna Tracking CSV files. , Available from: https://github.com/JustasB/SwarmSight/tree/master/Examples/Appendage%20Tracking/Birgiolas%20et.%20al.%20(2015)%20JOVE%20figures/Figures%204%265/CSVs (2017).
  68. Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. J Basic Eng. 82 (1), 35-45 (1960).

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

ledzenie anten owad woprogramowanie SwarmSightanaliza wideozachowanie pszczo y miodnejpomiar reakcji na zapachledzenie klatka po klatcekonwencjonalna kamera internetowaoprogramowanie open sourcedynamika anten

Powiązane artykuły