Artykuł metodologiczny

SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu

10.7K wyświetleń

⸱

DOI:

10.3791/56803

⸱

25 grudnia 2017

 ,  ,  ,  , 
1School of Life Sciences, Arizona State University, 2School of Mathematical and Statistical Sciences, Arizona State University

W tym artykule

Podsumowanie

Ten protokół opisuje kroki korzystania z nowatorskiego oprogramowania, SwarmSight, do śledzenia klatka po klatce pozycji anteny owada i trąbki z konwencjonalnych kamer internetowych przy użyciu konwencjonalnych komputerów. Darmowe oprogramowanie typu open source przetwarza klatki około 120 razy szybciej niż ludzie i działa z dokładnością lepszą niż ludzka.

Streszczenie

Wiele ważnych z naukowego i rolniczego punktu widzenia owadów używa anten do wykrywania obecności lotnych związków chemicznych i przedłużania swojej trąbki podczas żerowania. Możliwość szybkiego uzyskania wysokiej rozdzielczości pomiarów naturalnych ruchów anteny i trąbki oraz oceny, jak zmieniają się one w odpowiedzi na manipulacje chemiczne, rozwojowe i genetyczne, może pomóc w zrozumieniu zachowania owadów. Rozszerzając naszą wcześniejszą pracę nad oceną zagregowanych ruchów roju owadów lub grup zwierząt na podstawie filmów naturalnych i laboratoryjnych za pomocą oprogramowania do analizy wideo SwarmSight, opracowaliśmy nowatorski, bezpłatny moduł oprogramowania o otwartym kodzie źródłowym, SwarmSight Appendage Tracking (SwarmSight.org) do śledzenia klatka po klatce pozycji anteny i trąbki owadów z konwencjonalnych filmów z kamer internetowych przy użyciu konwencjonalnych komputerów. Oprogramowanie przetwarza klatki około 120 razy szybciej niż ludzie, działa z dokładnością lepszą niż człowiek, a przy użyciu filmów z 30 klatkami na sekundę (fps) może rejestrować dynamikę anteny do 15 Hz. Oprogramowanie wykorzystano do śledzenia reakcji czułków pszczół miodnych na dwa zapachy i stwierdzono znaczne średnie cofnięcie czułków z dala od źródła zapachu około 1 s po prezentacji zapachu. Obserwowaliśmy położenie anteny, gęstość, tworzenie się klastrów oraz zależność klastra i kąta średniego od stężenia zapachu.

Wprowadzenie

Większość stawonogów porusza czułkami lub innymi wyrostkami, aby analizować sygnały i bodźce środowiskowe w czasie i przestrzeni. Zwierzęta te mogą wykorzystywać czułki do nawigowania w swoim środowisku poprzez wykrywanie bodźców sensorycznych, takich jak lotne substancje chemiczne oraz bodźce smakowe i mechaniczne1,2,3,4. U owadów czułki zawierają receptory sensoryczne, które wiążą lotne substancje chemiczne4,5,6 i przekazują ten sygnał za pośrednictwem neuronów sensorycznych węchowych do centralnych obszarów mózgu1,7,8,9. Owady potrafią dostosować położenie czułków, aby modulować informacje o docierających zapachach4,10,11. Modulacja ta ułatwia aktywne, poinformowane reakcje behawioralne na zapachy i ich pióropusze12,13.

Wiele owadów, w tym błonkówki (np. pszczoły miodne i trutnie), motyle (np. motyle dziennie) oraz muchówki (np. muchy i komary), pomiędzy innymi, odżywia się poprzez wysuwanie proboscis14,15,16,17,18,19,20,21. Wysuwanie proboscis było w przeszłości wiarygodnie wykorzystywane w różnorodnych zadaniach związanych z uczeniem się i pamięcią22,23,24,25,26,27,28,29,30,31. Podobnie, ilościowa ocena ruchów czułków z wysoką rozdzielczością czasową i przestrzenną może dostarczyć wiedzy na temat zależności między bodźcem, zachowaniem a stanem wewnętrznym zwierzęcia. Rzeczywiście, wcześniejsze prace wykazały, że ruchy czułków zawierają bogaty zestaw informacji o sposobie, w jaki pszczoły miodne monitorują otoczenie, oraz jak ruchy te zmieniają się w wyniku uczenia się32,33,34,35,36,37,38.

W ostatniej dekadzie metody obserwacji zachowania zwierząt zostały znacznie usprawnione dzięki postępowi w dziedzinie kamer wideo o wysokiej rozdzielczości, prędkości przetwarzania danych przez komputery oraz algorytmów wizji maszynowej. Zadania takie jak detekcja, liczenie, śledzenie zwierząt oraz analizy preferencji miejsca są wspierane przez zaawansowane oprogramowanie, które potrafi przetwarzać nagrania wideo z zachowania zwierząt i wyodrębniać odpowiednie parametry pomiarowe39,40,41,42,43,44,45,46,47.

Technologie te pomogły również w śledzeniu ruchów czułków i ssawki owadów. Oceniający mogą ręcznie śledzić pozycję czułków za pomocą kursora myszy. Jednakże, mimo że metoda ta może być dokładna, zadanie to jest czasochłonne, a nieuwaga i zmęczenie człowieka mogą prowadzić do niewiarygodnych wyników. Aby zmniejszyć zapotrzebowanie na złożone oprogramowanie, można zastosować specjalistyczny sprzęt i odpowiednie przygotowanie. Na przykład w jednej z konfiguracji wykorzystano kamerę o wysokiej częstotliwości klatek i pomalowano końcówki czułków, aby śledzić ich ruch48. Można również poprosić użytkowników o wybór klatek kluczowych z filmów, aby pomóc oprogramowaniu w wykryciu położenia czułków i ssawki49. Inne podejście polegało na wykrywaniu dwóch największych klastrów ruchu w celu identyfikacji czułków, jednak nie wykrywa ono położenia ssawki50. Inny pakiet oprogramowania potrafi wykryć położenie czułków i ssawki, ale wymaga około 7,5 s czasu przetwarzania na klatkę51, co może być zbyt kosztowne czasowo w przypadku obserwacji w czasie rzeczywistym lub długoterminowych. Wreszcie, możliwe może być dostosowanie komercyjnych pakietów oprogramowania (np. EthoVision) do wykonania tego zadania46, lecz koszty licencji i szkolenia mogą być zaporowe.

Stosując opisaną tutaj metodę, rozszerzyliśmy nasze wcześniejsze prace nad oprogramowaniem do analizy ruchu41, aby śledzić położenie czułków i proboscis owadów, wyznaczając sobie następujące cele: (1) brak wymagań dotyczących specjalistycznego sprzętu lub złożonego przygotowania zwierząt, (2) przetwarzanie klatek w czasie rzeczywistym (30 fps lub szybciej) na konwencjonalnym komputerze, (3) łatwość obsługi oraz (4) kod o otwartym źródle, łatwy do rozbudowy.

Opracowana nowa metoda oraz oprogramowanie o otwartym kodzie źródłowym, SwarmSight Appendage Tracking, nie wymagają malowania końcówek czułków, umożliwiają wykorzystanie konsumenckiej kamery internetowej do rejestracji wideo oraz przetwarzają klatki obrazu z częstotliwością 30-60 fps na standardowym komputerze (Rysunek 1). Oprogramowanie przyjmuje pliki wideo jako dane wejściowe. Użytkownik określa położenie głowy owada na filmie, a po przetworzeniu danych generowany jest plik wartości rozdzielonych przecinkami (.csv) zawierający lokalizacje czułków i ssawki. Dzięki wykorzystaniu biblioteki FFmpeg52 oprogramowanie jest w stanie odczytać setki różnych formatów wideo (w tym formaty generowane przez większość aparatów cyfrowych).

figure-introduction-1
Rysunek 1: Konfiguracja zwierzęcia i wyniki z oprogramowania. (A) Pszczoła miodna zbieraczka z głową i ciałem unieruchomionymi w uprzęży. (B) Źródło zapachu umieszczone przed zwierzęciem, kamera wideo ustawiona powyżej, a źródło podciśnienia umieszczone za zwierzęciem. (C) Zmienne dotyczące końcówki czułka i proboscis wykryte przez oprogramowanie SwarmSight z nagrania wideo. (D) Użytkownik ustawia czujnik czułka nad zwierzęciem i dostraja parametry filtra. Oprogramowanie wykrywa pozycje czułka i proboscis (żółte okręgi). Proszę kliknąć tutaj, aby wyświetlić większą wersję tego rysunku.

Najpierw ciało i głowa owada zostają unieruchomione w uchwycie w taki sposób, aby ruchy czułków i cybomby były łatwo obserwowalne (Rysunek 1A). Przed owadem umieszcza się źródło zapachu, a za nim źródło próżni, aby usuwać zapachy z powietrza i zminimalizować potencjalne efekty adaptacji sensorycznej (Rysunek 1B). Nad głową owada na statywie umieszcza się standardową kamerę internetową. W polu widzenia kamery można ustawić diodę LED, która będzie sygnalizować czas prezentacji zapachu.

figure-introduction-2
Rycina 2: Układ współrzędnych czułków. Wartości X i Y wykorzystują układ współrzędnych wideo, w którym lewy górny róg stanowi początek układu, a wartości X i Y zwiększają się podczas przemieszczania w stronę prawego dolnego rogu. Kąty wyrażone są w stopniach względem przodu głowy (zazwyczaj źródła zapachu). Wartość „0” oznacza, że linia tworzona przez flagellum czułka jest skierowana bezpośrednio przed zwierzę. Wszystkie kąty są dodatnie, z wyjątkiem sytuacji, gdy czułek wskazuje przeciwstawny kierunek (np. prawe flagellum wskazuje w lewo). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Po zakończeniu filmowania plik wideo otwiera się w oprogramowaniu SwarmSight, w którym użytkownik umieszcza widżet czujnika anteny (Rysunek 1D, czarny kwadrat) nad głową owada, a następnie uruchamia odtwarzanie filmu. Po zapisaniu wyników plik .csv będzie zawierał pozycje X, Y końcówek anten, kąty nachylenia anten względem przodu głowy (Rysunek 2) oraz pozycję X, Y ssawki. Dodatkowo dla każdej anteny obliczana jest metryka sektora dominującego. Metryka ta wskazuje, który z pięciu 36-stopniowych sektorów otaczających każdą antenę zawierał najwięcej punktów uznanych za prawdopodobne położenie anteny; może to być pomocne, jeśli metryki pozycji/kąta anten nie są wiarygodne z powodu szumów lub innych problemów w nagranych filmach.

Krótko mówiąc, oprogramowanie działa w oparciu o zestaw filtrów ruchu53 oraz zmodyfikowany algorytm wypełniania obszarów (flood fill)54. W celu zlokalizowania prawdopodobnych punktów czułków stosuje się dwa filtry: filtr różnic trzech kolejnych klatek41,55 oraz filtr odejmowania tła medianowego56. Do wykrywania punktów trąbki wykorzystywany jest filtr progu odległości kolorów. Górne 10% punktów z każdego filtra zostaje połączone, a następnie algorytm wypełniania obszarów, badający sąsiednie punkty z przerwami do 2 pikseli (px), lokalizuje punkty skrajne. Wysoką wydajność uzyskano dzięki równoległym potokom dekodowania, przetwarzania i renderowania klatek oraz zoptymalizowanej alokacji pamięci dla przepływu danych filtrów. Surowe wartości współrzędnych x i y generowane przez oprogramowanie są poddawane obróbce z wykorzystaniem ruchomego filtra medianowego z 3 klatek57 (patrz Dyskusja). Instrukcje dotyczące pobierania pełnego kodu źródłowego są dostępne online58.

Poniżej znajduje się protokół przygotowania pszczoły miodnej zbieraczki do śledzenia ruchu anten. Podobny protokół można zastosować do śledzenia ruchów anten lub proboscis u każdego innego owada. W sekcji wyników opisujemy przykładowy zapis ruchu anten wykryty przez oprogramowanie, porównanie wyników z oprogramowania z śledzeniem wykonanym przez sędziów ludzkich oraz ocenę ruchu anten w odpowiedzi na pięć substancji zapachowych.

Protokół

1. Łapanie i wykorzystywanie pszczół miodnych

  1. Postępuj zgodnie z krokami protokołu od 1 do 3.1.1 Smith and Burden59.

2. Przygotowanie uprzęży dla zwierząt i kamery wideo

  1. Ukryj nogi, nakładając taśmę na górną część rurki uprzęży, sprawdzając wzrokowo, czy nogi nie są widoczne poruszające się od góry.
  2. Unieruchomić głowę, nakładając podgrzany wosk na tył głowy owada. Sprawdź wzrokowo, czy głowa jest nieruchoma i nie porusza się. W tym momencie czułki i żuchwy powinny być jedynymi wyrostkami, które mogą się swobodnie poruszać.
  3. Zmaksymalizuj kontrast między antenami a tłem wideo, umieszczając białą kartkę papieru pod uprzężą przeciw owadom. Aby zminimalizować konieczność późniejszej regulacji kamery, zaznacz położenie uprzęży przeciw owadom na papierze, a następnie umieść nowe osobniki w tym samym miejscu.
  4. Ustal pozycję kamery za pomocą statywu lub uchwytu na kamerę internetową, aby umieścić kamerę nad głową owada. Korzystając z oprogramowania kamery, wyświetl podgląd wideo i powiększ, aby powiększyć obraz głowy, co pozwala na uzyskanie ~20 - 30% prześwitu ze wszystkich stron wideo.
    1. Upewnij się, że jedynymi poruszającymi się obiektami w widoku kamery są czułki lub trąbka/żuchwy i w razie potrzeby zmień położenie kamery lub zwierzęcia.
      UWAGA: SwarmSight sprawdza ruch w pikselach otaczających głowę. Obcy ruch w bezpośrednim sąsiedztwie głowy spowodowany przez przedmioty, takie jak nogi, cienie, wentylatory lub ludzie, może zmylić oprogramowanie i wprowadzić dodatkowy hałas.
  5. Zminimalizuj cienie anteny, dostosowując oświetlenie otoczenia.
    UWAGA: Oprogramowanie toleruje niektóre cienie, ale aby uzyskać najlepsze wyniki, należy je ograniczyć do minimum.
  6. Zapobiegaj automatycznej regulacji ekspozycji aparatu, korzystając z oprogramowania do czasu otwarcia migawki aparatu, aby utrzymać stały czas ekspozycji aparatu przez cały czas trwania filmu. Korzystając z oprogramowania, dostosuj czas otwarcia migawki, aby zmaksymalizować kontrast (scena wideo nie jest zbyt jasna ani zbyt ciemna), dostosowując "Suwak ekspozycji" w sekcji "Ustawienia kamery internetowej"
    UWAGA: Powyższe instrukcje dotyczą używanej kamery internetowej i oprogramowania. Będą one musiały zostać dostosowane, jeśli używane są inne kamery internetowe.
  7. Umieść źródło dostarczania zapachów i upewnij się, że nie zasłania ono kamery view, sprawdzając obraz wideo z kamery. Upewnij się, że źródło podciśnienia jest umieszczone po przeciwnej stronie, aby usunąć zapachy bodźców.
  8. Umieść diodę LED lub inny wskaźnik wizualny, który zmienia jasność, aby wskazać dostarczanie zapachu, w view kamery.
    UWAGA: Wartość jasności diody LED jest zapisywana przez oprogramowanie i może być wykorzystana do określenia dokładnych ramek, kiedy zaczyna się i kończy dostarczanie zapachu.

3. Filmuj każdą osobę w warunkach eksperymentalnych

  1. Sfilmuj każdego pojedynczego owada i stan testowy w oddzielnych plikach wideo, nagrywając każdą pojedynczą kombinację testową osobno lub używając oprogramowania do edycji wideo, aby podzielić długi plik wideo na mniejsze pliki.
    UWAGA: Oprogramowanie wymaga od użytkownika zlokalizowania pozycji głowy w każdym filmie i aby głowa pozostała nieruchoma. Jeśli głowa się poruszy, zostanie wprowadzony dodatkowy hałas. Funkcja przetwarzania wsadowego w SwarmSight pozwala użytkownikowi szybko ustawić lokalizację głowy dla wielu filmów i zakłada, że głowa owada pozostaje niezmienna przez czas trwania każdego pliku wideo. Instrukcje dotyczące dzielenia długich plików wideo można znaleźć w Internecie60.

4. Analiza wideo

  1. Pobierz i zainstaluj moduł 'Antenna Tracking', postępując zgodnie z instrukcjami podanymi online58.
    UWAGA: Filmy instruktażowe opisujące sposób korzystania z oprogramowania są również dostępne na stronie internetowej.
  2. Otwórz plik wideo przedstawiający sfilmowane zwierzę za pomocą przycisku "Przeglądaj".
  3. Umiejscowienie czujnika antenowego i czujnika zabiegowego
    1. Po załadowaniu filmu umieść prostokątny widżet "Czujnik anteny" nad głową zwierzęcia, używając ikon obrotu i skali, aby wyrównać widżet z głową (zobacz Rysunek 1D na przykład).
    2. Umieść okrągły widżet "Czujnik leczenia" nad diodą LED, która wskazuje, kiedy prezentowany jest zapach lub bodziec.
      UWAGA: Czujnik leczenia będzie rejestrował wartość jasności piksela w środku widżetu dla każdej klatki.
  4. Rozpoczynanie przetwarzania wideo
    1. Naciśnij przycisk "Odtwórz" (trójkąt) w lewym dolnym rogu, aby rozpocząć analizę klatek.
      UWAGA: Wykryte prawdopodobne punkty anteny i trąby zostaną podświetlone na żółto. Żółte pierścienie pokażą położenie końcówek przydatków. Kąty (gdzie 0 znajduje się bezpośrednio przed zwierzęciem) anteny i długość przedłużenia trąbki zostaną pokazane w widżecie "Model" w lewym dolnym rogu (patrz Rysunek 1D). Widżet "Dominujące sektory" w prawym dolnym rogu pokaże względną intensywność pięciu sektorów 36 stopni, w których wykryto najwięcej punktów antenowych. Najciemniejsze sektory zawierają najwięcej punktów, podczas gdy najjaśniejsze mają ich najmniej. Numer sektora (1 - 5) z największą liczbą punktów zostanie pokazany w dolnych rogach widżetu (patrz Rysunek 1D).
  5. Dostosowywanie progów filtrów i dodawanie stref wykluczenia
    1. Aby zmienić czułość filtrów, dostosuj suwaki w sekcji "Filtry" na prawym panelu.
      UWAGA: W zależności od warunków oświetleniowych i ogólnej prędkości ruchu przydatków, optymalna będzie różna czułość filtra. Użytkownik może znaleźć optymalne wartości, dostosowując wartości i obserwując podświetlone obszary w widżecie Czujnik anteny. Gdy zostanie znaleziony idealny zestaw czułości, podświetlone zostaną tylko przydatki. Zaleca się szybkie przewijanie do innych części filmu, aby upewnić się, że czułość filtra jest optymalna również tam.
    2. Opcjonalnie, aby zignorować obce obiekty, na prawym panelu rozwiń sekcję "Czujnik anteny", kliknij przycisk "Dodaj strefę wykluczenia" (patrz Rysunek 1D), a następnie kliknij zestaw punktów, aby utworzyć czerwony wielokąt, którego zawartość zostanie zignorowana przez oprogramowanie.
      UWAGA: Jeśli film zawiera ruch zewnętrzny, a ruch znajduje się w strefie widżetu czujnika anteny (np. poruszające się nogi, silne cienie, sprzęt laboratoryjny itp.), oprogramowanie może pomylić go z ruchem wyrostka roboczy. Obce obiekty można zignorować, rysując czerwone wielokąty lub "Strefy wykluczenia". Wszystko, co znajduje się w czerwonym wielokącie, nie będzie używane do śledzenia.
  6. Zapisywanie wyników
    1. Po skonfigurowaniu filtrów i widżetów zatrzymaj wideo, uruchom je ponownie od początku i odtwórz do końca.
      UWAGA: Po odtworzeniu całego filmu pozycje przydatków dla wszystkich klatek wideo zostaną zapisane w pamięci.
    2. Aby zapisać dane o pozycji dołączki do pliku, rozwiń sekcję "Zapisz" po prawej stronie i kliknij przycisk "Zapisz w . CSV". Następnie wybierz folder, w którym chcesz zapisać plik.
      UWAGA: Opcja "Zapisz w . CSV" zapisze wyniki przetwarzania do pliku .csv. Domyślnie użytkownik otrzyma propozycję zapisania pliku .csv w tym samym folderze co plik wideo, a w nazwie pliku będzie miała datę i godzinę. Wynikowy plik .csv będzie zawierał zestaw kolumn, które zawierają informacje o położeniu przydatków, w tym kąty anteny i dominujące sektory, a także orientację i położenie głowy. Opis każdej kolumny jest dostępny online61.
    3. Opcjonalnie użyj pól Kolumny i Wartości w sekcji Zapisz, aby utworzyć dodatkową kolumnę (lub więcej, jeśli są oddzielone przecinkami) w pliku .csv w celu zarejestrowania informacji, takich jak identyfikator podmiotu lub nazwa warunku eksperymentalnego.
      UWAGA: Wartość w polu Kolumny pojawi się w nagłówku pierwszej kolumny, a wartość w polu Wartości zostanie powtórzona we wszystkich wierszach pierwszej kolumny.
  7. Przetwarzanie wsadowe
    UWAGA: Oprogramowanie może przetwarzać wiele plików wideo w partii. Jednak przed rozpoczęciem wsadu użytkownik musi podać informacje o lokalizacji głównej dla każdego filmu.
    1. W prawym panelu, w sekcji "Pliki wideo", kliknij przycisk "Przetwarzanie wsadowe", aby otworzyć okno, które umożliwia utworzenie listy plików wideo do sekwencyjnego przetwarzania przez oprogramowanie.
    2. Użyj przycisku "Dodaj więcej plików wideo do wsadu", aby wybrać jeden lub więcej plików wideo, które mają zostać uwzględnione na liście wsadowej.
    3. Opcjonalnie użyj "CTRL" lub "SHIFT", aby wybrać wiele filmów, które będą używać tego samego zestawu parametrów widżetu.
      UWAGA: Dobrymi kandydatami do ponownego użycia parametrów są zestawy filmów przedstawiających to samo zwierzę, które nie zostało przeniesione między różnymi warunkami doświadczalnymi.
    4. Rozpocznij ustawianie parametrów widżetu, które mają być używane dla wybranych filmów, klikając przycisk "Ustaw pozycje czujników dla wybranych".
    5. Dostosuj parametry w sekcjach Czujnik anteny, Czujnik leczenia, Filtry lub Zapisz, a po zakończeniu kliknij "Zapisz parametry w partii".
    6. Po wybraniu parametrów dla każdego filmu rozpocznij proces wsadowy, klikając przycisk "Rozpocznij przetwarzanie".
      UWAGA: Oprogramowanie załaduje pliki wideo w kolejności, w jakiej pojawiają się na liście wsadowej, przetworzy je i zapisze odpowiadające im pliki .csv w tym samym folderze, w którym znajdują się pliki wideo. Pasek postępu u góry pokazuje szacowany czas ukończenia po ukończeniu pierwszego filmu.

Wyniki

W poniższych sekcjach przedstawiono przykładowy wykres kątów anten wygenerowany na podstawie danych z oprogramowania, porównanie dokładności i szybkości działania oprogramowania w stosunku do oceniających ludzi oraz wyniki eksperymentu, w którym ruch anten pszczoły miodnej był modyfikowany przez prezentację różnych zapachów. Do przeprowadzenia analizy i wygenerowania rycin wykorzystano oprogramowanie R62,63. Kod R do analizy i generowania rycin, a także samouczki wideo, są dostępne online58.

Wynik oprogramowania:

Rysunek 3 przedstawia pięć losowo wybranych przebiegów kątów anten u pszczół miodnych wykrytych przez oprogramowanie na podstawie nagrań wideo, którym prezentowano czysty heptanal i heptanol, wersje tych związków rozcieńczone 35-krotnie w oleju mineralnym, a także czyste powietrze.

figure-results-1
Rysunek 3: Pięć przykładowych przebiegów kątów anten wykrytych przez SwarmSight. Oś Y pokazuje kąt anteny w stopniach, gdzie „0” znajduje się bezpośrednio przed zwierzęciem, w stronę źródła zapachu, a większe wartości wskazują kierunek oddalenia od źródła zapachu. Heptanol, heptanal i ich wersje rozcieńczone 35-krotnie w oleju mineralnym, a także czyste powietrze, podawano pojedynczym pszczołom zbieraczom w szarych oknach czasowych 0 - 3 600 ms. Lewa antena jest zaznaczona na czerwono, prawa na niebiesko. Na pięciu wykresach przedstawiono pięć losowo wybranych pszczół, po jednej z każdego wariantu. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Walidacja oprogramowania:

Aby zweryfikować, czy oprogramowanie potrafi niezawodnie wykrywać położenie anten, pozycje anten wyznaczone przez ludzi porównano z pozycjami wyznaczonymi przez oprogramowanie. Dwóch oceniających zostało poproszonych o wskazanie końcówek anten oraz cęcik w 425 klatkach wideo (~14 s filmu). Specjalny moduł oprogramowania rejestrował zaznaczone przez oceniających położenia wyrostków, automatycznie przesuwał klatki wideo i rejestrował czas poświęcony na wykonanie zadania. Jako przykład zgodności między wartościami wyznaczonymi przez ludzi a oprogramowaniem, na Rysunku 4A przedstawiono nałożone na siebie ślady współrzędnej pionowej jednej anteny dla oprogramowania oraz dla dwóch lokalizacji wykrytych przez ludzi. Obliczono odległość między zaznaczonymi przez dwóch oceniających pozycjami anten i nazwano ją „odległością między ludźmi” (Inter-Human Distance). Odległość między położeniem anteny wykrytym przez oprogramowanie a najbliższą lokalizacją wykrytą przez oceniających została obliczona i nazwana „odległością oprogramowania od najbliższego człowieka” (Software-Closest Human Distance) (Rysunek 4B).

figure-results-2
Rycina 4: Porównanie z ludzkimi oceniającymi. (A) Dwóch ludzi oceniających oraz program SwarmSight wyznaczyli położenie końcówek anten w 425 klatkach wideo. Nałożono na siebie współrzędne Y końcówek lewej anteny w poszczególnych klatkach, wyznaczone przez ludzi i oprogramowanie. (B) Nałożone na siebie rozbieżności w poszczególnych klatkach (odległość w pikselach wideo) pomiędzy ludzkimi oceniającymi (kolor pomarańczowy) oraz rozbieżności pomiędzy oprogramowaniem a najbliższą wartością wyznaczoną przez człowieka (kolor czarny). (C) Położenia końcówek anten wyznaczone przez ludzi względem siebie (pomarańczowy) oraz przez oprogramowanie względem człowieka (czarny). (D) Histogramy i rozkłady skumulowane (linie przerywane) odległości rozbieżności w poszczególnych klatkach dla porównania człowiek vs człowiek oraz oprogramowanie vs człowiek. Aby wyświetlić powiększoną wersję tej ryciny, kliknij tutaj.

Średnia odległość między ludźmi (Inter-Human Distance) wynosiła 10,9 px, w 95% klatek mieściła się w granicach 55,2 px, a wartość maksymalna wyniosła 81,6 px. Średnia odległość oprogramowania od najbliższego człowieka (Software-Closest Human Distance) wynosiła 8,0 px, w 95% klatek mieściła się w granicach 18,3 px, a wartość maksymalna wyniosła 49,0 px (patrz histogramy odległości na Rysunku 4D oraz Rysunku 4C). Wartość 5 px odpowiadała w przybliżeniu szerokości anteny. Ogólnie odległość Inter-Human Distance była niewielka w klatkach na początku zadania i zwiększyła się w drugiej połowie zadania. Przypuszczamy, że wynikało to ze zmęczenia oceniających. Tymczasem poziomy Software-Closest Human Distance pozostały stałe przez cały czas trwania zadania.

Porównanie szybkości i dokładności oprogramowania z oceniającymi ludźmi:

Ludzie oceniali położenie końcówek anten i proboscis z średnią prędkością 0,52 klatek na sekundę (fps). Aby oszacować ludzką prędkość fps, całkowitą liczbę klatek ocenionych przez ludzi (po 425 dla każdego) podzielono przez całkowity czas poświęcony na to zadanie (873 s i 761 s). Oprogramowanie oceniało klatki średnio z prędkością 65 fps na komputerze PC z systemem Windows 7 i procesorem Dual-Core. Biorąc pod uwagę wysoką prędkość przetwarzania oraz dokładność podobną lub wyższą niż w przypadku ludzkich oceniających, można oczekiwać, że oprogramowanie zastąpi pracę około 125 osób oceniających w jednostce czasu.

Wykrywanie reakcji anten na zapachy:

Aby wykazać, że protokół może być wykorzystany do wykrywania istotnych różnic behawioralnych w ruchu owadów, poddano 23 samice pszczół miodnych działaniu dwóch różnych zapachów. Czysty heptanal i heptanol, 35-krotne rozcieńczenia tych dwóch zapachów w oleju mineralnym oraz czyste powietrze jako kontrola były prezentowane po 4 s każde (łącznie pięć warunków). Nagrania wideo, zgodnie z powyższym protokołem, przetworzono za pomocą oprogramowania SwarmSight, a następnie przeanalizowano kąty nachylenia czułków (Rysunek 5).

figure-results-3
Rycina 5: Średnie wartości kąta nachylenia czułków oraz mapy ciepła gęstości dla pięciu warunków zapachowych. (A) Mapy ciepła przedstawiające gęstość kątów anten przed, w trakcie (ciemniejszy obszar środkowy) i po podaniu zapachów heptanolu, powietrza oraz heptanalu samicom pszczół miodnych (n = 23). Czarne krzywe przedstawiają średnie kąty anten dla każdej klatki (obie anteny). Linie poziome to średnie kąty przed podaniem zapachu (baseline). Zwróć uwagę na skupisko preferowanych pozycji anten (czerwone skupisko na dolnym wykresie) oddalonych od źródła zapachu w przypadku czystych zapachów oraz na odpowiadające im zmiany średniego kąta anten. Zwróć również uwagę na "efekt odbicia" klaster po zakończeniu oddziaływania zapachu oraz jego pozorna zależność od stężenia zapachu w momencie wystąpienia (patrz: położenie klastra na pozostałych czterech wykresach). Skala kolorów mapy gęstości jest dowolna, lecz jednolita dla wszystkich warunków. (B) Średnia zmiana kąta względem średniej przed podaniem zapachu (słupki błędów S.E.M.). Z wyjątkiem powietrza, wszystkie średnie zmiany były istotne (t-test p <0.05). Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Klatki wideo z 9 s segmentów filmu, składających się z 3 s przed pojawieniem się zapachu, 3,6 s prezentacji zapachu i 2,4 s po zakończeniu ekspozycji na zapach, zostały wyrównane dla wszystkich osobników i warunków (300 klatek/segment). Dla każdego warunku obliczono średnie wartości kątów obu czułków dla wszystkich osobników w każdej klatce, określone jako „średnie kąty” (Rysunek 5A, czarne krzywe). Obliczono również średnie kąty czułków w klatkach przed pojawieniem się zapachu dla wszystkich osobników w każdym z warunków, określone jako „linie bazowe przed zapachem” (Rysunek 5A, cienkie linie poziome).

We wszystkich warunkach, z wyjątkiem kontrolnego, średnie kąty zwiększyły się względem wartości bazowych, osiągając szczyty raz w przedziale 750 - 1,050 ms po pojawieniu się zapachu (Rysunek 5A, czarne krzywe w obszarze 0 - 3,600 ms). Istotność średnich zmian względem wartości bazowych (Rysunek 5B) sprawdzono, porównując średnie z dwóch anten osobników w czasie wystąpienia maksymalnego średniego kąta dla każdego warunku do średniej bazowej, stosując serię jednopróbkowych testów t (testy normalności Shapiro nie były istotne we wszystkich warunkach). Średnia zmiana kąta względem wartości bazowej wyniosła 26,9° dla czystego heptanalu (szczyt średniej w 750 ms po pojawieniu się zapachu), 21,1° dla 0,2 M heptanalu (w 990 ms), 19,6° dla czystego heptanolu (w 1,050 ms), 19,3° dla 0,2 M heptanolu (w 780 ms) oraz 3,45° dla kontroli powietrznej (brak szczytu). We wszystkich warunkach, z wyjątkiem kontrolnego, średnia zmiana kąta względem wartości bazowej była istotna (poprawione p według metody Holma <0,05). Zauważono, że średni kąt powraca do wartości bazowej wolniej w odpowiedzi na czyste substancje zapachowe niż na substancje rozcieńczone (przefiltrowana średnia dolnoprzepustowa powróciła do bazy po 3,690 ms od pojawienia się zapachu dla czystego i po 2,940 ms dla rozcieńczonego heptanolu; w przypadku heptanalu czasy powrotu wynosiły 4,260 ms dla wersji czystej i 3,000 ms dla rozcieńczonej).

Wizualizacja przy użyciu map ciepła:

Aby zwizualizować odpowiedzi czułków, wygenerowano mapy ciepła gęstości kątów ustawienia czułków dla każdego stanu (Rysunek 5A, tło niebiesko-czerwone). Kąty ustawienia czułków w 10 s segmentach wideo dla każdej jednostki w danym stanie zostały poddane splotowi z jądrem Gaussa (pakiet R MASS, funkcja kde2d64). Obszary niebieskie wskazują niską gęstość kątów ustawienia czułków, natomiast obszary czerwone wskazują wysoką gęstość kątów ustawienia czułków. Mapa ciepła na dolnym wykresie Rysunku 5A dla stanu z czystym heptanalem ilustruje zachowanie czułków.

Mapa pokazuje, że przed prezentacją zapachu (t < 0), gęstość kąta anten jest rozłożona stosunkowo równomiernie we wszystkich zakresach. Około 1 s po pojawieniu się zapachu (t ~1,000 ms), pojawia się para klastrów niebieskich i czerwonych. W obszarach zaznaczonych na czerwono anteny występowały częściej niż w obszarach zaznaczonych na niebiesko. Klaster niebieski wskazuje, że anteny miały tendencję do unikania mniejszych kątów (źródło zapachu znajdowało się w kierunku 0 stopni), natomiast klaster czerwony wskazuje, że anteny preferowały większe kąty (oddalenie od źródła zapachu). Klaster czerwony stopniowo znika w miarę utrzymywania prezentacji zapachu. Inny klaster czerwony, choć mniej intensywny, pojawia się około 1 s po zakończeniu prezentacji zapachu. Drugie klastry czerwone nazywamy „klastrami odbicia” (Rebound Clusters). Zgodnie z powyższymi średnimi czasami powrotu kąta, zauważamy, że klastry odbicia wydają się pojawiać wcześniej i są mniej intensywne w przypadku zapachów rozcieńczonych niż w przypadku zapachów czystych.

Dyskusja

Przedstawiona tutaj metoda umożliwia śledzenie w czasie rzeczywistym ruchów anteny i trąbki owadów bez konieczności specjalnego przygotowania zwierząt lub sprzętu.

Ograniczenia:

Pomimo tych zalet istnieją pewne ograniczenia tej metody. Obejmują one wymóg, aby głowa zwierzęcia nie mogła się poruszać, konieczność wyboru przez użytkownika lokalizacji i orientacji zwierzęcia dla każdego filmu, wymóg dostępu do komputera z systemem Windows oraz brak możliwości śledzenia ruchu przez oprogramowanie w trzech wymiarach (3D) i w niektórych wizualnie niejednoznacznych pozycjach przydatków opisanych poniżej.

Oprogramowanie wymaga, aby głowa zwierzęcia była zamocowana na miejscu i nie poruszała się podczas wideo. Jest to podobne do przygotowań poprzedniej pracy 48,49,50,51. Możliwe jest zmodyfikowanie oprogramowania w taki sposób, aby umożliwiało automatyczne wykrywanie obrotów głowicy, jednak pochłonęłoby to dodatkowy czas przetwarzania i wprowadziło nowe źródło błędów. Gdyby zmodyfikowane oprogramowanie wykryło nieprawidłowy obrót głowicy, wpłynęłoby to na kąty anten, ponieważ ich obliczenia są względne w stosunku do kąta obrotu głowicy. Obecnie użytkownik wybiera orientację głowy raz na film. Takie podejście, choć nie jest pozbawione błędów ludzkich, minimalizuje błędy w obliczeniach kąta, gdy głowa nie może się poruszać podczas wideo.

Oprogramowanie wymaga również systemu operacyjnego Windows 7 (lub nowszego). Celem było uczynienie oprogramowania łatwym w instalacji, konfiguracji i obsłudze przez użytkowników bez konieczności programowania lub zaawansowanych umiejętności administrowania komputerem. Zdecydowaliśmy się skupić na systemie Windows, ponieważ jest on powszechnie dostępny, a w przypadkach, gdy dostęp do niego jest ograniczony, można łatwo utworzyć maszyny wirtualne (np. VirtualBox, VMware, Parallels) z systemem Windows. Ten wybór systemu operacyjnego znacznie upraszcza instalację oprogramowania dzięki użyciu łatwego w użyciu instalatora bez wiersza poleceń i pozwala uniknąć błędów specyficznych dla różnych systemów operacyjnych.

Oprogramowanie śledzi tylko położenie przydatków w przestrzeni 2D. Wiadomo, że owady poruszają swoją anteną w 3D, co może oznaczać, że ważne informacje są tracone, gdy mierzone są tylko współrzędne 2D. Podczas gdy użycie wielu kamer lub luster może pomóc w zebraniu dodatkowych informacji wymaganych do lokalizacji 3D, możliwe jest obliczenie, za pomocą relacji trygonometrycznych, szacowanego położenia poza płaszczyzną, zakładając, że anteny są pojedynczymi odcinkami linii o stałej długości i poruszają się tylko po jednej stronie płaszczyzny kamery. W przypadku pszczół miodnych założenie to jest prawdziwe w przypadku uzyskania przybliżonych szacunków pozycji w 3D, ale niekoniecznie w przypadku innych gatunków i sytuacji.

Oprogramowanie nie wykryje poprawnie lokalizacji anten i końcówek trąbek w niektórych niejednoznacznych sytuacjach. Jeśli zwierzę przesunie antenę w taki sposób, że na filmie nachodzi ona na przedłużoną trąbkę, oprogramowanie prawdopodobnie wykryje końcówkę anteny jako końcówkę trąbki. Jednak kąt anteny będzie prawdopodobnie nadal prawdopodobnie obliczony poprawnie (z części nienakładającej się). Podobnie, jeśli końcówki anteny poruszają się bezpośrednio nad głową zwierzęcia (tj . nie po bokach), oprogramowanie może wykryć tylko tę część anteny, która jest widoczna na zewnątrz głowy, lub przyjąć poprzednie położenie anteny, lub wykryć fałszywy szum wideo jako lokalizację anteny. W obu sytuacjach nawet ludzie oceniający mają trudności z odróżnieniem anteny od trąbki lub głowy. Aby złagodzić ten problem, zalecamy zastosowanie 3-ramkowego, symetrycznego filtra kroczącej mediany57 do surowych współrzędnych X i Y utworzonych przez oprogramowanie. Filtr ten usuwa duże przejściowe (jednoramkowe) wahania położenia i zachowuje dłuższe ruchy pozycji anteny. Odkryliśmy, że filtr z 3 klatkami działał lepiej niż brak filtra, podczas gdy szersze filtry (np. 5, 11 lub 15 klatek) zmniejszały dokładność. Przykładowy kod języka R, który korzysta z filtru, oraz samouczek wideo można znaleźć w Internecie58.

Wartość jako narzędzie naukowe:

Dostępność metody pozwalającej na szybkie uzyskanie dokładnych ruchów przydatków owadów w opłacalny sposób może potencjalnie otworzyć nowe obszary badań.

Odruch wydłużania trąbki (PER) jest powszechnie stosowaną reakcją behawioralną do badania uczenia się i pamięci różnych owadów59. Poprzednie badania generalnie opierały się na binarnej rozszerzonej lub nierozszerzonej mierze PER, chociaż analizy wideo i elektromiograficzne wykazały znacznie bardziej złożone topologie ruchów trąbek65,66. Opracowana w tym celu metoda pozwala na szybką kwantyfikację ruchów trąbek w wysokich rozdzielczościach czasowych i przestrzennych.

Ruchy anten owadów w odpowiedzi na zapachy są słabo poznane. Jedną z przyczyn takiego stanu rzeczy jest to, że anteny mają tendencję do poruszania się tak szybko, że nie jest dostępny opłacalny, zautomatyzowany sposób uzyskiwania danych o ruchu anteny. Przedstawiona tutaj metoda może być wykorzystana do szybkiego uzyskania danych o ruchu anteny dla dużej liczby owadów w wielu warunkach. Może to pomóc na przykład naukowcom badającym mapowanie ruchów anteny w odpowiedzi na różne bodźce, w szczególności lotne zapachy. Korzystając z kamer, które rejestrują klatki z częstotliwością 30 Hz, oprogramowanie może być używane do charakteryzowania dynamiki ruchu anteny do 15 Hz (limit Nyquista). Jeśli potrzebna jest charakteryzacja w wyższych częstotliwościach, można zastosować kamery o wyższych szybkościach przechwytywania (np . 60 lub 120 kl./s). Jednak do przetwarzania filmów z większą liczbą klatek na sekundę w czasie rzeczywistym może być wymagany szybszy komputer. Spekulujemy, że klasy zapachów, a być może nawet niektóre pojedyncze zapachy, mają charakterystyczne wrodzone ruchy czułków. Gdyby te klasy lub związki mogły zostać odkryte, nieznane zapachy lub ich klasa mogłyby zostać wykryte na podstawie ruchu czułków niewyszkolonych owadów. Jeśli takie mapowanie istnieje, to połączenie wystarczającej ilości danych o ruchu anteny i najnowocześniejszych algorytmów uczenia maszynowego powinno zacząć je odkrywać. Również to, w jaki sposób to mapowanie zmienia się w odpowiedzi na uczenie się, kształtuje się podczas rozwoju lub jest zakłócane przez interwencje genetyczne, może dać wgląd w funkcje układu węchowego. Wreszcie, prace te mogą dostarczyć informacji na temat sztucznego wykrywania zapachów, jeśli ujawnią optymalne metody próbkowania zapachów w złożonych środowiskach.

Przyszłe prace:

Pokazaliśmy tutaj, że dane o ruchu anteny można szybko uzyskać i przeanalizować: na podstawie danych generowanych przez nasze oprogramowanie można wykryć znaczące reakcje behawioralne i zidentyfikowano kilka obszarów wymagających dalszych badań.

Przebiegi czasowe odchyleń kąta anteny wywołanej bodźcem od linii bazowej i powrotu do niej oraz wszelkie efekty odbicia bodziec-wniosek i jego zależność od stężenia zapachu mogą być badane i modelowane matematycznie. Dodatkowo, wszelkie zmiany ruchów anteny wywołane przez warunkowanie apetytywne lub awersyjne mogą być również oceniane za pomocą oprogramowania.

Można również zbadać lepsze różnicowanie zapachów. W tym badaniu oba zapachy, w wersji czystej i 35-krotnie rozcieńczonej, wywołały podobne reakcje: średnio czułki wydawały się szybko oddalać od źródła zapachu i po kilku sekundach wracać do linii wyjściowych sprzed zapachu. Spekulujemy, że nawet rozcieńczone wersje mogły być bardzo silnymi bodźcami węchowymi dla pszczół miodnych. Jeśli to prawda, szerszy zakres stężeń może być użyty do określenia, czy reakcje czułkowe różnicują zapachy. Ponadto bardziej wyrafinowana analiza może lepiej ujawnić różnice w ruchach anten w odpowiedzi na różne zapachy. Pliki danych użyte do wygenerowania rycin w tym manuskrypcie udostępniliśmy zainteresowanym badaczom na stronie internetowej SwarmSight67.

Co więcej, choć nie wchodzi to w zakres tego manuskryptu, oprogramowanie może zostać rozszerzone o przetwarzanie filmów przedstawiających zwierzęta umieszczone w komorach z podwójnymi lustrami ustawionymi pod kątem 45° (patrz na przykład rysunek 1D ). Można to wykorzystać do dokładnego lokalizowania i śledzenia przydatków i ich ruchu w przestrzeni 3D. Jednak algorytmy śledzenia 3D byłyby wymagane, aby skutecznie: (a) ujednoznaczniać między wieloma antenami, gdy są one widoczne w jednym z lusterek bocznych, (b) korygować niedoskonałości kątów zwierciadła oraz (c) uwzględniać zniekształcenia spowodowane ustawieniem kamery.

Wreszcie, dodatkowe korzyści w dokładności położenia można osiągnąć dzięki zastosowaniu filtra Kalmana68, który modeluje i wykorzystuje informacje o stanie fizycznym, takie jak prędkość wyrostka i przyspieszenie, do ograniczenia przewidywanych lokalizacji. Jednak wszelkie wzrosty dokładności powinny być oceniane pod kątem wszelkich spadków prędkości spowodowanych dodatkowymi obliczeniami.

Konkluzja:

Wiele owadów używa anten do aktywnego pobierania próbek lotnych związków w swoim lokalnym środowisku. Wzorce w ruchach czułków mogą dostarczyć informacji na temat percepcji zapachu owadów i tego, jak wpływa na niego kondycjonowanie, związki toksyczne i zmiany genetyczne. Podobnie ruchy trąbek wykorzystano do oceny percepcji zapachu i jego modulacji. Jednak szybkie uzyskanie dużych ilości danych o ruchu przydatków w wysokiej rozdzielczości było trudne. Tutaj opisany jest protokół i oprogramowanie, które automatyzuje takie zadanie. Podsumowując, stworzyliśmy i pokazaliśmy, w jaki sposób połączenie niedrogiego sprzętu, zwykłego preparatu dla zwierząt i oprogramowania typu open source można wykorzystać do szybkiego uzyskania danych o ruchu wyrostka owadów o wysokiej rozdzielczości. Pokazano wyniki oprogramowania, w jaki sposób przewyższa ono oceniających pod względem szybkości i dokładności oraz w jaki sposób można analizować i wizualizować jego dane wyjściowe.

Oświadczenia

Autorzy oświadczają, że nie mają konkurencyjnych interesów finansowych.

Podziękowania

JB, SMC i RCG były obsługiwane przez NIH R01MH1006674 do SMC i NIH R01EB021711 do RCG. CMJ i BHS były wspierane przez projekt laboratoryjny NSF Ideas dotyczący "Łamania kodu węchowego" dla BHS. Dziękujemy Kyle'owi Steinmetzowi, Taryn Oboyle i Rachael Halby za ich pomoc w przeprowadzeniu tych badań.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Uprząż przeciw owadomNieUżywaj materiałów potrzebnych do sekcji protokołu 1-3.1.1 Smith & Burden (2014)
Źródło dostarczania zapachówN/AN/AUżyj materiałów potrzebnych do sekcji 3 protokołu Smith & Burden (2014)
Źródło próżniNIE DOTYCZYNIE DOTYCZY Użyj materiałów potrzebnych do sekcji 3 protokołu Smith & Burden (2014)Dioda
LED podłączona do źródła dostarczania zapachówNIE DOTYCZYUżywaj materiałów potrzebnych do sekcji 3 protokołu Smith & Obciążenie (2014)
Lutownica niskonapięciowaStannolNiskonapięciowa mikrolutownica 12 V, 8 W
DCZasilacz TekpowerHY152A
StatywAmazonBasics50-calowy lekki statywOpcjonalny
aparatGeniusWideCam F100FLIR Flea3 lub inny aparat z ręcznym ustawianiem ostrości.
Oprogramowanie kameryOprogramowanie GeniusN/A jestdostarczane z aparatem. W systemie MacOS aplikacja Photo Booth może być używana do nagrywania filmów.
Oprogramowanie do pomiaru czasu otwarcia migawkiaparatu GeniusN/AOprogramowanie aparatu Genius umożliwia ustawienie czasu otwarcia migawki. W systemie Mac OS można zamiast tego używać okularów iGlasses firmy ecamm: http://www.ecamm.com/mac/iglasses/
System operacyjny WindowsMicrosoftWindows 7 Professionalw wersji 7 lub nowszej jest zgodny. Oracle VirtualBox, Parallels Desktop lub VMWare Fusion mogą być używane do tworzenia maszyny wirtualnej Windows w środowiskach MacOS.
Oprogramowanie SwarmSightŚledzenie wyrostkaSwarmSightPobierz z oprogramowania http://SwarmSight.org
RR ProjectR 3.4.0Pobierz z: Oprogramowanie https://cran.r-project.org/bin/windows/base/
R StudioRStudio RStudioDesktopPobierz z: https://www.rstudio.com/products/rstudio/download/
dotyczy

Bibliografia

  1. Hansson, B. S. Insect Olfaction. , Springer Science & Business Media. New York. (1999).
  2. Masson, C., Mustaparta, H. Chemical information processing in the olfactory system of insects. Physiol Rev. 70 (1), 199-245 (1990).
  3. Firestein, S. How the olfactory system makes sense of scents. Nature. 413 (6852), 211-218 (2001).
  4. Schneider, D. Insect antennae. Annu Rev Entomol. 9 (1), 103-122 (1964).
  5. Kaissling, K. Chemo-electrical transduction in insect olfactory receptors. Annu Rev Neurosci. 9 (1), 121-145 (1986).
  6. Nakagawa, T., Vosshall, L. B. Controversy and consensus: noncanonical signaling mechanisms in the insect olfactory system. Curr Opin Neurobiol. 19 (3), 284-292 (2009).
  7. Heisenberg, M. What do the mushroom bodies do for the insect brain? An introduction. Learn Memory. 5 (1), 1-10 (1998).
  8. Zars, T. Behavioral functions of the insect mushroom bodies. Curr Opin Neurobiol. 10 (6), 790-795 (2000).
  9. Heisenberg, M. Mushroom body memoir: from maps to models. Nature Rev Neurosci. 4 (4), 266-275 (2003).
  10. Pelletier, Y., McLEOD, C. D. Obstacle perception by insect antennae during terrestrial locomotion. Physiol Entomol. 19 (4), 360-362 (1994).
  11. Suzuki, H. Antennal movements induced by odour and central projection of the antennal neurones in the honey-bee. J Insect Physiol. 21 (4), 831-847 (1975).
  12. Wachowiak, M. All in a sniff: olfaction as a model for active sensing. Neuron. 71 (6), 962-973 (2011).
  13. Bruce, T. J., Wadhams, L. J., Woodcock, C. M. Insect host location: a volatile situation. Trends Plant Sci. 10 (6), 269-274 (2005).
  14. Lunau, K., Wacht, S. Optical releasers of the innate proboscis extension in the hoverfly Eristalis tenax L.(Syrphidae, Diptera). J Comp Physiol [A]. 174 (5), 575-579 (1994).
  15. Szucsich, N. U., Krenn, H. W. Morphology and function of the proboscis in Bombyliidae (Diptera, Brachycera) and implications for proboscis evolution in Brachycera. Zoomorphology. 120 (2), 79-90 (2000).
  16. Harder, L. D. Measurement and estimation of functional proboscis length in bumblebees (Hymenoptera: Apidae). Can J Zool. 60 (5), 1073-1079 (1982).
  17. Hobbs, G. A. Further studies on the food-gathering behaviour of bumble bees (Hymenoptera: Apidae). Canadian Entomol. 94 (05), 538-541 (1962).
  18. Krenn, H. W. Functional morphology and movements of the proboscis of Lepidoptera (Insecta). Zoomorphology. 110 (2), 105-114 (1990).
  19. Krenn, H. W. Feeding mechanisms of adult Lepidoptera: structure, function, and evolution of the mouthparts. Annu Rev Entomol. 55, 307-327 (2010).
  20. Hepburn, H. R. Proboscis extension and recoil in Lepidoptera. J Insect Physiol. 17 (4), 637-656 (1971).
  21. Ramírez, G., Fagundez, C., Grosso, J. P., Argibay, P., Arenas, A., Farina, W. M. Odor Experiences during Preimaginal Stages Cause Behavioral and Neural Plasticity in Adult Honeybees. Front Behav Neurosci. 10, (2016).
  22. Takeda, K. Classical conditioned response in the honey bee. J Insect Physiol. 6 (3), 168-179 (1961).
  23. Bitterman, M. E., Menzel, R., Fietz, A., Schäfer, S. Classical conditioning of proboscis extension in honeybees (Apis mellifera). J Comp Psychol. 97 (2), 107(1983).
  24. Lambin, M., Armengaud, C., Raymond, S., Gauthier, M. Imidacloprid-induced facilitation of the proboscis extension reflex habituation in the honeybee. Arch Insect Biochem Physiol. 48 (3), 129-134 (2001).
  25. Masterman, R., Smith, B. H., Spivak, M. Brood odor discrimination abilities in hygienic honey bees (Apis mellifera L.) using proboscis extension reflex conditioning. J Insect Behav. 13 (1), 87-101 (2000).
  26. Rix, R. R., Christopher Cutler, G. Acute Exposure to Worst-Case Concentrations of Amitraz Does Not Affect Honey Bee Learning, Short-Term Memory, or Hemolymph Octopamine Levels. J Econ Entomol. 110 (1), 127-132 (2017).
  27. Urlacher, E., et al. Measurements of Chlorpyrifos Levels in Forager Bees and Comparison with Levels that Disrupt Honey Bee Odor-Mediated Learning Under Laboratory Conditions. J Chem Ecol. 42 (2), 127-138 (2016).
  28. Charbonneau, L. R., Hillier, N. K., Rogers, R. E. L., Williams, G. R., Shutler, D. Effects of Nosema apis, N. ceranae, and coinfections on honey bee (Apis mellifera) learning and memory. Sci Rep. 6, (2016).
  29. Urlacher, E., Devaud, J. -M., Mercer, A. R. C-type allatostatins mimic stress-related effects of alarm pheromone on honey bee learning and memory recall. PLOS ONE. 12 (3), e0174321(2017).
  30. Eiri, D. M., Nieh, J. C. A nicotinic acetylcholine receptor agonist affects honey bee sucrose responsiveness and decreases waggle dancing. J Exp Biol. 215 (12), 2022-2029 (2012).
  31. Liang, C. -H., Chuang, C. -L., Jiang, J. -A., Yang, E. -C. Magnetic Sensing through the Abdomen of the Honey bee. Sci Rep. 6, (2016).
  32. Erber, J., Pribbenow, B., Bauer, A., Kloppenburg, P. Antennal reflexes in the honeybee: tools for studying the nervous system. Apidologie. 24, 283(1993).
  33. Erber, J., Kierzek, S., Sander, E., Grandy, K. Tactile learning in the honeybee. J Comp Physiol [A]. 183 (6), 737-744 (1998).
  34. Erber, J., Pribbenow, B. Antennal Movements in the Honeybee: How Complex Tasks are Solved by a Simple Neuronal System. Prerational Intelligence: Adaptive Behavior and Intelligent Systems Without Symbols and Logic, Volume 1, Volume 2 Prerational Intelligence: Interdisciplinary Perspectives on the Behavior of Natural and Artificial Systems, Volume 3. , 109-121 (2000).
  35. McAfee, A., Collins, T. F., Madilao, L. L., Foster, L. J. Odorant cues linked to social immunity induce lateralized antenna stimulation in honey bees (Apis mellifera L). Sci Rep. 7, (2017).
  36. Dötterl, S., Vater, M., Rupp, T., Held, A. Ozone Differentially Affects Perception of Plant Volatiles in Western Honey Bees. J Chem Ecol. 42 (6), 486-489 (2016).
  37. Wang, Z., et al. Honey Bees Modulate Their Olfactory Learning in the Presence of Hornet Predators and Alarm Component. PLOS ONE. 11 (2), e0150399(2016).
  38. Søvik, E., Plath, J. A., Devaud, J. -M., Barron, A. B. Neuropharmacological Manipulation of Restrained and Free-flying Honey Bees, Apis mellifera. J Vis Exp. (117), e54695(2016).
  39. Fang, Y., Du, S., Abdoola, R., Djouani, K., Richards, C. Motion Based Animal Detection in Aerial Videos. Procedia Computer Science. 92, 13-17 (2016).
  40. Miller, B., Lim, A. N., Heidbreder, A. F., Black, K. J. An Automated Motion Detection and Reward System for Animal Training. Cureus. 7 (12), (2015).
  41. Birgiolas, J., Jernigan, C. M., Smith, B. H., Crook, S. M. SwarmSight: Measuring the temporal progression of animal group activity levels from natural-scene and laboratory videos. Behav Res Methods. , (2016).
  42. Stern, U., Zhu, E. Y., He, R., Yang, C. -H. Long-duration animal tracking in difficult lighting conditions. Sci Rep. 5, 10432(2015).
  43. Macrì, S., Mainetti, L., Patrono, L., Pieretti, S., Secco, A., Sergi, I. A tracking system for laboratory mice to support medical researchers in behavioral analysis. Engineering in Medicine and Biology Society (EMBC), 2015 37th Annual International Conference of the IEEE. , 4946-4949 (2015).
  44. Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: a low-cost, image-based tracking system for the study of animal behavior and locomotion. PLOS ONE. 10 (9), e0136487(2015).
  45. York, J. M., Blevins, N. A., McNeil, L. K., Freund, G. G. Mouse short-and long-term locomotor activity analyzed by video tracking software. J Vis Exp. (76), e50252(2013).
  46. Noldus, L. P., Spink, A. J., Tegelenbosch, R. A. EthoVision: a versatile video tracking system for automation of behavioral experiments. Behav Res Methods. 33 (3), 398-414 (2001).
  47. Egnor, S. E. R., Branson, K. Computational Analysis of Behavior. Annu Rev Neurosci. 39 (1), 217-236 (2016).
  48. Cholé, H., Junca, P., Sandoz, J. -C. Appetitive but not aversive olfactory conditioning modifies antennal movements in honeybees. Learn Memory. 22 (12), 604-616 (2015).
  49. Shen, M., et al. Interactive tracking of insect posture. Pattern Recognit. 48 (11), 3560-3571 (2015).
  50. Mujagić, S., Würth, S. M., Hellbach, S., Dürr, V. Tactile conditioning and movement analysis of antennal sampling strategies in honey bees (apis mellifera l). J Vis Exp. (70), (2012).
  51. Shen, M., Szyszka, P., Deussen, O., Galizia, C. G., Merhof, D. Automated tracking and analysis of behavior in restrained insects. J Neurosci Methods. 239, 194-205 (2015).
  52. Bellard, F., Niedermayer, M. FFmpeg. , Available from: http://ffmpeg.org (2012).
  53. Cucchiara, R., Grana, C., Piccardi, M., Prati, A. Detecting moving objects, ghosts, and shadows in video streams. IEE Trans Pattern Anal Mach. 25 (10), 1337-1342 (2003).
  54. Shaw, J. R. QuickFill: An efficient flood fill algorithm. The Code Project. , (2004).
  55. Zhang, H., Wu, K. A vehicle detection algorithm based on three-frame differencing and background subtraction. Computational Intelligence and Design (ISCID), 2012 Fifth International Symposium on Computational Intelligence and Design. 1, 148-151 (2012).
  56. Elgammal, A., Harwood, D., Davis, L. Non-parametric Model for Background Subtraction. Computer Vision - ECCV 2000. , 751-767 (2000).
  57. Zeileis, A., Grothendieck, G. zoo: S3 infrastructure for regular and irregular time series. arXiv preprint math/0505527. , (2005).
  58. SwarmSight.org. Swarmsight. , Available from: http://swarmsight.org/ (2017).
  59. Smith, B. H., Burden, C. M. A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research. J Vis Exp. (91), e51057(2014).
  60. Abbass, H. How to split a video or audio file with VLC Player. Darktips. , Available from: https://darktips.com/split-video-audio-file/ (2012).
  61. SwarmSight.org. SwarmSight Appendage Tracking CSV File Column Reference. , Available from: http://swarmsight.org/Examples/Appendage%20Tracking/ColumnReference (2017).
  62. R Core Team. R: A Language and Environment for Statistical Computing. , R Foundation for Statistical Computing. Vienna, Austria. Available from: http://www.R-project.org/ (2014).
  63. Team, R. s RStudio: integrated development for R. , RStudio, Inc. Boston, MA. (2015).
  64. Venables, W. N., Ripley, B. D. Modern Applied Statistics with S-PLUS. , Springer Science & Business Media. New York. (2013).
  65. Smith, B. H., Menzel, R. An Analysis of Variability in the Feeding Motor Program of the Honey Bee; the Role of Learning in Releasing a Modal Action Pattern. Ethology. 82 (1), 68-81 (1989).
  66. Smith, B. H. An analysis of blocking in odorant mixtures: an increase but not a decrease in intensity of reinforcement produces unblocking. Behavioral neuroscience. 111 (1), 57(1997).
  67. Birgiolas, J. SwarmSight Antenna Tracking CSV files. , Available from: https://github.com/JustasB/SwarmSight/tree/master/Examples/Appendage%20Tracking/Birgiolas%20et.%20al.%20(2015)%20JOVE%20figures/Figures%204%265/CSVs (2017).
  68. Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. J Basic Eng. 82 (1), 35-45 (1960).

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

ledzenie anten owad woprogramowanie SwarmSightanaliza wideozachowanie pszczo y miodnejpomiar reakcji na zapachledzenie klatka po klatcekonwencjonalna kamera internetowaoprogramowanie open sourcedynamika anten

Powiązane artykuły