SwarmSight: Śledzenie w czasie rzeczywistym ruchów anteny owadów i odruchu wysuwania trąbki przy użyciu zwykłego preparatu i konwencjonalnego sprzętu

Większość stawonogów porusza czułkami lub innymi wyrostkami, aby pobrać próbki sygnałów środowiskowych i sygnałów w czasie i przestrzeni. Zwierzęta mogą używać czułków do poruszania się po swoim otoczeniu, wykrywając sygnały sensoryczne, takie jak substancje chemiczne lotne oraz bodźce smakowe i mechaniczne^1,2,3^,4. U owadów czułki zawierają receptory czuciowe, które wiążą się z substancjami chemicznymi lotnymi^4,5,6 i przekazują ten sygnał za pośrednictwem węchowych neuronów czuciowych do centralnych obszarów mózgu^1,7,8,9. Owady mogą dostosowywać położenie anten, aby modulować informacje o napływających zapachach^4,10,11. Ta modulacja ułatwia aktywnie świadome reakcje behawioralne na zapachy i ich pióropusze^12,13.

Wiele owadów, w tym błonkoskrzydłe (np. pszczoły miodne i trzmiele), Lepidopterans (np. motyle) i muchówki (np. muchy i komary), między innymi, żywi się, przedłużając swoją trąbkę^{14,15,16,17,18,19, 20,21}. Rozszerzenie trąbowca było niezawodnie używane w przeszłości do różnych zadań związanych z uczeniem się i pamięcią^{22,23,24,25,26,27,28,29,30,31}. Podobnie, ilościowa ocena ruchu czułków z wysoką rozdzielczością czasową i przestrzenną może dostarczyć informacji na temat związku między bodźcem, zachowaniem i stanem wewnętrznym zwierzęcia. Rzeczywiście, poprzednie prace pokazały, w jaki sposób ruchy czułków zawierają dużą ilość informacji na temat śledzenia środowiska przez pszczoły miodne i jak ruchy zmieniają się wraz z uczeniem się^{32,33,34,35,36,37,38}.

W ostatniej dekadzie, metody obserwacji zachowań zwierząt zostały znacznie przyspieszone dzięki postępom w dziedzinie kamer wideo o wysokiej rozdzielczości, szybkości przetwarzania komputerowego i algorytmów widzenia maszynowego. Zadania takie jak wykrywanie, liczenie, śledzenie i analiza preferencji miejsc zostały wspomagane przez zaawansowane oprogramowanie, które może przetwarzać filmy z zachowaniem zwierząt i wyodrębniać odpowiednie pomiary^{39,40,41,42,43,44,45,46,47}.

Te technologie również pomogły w śledzeniu ruchów anteny i trąbki owadów. Oceniający mogą używać kursora myszy do ręcznego śledzenia pozycji anten. Jednak chociaż ta metoda może być dokładna, zadanie jest czasochłonne, a ludzka nieuwaga i zmęczenie mogą skutkować niewiarygodnymi wynikami. Można użyć specjalnego sprzętu i przygotowania, aby zmniejszyć zapotrzebowanie na złożone oprogramowanie. Na przykład w jednej z konfiguracji użyto szybkiej kamery i pomalowano końcówki anten do śledzenia ruchu anteny⁴⁸. Użytkownicy mogą być również proszeni o wybranie klatek kluczowych w filmach, aby pomóc oprogramowaniu w wykrywaniu lokalizacji anteny i trąby⁴⁹. Inne podejście wykryło dwie największe klastry ruchu w celu zidentyfikowania anten, ale nie wykrywa lokalizacji trąby⁵⁰. Inny pakiet oprogramowania może wykrywać lokalizacje anten i trąbek, ale wymaga około 7,5 s czasu przetwarzania na klatkę⁵¹, co może być zaporowe dla badań obserwacyjnych w czasie rzeczywistym lub długoterminowych. Wreszcie, możliwe jest dostosowanie komercyjnych pakietów oprogramowania (np. EthoVision) do wykonania zadania⁴⁶, ale ich koszty licencji i szkoleń mogą być zaporowe.

Za pomocą opisanej tutaj metody, rozszerzyliśmy naszą poprzednią pracę nad oprogramowaniem do analizy ruchu⁴¹ do śledzenia lokalizacji czułków i trąbek owadów w następujących celach: (1) brak konieczności specjalnego sprzętu lub skomplikowanego przygotowania zwierząt, (2) przetwarzanie klatek w czasie rzeczywistym (30 klatek na sekundę lub szybciej) na konwencjonalnym komputerze, (3) łatwość obsługi i (4) open-source, Łatwo rozszerzalny kod.

Wynikowa nowatorska metoda i oprogramowanie open-source, SwarmSight Appendage Tracking, nie wymaga malowania końcówek anten, może używać konsumenckiej kamery internetowej do przechwytywania filmów i przetwarza klatki wideo z prędkością 30-60 klatek na sekundę na konwencjonalnym komputerze (Rysunek 1). Oprogramowanie pobiera pliki wideo jako dane wejściowe. Użytkownik lokalizuje pozycję głowy owada na filmie, a po przetworzeniu tworzony jest plik z wartościami oddzielonymi przecinkami (.csv) z lokalizacjami anten i trąbki. Oprogramowanie jest w stanie odczytywać setki różnych formatów wideo (w tym formaty produkowane przez większość aparatów cyfrowych) za pomocą biblioteki FFmpeg⁵².

Rysunek 1: Konfiguracja zwierzęcia i dane wyjściowe oprogramowania. (A) Zbieracz pszczół miodnych z głową i ciałem unieruchomionymi w uprzęży. (B) Źródło zapachu umieszcza się przed zwierzęciem, kamerę wideo umieszcza się powyżej, a źródło podciśnienia umieszcza się za zwierzęciem. (C) Zmienne końcówki anteny i trąbki wykryte przez oprogramowanie SwarmSight na wideo. (D) Użytkownik umieszcza czujnik anteny nad zwierzęciem i dostosowuje parametry filtra. Oprogramowanie wykrywa pozycję anteny i trąby (żółte pierścienie). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Po pierwsze, ciało owada i jego głowa są unieruchomione w uprzęży, tak że ruchy anteny i trąbki są łatwo obserwowane (Rysunek 1A). Źródło zapachu jest umieszczone przed owadem, a źródło podciśnienia umieszczone z tyłu, aby usunąć zapachy z powietrza i zminimalizować potencjalne skutki adaptacji sensorycznej (Rysunek 1B). Konwencjonalna kamera internetowa jest umieszczona nad głową owada na statywie. Diodę LED można umieścić w polu widzenia kamery, aby wskazać, kiedy zapach jest prezentowany.

Rysunek 2: Układ współrzędnych anteny. Wartości X i Y korzystają z układu współrzędnych wideo, gdzie lewy górny róg jest początkiem, a wartości X i Y zwiększają się podczas przesuwania w kierunku prawego dolnego rogu. Kąty są wyrażone w stopniach w stosunku do przodu głowy (zwykle źródła zapachu). Wartość "0" oznacza, że linia utworzona przez wić antenową jest skierowana bezpośrednio przed zwierzęciem. Wszystkie kąty są dodatnie, z wyjątkiem sytuacji, gdy antena jest skierowana w przeciwnym kierunku (np. prawa wić jest skierowana w lewo). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Po sfilmowaniu, plik wideo jest otwierany za pomocą oprogramowania SwarmSight, gdzie użytkownik umieszcza widget Czujnik Anteny (Rysunek 1D, kwadrat) nad głową owada i rozpoczyna odtwarzanie wideo. Po zapisaniu wyników plik .csv będzie zawierał pozycje X, Y końcówek anteny, kąty anteny względem przodu głowicy (Rysunek 2) oraz pozycję X, Y trąby. Dodatkowo dla każdej anteny obliczana jest metryka dominującego sektora. Metryka pokazuje, który z pięciu 36-stopniowych sektorów otaczających każdą antenę zawierał najwięcej punktów uznanych za prawdopodobne anteny i może być przydatna, jeśli wskaźniki pozycji/kąta anteny nie są wiarygodne z powodu hałaśliwych lub w inny sposób problematycznych filmów.

Krótko mówiąc, oprogramowanie działa przy użyciu zestawu filtrów ruchu⁵³ i zrelaksowanego algorytmu wypełniania powodziowego⁵⁴. Aby znaleźć prawdopodobne punkty anteny, używane są dwa filtry: filtr różnicy 3 kolejnych klatek^41,55 oraz filtr odejmowania mediany-tła⁵⁶. Filtr progowy odległości kolorów służy do wykrywania punktu trąbki. Górne 10% punktów każdego filtru jest łączone, a algorytm wypełniania powodziowego, który sprawdza sąsiadujące punkty z przerwami do 2 pikseli (px), lokalizuje skrajne punkty. Równoległe potoki dekodowania, przetwarzania i renderowania klatek oraz zoptymalizowana alokacja pamięci przepływu danych filtru osiągają wysoką wydajność. Surowe wartości współrzędnych x i y generowane przez oprogramowanie są przetwarzane za pomocą 3-klatkowego filtra toczącej mediany⁵⁷ (patrz Dyskusja). Instrukcje dotyczące pobierania pełnego kodu źródłowego można znaleźć na stronie internetowej⁵⁸.

Poniżej znajduje się protokół przygotowania zbieracza pszczół miodnych do śledzenia anteny. Podobny protokół można wykorzystać do śledzenia ruchów anteny/trąbki dowolnego innego owada. W sekcji wyników opisujemy przykładowy ślad wyjściowy anteny, który jest wykrywany przez oprogramowanie, porównanie danych wyjściowych oprogramowania ze śledzeniem wykonywanym przez oceniających oraz ocenę ruchu anten w odpowiedzi na pięć substancji zapachowych.

1. Łapanie i wykorzystywanie pszczół miodnych

1. Postępuj zgodnie z krokami protokołu od 1 do 3.1.1 Smith and Burden⁵⁹.

2. Przygotowanie uprzęży dla zwierząt i kamery wideo

1. Ukryj nogi, nakładając taśmę na górną część rurki uprzęży, sprawdzając wzrokowo, czy nogi nie są widoczne poruszające się od góry.
2. Unieruchomić głowę, nakładając podgrzany wosk na tył głowy owada. Sprawdź wzrokowo, czy głowa jest nieruchoma i nie porusza się. W tym momencie czułki i żuchwy powinny być jedynymi wyrostkami, które mogą się swobodnie poruszać.
3. Zmaksymalizuj kontrast między antenami a tłem wideo, umieszczając białą kartkę papieru pod uprzężą przeciw owadom. Aby zminimalizować konieczność późniejszej regulacji kamery, zaznacz położenie uprzęży przeciw owadom na papierze, a następnie umieść nowe osobniki w tym samym miejscu.
4. Ustal pozycję kamery za pomocą statywu lub uchwytu na kamerę internetową, aby umieścić kamerę nad głową owada. Korzystając z oprogramowania kamery, wyświetl podgląd wideo i powiększ, aby powiększyć obraz głowy, co pozwala na uzyskanie ~20 - 30% prześwitu ze wszystkich stron wideo.
   1. Upewnij się, że jedynymi poruszającymi się obiektami w widoku kamery są czułki lub trąbka/żuchwy i w razie potrzeby zmień położenie kamery lub zwierzęcia.
      UWAGA: SwarmSight sprawdza ruch w pikselach otaczających głowę. Obcy ruch w bezpośrednim sąsiedztwie głowy spowodowany przez przedmioty, takie jak nogi, cienie, wentylatory lub ludzie, może zmylić oprogramowanie i wprowadzić dodatkowy hałas.
5. Zminimalizuj cienie anteny, dostosowując oświetlenie otoczenia.
   UWAGA: Oprogramowanie toleruje niektóre cienie, ale aby uzyskać najlepsze wyniki, należy je ograniczyć do minimum.
6. Zapobiegaj automatycznej regulacji ekspozycji aparatu, korzystając z oprogramowania do czasu otwarcia migawki aparatu, aby utrzymać stały czas ekspozycji aparatu przez cały czas trwania filmu. Korzystając z oprogramowania, dostosuj czas otwarcia migawki, aby zmaksymalizować kontrast (scena wideo nie jest zbyt jasna ani zbyt ciemna), dostosowując "Suwak ekspozycji" w sekcji "Ustawienia kamery internetowej"
   UWAGA: Powyższe instrukcje dotyczą używanej kamery internetowej i oprogramowania. Będą one musiały zostać dostosowane, jeśli używane są inne kamery internetowe.
7. Umieść źródło dostarczania zapachów i upewnij się, że nie zasłania ono kamery view, sprawdzając obraz wideo z kamery. Upewnij się, że źródło podciśnienia jest umieszczone po przeciwnej stronie, aby usunąć zapachy bodźców.
8. Umieść diodę LED lub inny wskaźnik wizualny, który zmienia jasność, aby wskazać dostarczanie zapachu, w view kamery.
   UWAGA: Wartość jasności diody LED jest zapisywana przez oprogramowanie i może być wykorzystana do określenia dokładnych ramek, kiedy zaczyna się i kończy dostarczanie zapachu.

3. Filmuj każdą osobę w warunkach eksperymentalnych

1. Sfilmuj każdego pojedynczego owada i stan testowy w oddzielnych plikach wideo, nagrywając każdą pojedynczą kombinację testową osobno lub używając oprogramowania do edycji wideo, aby podzielić długi plik wideo na mniejsze pliki.
   UWAGA: Oprogramowanie wymaga od użytkownika zlokalizowania pozycji głowy w każdym filmie i aby głowa pozostała nieruchoma. Jeśli głowa się poruszy, zostanie wprowadzony dodatkowy hałas. Funkcja przetwarzania wsadowego w SwarmSight pozwala użytkownikowi szybko ustawić lokalizację głowy dla wielu filmów i zakłada, że głowa owada pozostaje niezmienna przez czas trwania każdego pliku wideo. Instrukcje dotyczące dzielenia długich plików wideo można znaleźć w Internecie⁶⁰.

4. Analiza wideo

1. Pobierz i zainstaluj moduł 'Antenna Tracking', postępując zgodnie z instrukcjami podanymi online⁵⁸.
   UWAGA: Filmy instruktażowe opisujące sposób korzystania z oprogramowania są również dostępne na stronie internetowej.
2. Otwórz plik wideo przedstawiający sfilmowane zwierzę za pomocą przycisku "Przeglądaj".
3. Umiejscowienie czujnika antenowego i czujnika zabiegowego
   1. Po załadowaniu filmu umieść prostokątny widżet "Czujnik anteny" nad głową zwierzęcia, używając ikon obrotu i skali, aby wyrównać widżet z głową (zobacz Rysunek 1D na przykład).
   2. Umieść okrągły widżet "Czujnik leczenia" nad diodą LED, która wskazuje, kiedy prezentowany jest zapach lub bodziec.
      UWAGA: Czujnik leczenia będzie rejestrował wartość jasności piksela w środku widżetu dla każdej klatki.
4. Rozpoczynanie przetwarzania wideo
   1. Naciśnij przycisk "Odtwórz" (trójkąt) w lewym dolnym rogu, aby rozpocząć analizę klatek.
      UWAGA: Wykryte prawdopodobne punkty anteny i trąby zostaną podświetlone na żółto. Żółte pierścienie pokażą położenie końcówek przydatków. Kąty (gdzie 0 znajduje się bezpośrednio przed zwierzęciem) anteny i długość przedłużenia trąbki zostaną pokazane w widżecie "Model" w lewym dolnym rogu (patrz Rysunek 1D). Widżet "Dominujące sektory" w prawym dolnym rogu pokaże względną intensywność pięciu sektorów 36 stopni, w których wykryto najwięcej punktów antenowych. Najciemniejsze sektory zawierają najwięcej punktów, podczas gdy najjaśniejsze mają ich najmniej. Numer sektora (1 - 5) z największą liczbą punktów zostanie pokazany w dolnych rogach widżetu (patrz Rysunek 1D).
5. Dostosowywanie progów filtrów i dodawanie stref wykluczenia
   1. Aby zmienić czułość filtrów, dostosuj suwaki w sekcji "Filtry" na prawym panelu.
      UWAGA: W zależności od warunków oświetleniowych i ogólnej prędkości ruchu przydatków, optymalna będzie różna czułość filtra. Użytkownik może znaleźć optymalne wartości, dostosowując wartości i obserwując podświetlone obszary w widżecie Czujnik anteny. Gdy zostanie znaleziony idealny zestaw czułości, podświetlone zostaną tylko przydatki. Zaleca się szybkie przewijanie do innych części filmu, aby upewnić się, że czułość filtra jest optymalna również tam.
   2. Opcjonalnie, aby zignorować obce obiekty, na prawym panelu rozwiń sekcję "Czujnik anteny", kliknij przycisk "Dodaj strefę wykluczenia" (patrz Rysunek 1D), a następnie kliknij zestaw punktów, aby utworzyć czerwony wielokąt, którego zawartość zostanie zignorowana przez oprogramowanie.
      UWAGA: Jeśli film zawiera ruch zewnętrzny, a ruch znajduje się w strefie widżetu czujnika anteny (np. poruszające się nogi, silne cienie, sprzęt laboratoryjny itp.), oprogramowanie może pomylić go z ruchem wyrostka roboczy. Obce obiekty można zignorować, rysując czerwone wielokąty lub "Strefy wykluczenia". Wszystko, co znajduje się w czerwonym wielokącie, nie będzie używane do śledzenia.
6. Zapisywanie wyników
   1. Po skonfigurowaniu filtrów i widżetów zatrzymaj wideo, uruchom je ponownie od początku i odtwórz do końca.
      UWAGA: Po odtworzeniu całego filmu pozycje przydatków dla wszystkich klatek wideo zostaną zapisane w pamięci.
   2. Aby zapisać dane o pozycji dołączki do pliku, rozwiń sekcję "Zapisz" po prawej stronie i kliknij przycisk "Zapisz w . CSV". Następnie wybierz folder, w którym chcesz zapisać plik.
      UWAGA: Opcja "Zapisz w . CSV" zapisze wyniki przetwarzania do pliku .csv. Domyślnie użytkownik otrzyma propozycję zapisania pliku .csv w tym samym folderze co plik wideo, a w nazwie pliku będzie miała datę i godzinę. Wynikowy plik .csv będzie zawierał zestaw kolumn, które zawierają informacje o położeniu przydatków, w tym kąty anteny i dominujące sektory, a także orientację i położenie głowy. Opis każdej kolumny jest dostępny online⁶¹.
   3. Opcjonalnie użyj pól Kolumny i Wartości w sekcji Zapisz, aby utworzyć dodatkową kolumnę (lub więcej, jeśli są oddzielone przecinkami) w pliku .csv w celu zarejestrowania informacji, takich jak identyfikator podmiotu lub nazwa warunku eksperymentalnego.
      UWAGA: Wartość w polu Kolumny pojawi się w nagłówku pierwszej kolumny, a wartość w polu Wartości zostanie powtórzona we wszystkich wierszach pierwszej kolumny.
7. Przetwarzanie wsadowe
   UWAGA: Oprogramowanie może przetwarzać wiele plików wideo w partii. Jednak przed rozpoczęciem wsadu użytkownik musi podać informacje o lokalizacji głównej dla każdego filmu.
   1. W prawym panelu, w sekcji "Pliki wideo", kliknij przycisk "Przetwarzanie wsadowe", aby otworzyć okno, które umożliwia utworzenie listy plików wideo do sekwencyjnego przetwarzania przez oprogramowanie.
   2. Użyj przycisku "Dodaj więcej plików wideo do wsadu", aby wybrać jeden lub więcej plików wideo, które mają zostać uwzględnione na liście wsadowej.
   3. Opcjonalnie użyj "CTRL" lub "SHIFT", aby wybrać wiele filmów, które będą używać tego samego zestawu parametrów widżetu.
      UWAGA: Dobrymi kandydatami do ponownego użycia parametrów są zestawy filmów przedstawiających to samo zwierzę, które nie zostało przeniesione między różnymi warunkami doświadczalnymi.
   4. Rozpocznij ustawianie parametrów widżetu, które mają być używane dla wybranych filmów, klikając przycisk "Ustaw pozycje czujników dla wybranych".
   5. Dostosuj parametry w sekcjach Czujnik anteny, Czujnik leczenia, Filtry lub Zapisz, a po zakończeniu kliknij "Zapisz parametry w partii".
   6. Po wybraniu parametrów dla każdego filmu rozpocznij proces wsadowy, klikając przycisk "Rozpocznij przetwarzanie".
      UWAGA: Oprogramowanie załaduje pliki wideo w kolejności, w jakiej pojawiają się na liście wsadowej, przetworzy je i zapisze odpowiadające im pliki .csv w tym samym folderze, w którym znajdują się pliki wideo. Pasek postępu u góry pokazuje szacowany czas ukończenia po ukończeniu pierwszego filmu.

W poniższych sekcjach znajduje się przykładowy wykres kątów anten uzyskanych na podstawie danych oprogramowania, porównanie dokładności i szybkości oprogramowania z ludzkimi oceniającymi, oraz wyniki eksperymentu, w którym na ruch anteny pszczoły miodnej wpływa prezentacja różnych zapachów. R software62,63 został użyty do przeprowadzenia analizy i wygenerowania liczb. Kod R do analizy i generowania rysunków, a także samouczki wideo można znaleźć w Internecie58.

Wyjście oprogramowania:

Rysunek 3 pokazuje pięć losowo wybranych śladów kątów anteny wykrytych przez oprogramowanie na podstawie filmów z pszczołami miodnymi, którym przedstawiono czyste i 35-krotnie rozcieńczone olejem mineralnym wersje heptanalu i heptanolu, a także czyste powietrze.

Rysunek 3: Pięć przykładowych śladów kątów anten wykrytych przez SwarmSight. Oś Y pokazuje kąt anteny w stopniach, gdzie "0" znajduje się bezpośrednio przed zwierzęciem, w kierunku źródła zapachu, przy czym większe wartości są skierowane z dala od źródła zapachu. Heptanol, heptanal i ich wersje rozcieńczone 35 razy w oleju mineralnym, a także czyste powietrze, były stosowane w szarych oknach 0 - 3,600 ms dla pojedynczych zbieraczek pszczół miodnych. Lewa antena jest oznaczona na czerwono, prawa na niebiesko. Pięć losowych pszczół, po jednej z każdego stanu, jest przedstawionych na pięciu wykresach. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Walidacja oprogramowania:

Aby sprawdzić, czy oprogramowanie może niezawodnie wykrywać lokalizacje anten, pozycje anten zlokalizowane przez ludzi zostały porównane z pozycjami zlokalizowanymi przez oprogramowanie. Dwóch oceniających zostało poproszonych o zlokalizowanie anteny i końcówek trąbki w 425 klatkach wideo (~14 s wideo). Niestandardowy moduł oprogramowania rejestrował lokalizacje przydatków zaznaczone przez oceniających, automatycznie przesuwał klatki wideo i rejestrował ilość czasu spędzonego na zadaniu. Jako przykład zgodności między wartościami zlokalizowanymi przez człowieka i oprogramowanie, nałożone na siebie pionowe ścieżki współrzędnych jednej anteny dla oprogramowania i dla dwóch lokalizacji wykrytych przez człowieka są pokazane w Rysunek 4A. Odległość między zaznaczonymi pozycjami anten dwóch oceniających została obliczona i nazwana "odległością między ludźmi". Odległość między lokalizacją anteny wykrytą przez oprogramowanie a najbliższą lokalizacją wykrytą przez oceniających została obliczona i nazwana "Odległość najbliższa człowiekowi w oprogramowaniu" (Rysunek 4B).

Rysunek 4: Porównanie z ludźmi oceniającymi. (A) Dwóch oceniających i SwarmSight zlokalizowali końcówki anteny w 425 klatkach wideo. Współrzędne Y lewej końcówki anteny klatka po klatce, znalezione przez oceniających i oprogramowanie, są nakładane na siebie. (B) Nałożona na siebie niezgodność klatka po klatce (odległość w pikselach wideo) między ludźmi oceniającymi (pomarańczowy) i niezgodność między oprogramowaniem a najbliższą wartością ludzkiego oceniającego (). (C) Lokalizacje końcówek anten między człowiekiem a człowiekiem (kolor pomarańczowy) oraz lokalizacja oprogramowania i człowieka (kolor). (D) Histogramy i skumulowane rozkłady (przerywane) odległości rozbieżności między człowiekiem a człowiekiem i oprogramowaniem a człowiekiem klatka po klatce. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Odległość między ludźmi wynosiła średnio 10,9 piksela, w granicach 55,2 piksela w 95% klatek, a maksymalna wartość wynosiła 81,6 piksela. Odległość najbliższa człowiekowi wynosiła średnio 8,0 pikseli, w granicach 18,3 pikseli w 95% klatek, a maksymalna wartość to 49,0 pikseli (patrz histogramy odległości w Rysunek 4D i Rysunek 4C). 5 px to w przybliżeniu szerokość anteny. Ogólnie rzecz biorąc, dystans międzyludzki był mały dla klatek na początku zadania i zwiększył się w drugiej połowie zadania. Podejrzewamy, że było to spowodowane zmęczeniem oceniających. Z kolei poziomy odległości od człowieka najbliższej oprogramowaniu pozostały niezmienne przez cały czas trwania zadania.

Porównanie szybkości i dokładności oprogramowania z ludzkimi oceniającymi:

Ludzie oceniali lokalizacje końcówek anten i trąbek ze średnią prędkością 0,52 klatki na sekundę (fps). Aby oszacować liczbę klatek na sekundę u ludzi, całkowita liczba klatek ocenionych przez ludzi (425 każda) została podzielona przez całkowity czas, jaki spędzili na zadaniu (873 s i 761 s). Oprogramowanie oceniło klatki średnio na 65 kl./s na dwurdzeniowym komputerze z systemem Windows 7. Wraz z wysoką szybkością przetwarzania i dokładnością podobną lub lepszą niż w przypadku osób oceniających, można oczekiwać, że oprogramowanie wykona pracę około 125 oceniających na jednostkę czasu.

Wykrywanie reakcji anteny na zapachy:

Aby pokazać, że protokół może być używany do wykrywania znaczących różnic w zachowaniu owadów, poddaliśmy 23 samice pszczół miodnych działaniu dwóch różnych zapachów. Czysty heptanal i heptanol, 35-krotne rozcieńczenie oleju mineralnego dwóch zapachów i czyste powietrze jako kontrola, były prezentowane przez 4 sekundy (w sumie pięć warunków). Filmy, zgodnie z opisem w powyższym protokole, zostały przetworzone za pomocą oprogramowania SwarmSight, a kąty anteny przeanalizowane (Rysunek 5).

Rysunek 5: Średnie kąty anteny i mapy cieplne gęstości dla pięciu warunków zapachowych. (A) Mapy cieplne przedstawiające gęstość kąta anteny przed, w trakcie (ciemniejszy środkowy obszar) i po podaniu heptanolowi, powietrza i heptanowych substancji zapachowych samicom pszczół miodnych (n = 23). Czarne krzywe to średnie kąty anteny na klatkę (obie anteny). Linie poziome są kątami średnimi (liniami bazowymi) przed zapachem. Zwróć uwagę na klaster preferowanych lokalizacji anten (czerwony klaster na dolnym wykresie) z dala od źródła zapachu dla warunków czystego zapachu i odpowiadające im zmiany średniego kąta anteny. Należy również zwrócić uwagę na "odbicie" klastra po zakończeniu zapachu i jego pozorną zależność od stężenia zapachu (patrz lokalizacja klastra na pozostałych czterech wykresach). Skala kolorów mapy cieplnej gęstości jest dowolna, ale jednolita we wszystkich warunkach. (B) Średnia zmiana kąta w stosunku do średniej sprzed zapachu (słupki błędów SEM). Z wyjątkiem powietrza, wszystkie średnie zmiany były istotne (test t p <0,05). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Klatki wideo z 9 sekundowych segmentów filmu, składających się z 3 s przed pojawieniem się zapachu, 3,6 s prezentacji zapachu i 2,4 s po zakończeniu zapachu, zostały wyrównane dla wszystkich osób i warunków (300 klatek/segment). Średnie dla każdej klatki dla obu kątów anteny wszystkich osób zostały obliczone dla każdego warunku i nazwane "Kątami średnimi" (Rysunek 5A, czarne krzywe). Średnie kąty anteny ramek przed pojawieniem się zapachu u osób dla każdego stanu zostały obliczone i nazwane "liniami bazowymi przed zapachem" (Rysunek 5A, cienkie poziome linie).

We wszystkich warunkach, z wyjątkiem kontroli, średnie kąty wzrosły w stosunku do linii bazowych, osiągając szczyt raz 750 - 1,050 ms po wystąpieniu zapachu (Rysunek 5A, czarne krzywe w obszarze 0 - 3,600 ms). Średnie zmiany w stosunku do linii wyjściowych przetestowano pod kątem istotności (Rysunek 5B) poprzez porównanie średnich dwuantenowych osób w szczytowym średnim czasie prezentacji zapachu każdego warunku ze średnią wyjściową przy użyciu serii testów t dla 1 próby (testy normalności Shapiro nie są istotne we wszystkich warunkach). Średnia zmiana kąta w stosunku do wartości wyjściowej wynosiła 26,9° dla czystego heptanalu (średnia osiągana po 750 ms po pojawieniu się zapachu), 21,1° dla 0,2 M heptanalu (przy 990 ms), 19,6° dla czystego heptanolu (przy 1050 ms), 19,3° dla 0,2 M heptanolu (przy 780 ms) i 3,45° dla kontroli powietrza (bez szczytu). We wszystkich warunkach, z wyjątkiem kontroli, średnia zmiana kąta w stosunku do linii podstawowej była istotna (Holm skorygowany p <0,05). Zauważamy, że średni kąt potrzebuje więcej czasu, aby powrócić do linii bazowej w odpowiedzi na czyste substancje zapachowe niż na rozcieńczone substancje zapachowe (średnia z filtrem dolnoprzepustowym powróciła do wartości wyjściowej 3 690 ms po wystąpieniu zapachu dla czystego i po 2 940 ms dla rozcieńczonego heptanolu; dla heptanalu czas powrotu wynosił 4 260 ms dla czystych i 3 000 ms dla wersji rozcieńczonych).

Wizualizacja z wykorzystaniem map cieplnych:

Aby zobrazować odpowiedzi anteny, wygenerowano mapy cieplne gęstości kąta anteny dla każdego warunku (Rysunek 5A, niebiesko-czerwone tło). Kąty anteny w 10-sekundowych segmentach wideo dla każdej osoby w poszczególnych warunkach zostały zbieżne z jądrem Gaussa (pakiet R MASS, kde2d function64). Niebieskie obszary pokazują niską gęstość kątów anteny, podczas gdy czerwone obszary pokazują duże zagęszczenie kątów anteny. Mapa cieplna na dolnym wykresie Rysunek 5A dla czystego stanu heptanalnego ilustruje zachowanie anteny.

Mapa pokazuje, że przed pojawieniem się zapachu (t < 0), gęstość kąta anteny rozkłada się względnie równomiernie we wszystkich kątach. Około 1 s po pojawieniu się zapachu (t ~1,000 ms) pojawia się para niebieskich i czerwonych gromad. Na obszarach zacienionych na czerwono czułki znajdowano częściej niż na obszarach zacienionych na niebiesko. Niebieska gromada wskazuje, że anteny miały tendencję do unikania mniejszych kątów (źródło zapachu znajdowało się w kierunku 0 stopni), podczas gdy czerwona gromada wskazuje, że anteny preferowały większe kąty (z dala od źródła zapachu). Czerwona gromada stopniowo zanika w miarę utrzymywania się prezentacji zapachu. Kolejna czerwona, choć mniej intensywna, gromada pojawia się około 1 s po wywnioskowaniu zapachu. Drugie czerwone klastry nazywamy "Rebound Clusters". Zgodnie z powyższymi średnimi czasami odzyskiwania kąta, zauważamy, że klastry odbicia wydają się pojawiać wcześniej i są mniej intensywne w przypadku rozcieńczonych zapachów niż w przypadku czystych zapachów.

Autorzy oświadczają, że nie mają konkurencyjnych interesów finansowych.