Pomiar przestrzennego i kierunkowego rozpraszania światła od materiału biologicznego

Podsumowanie

Prezentujemy nieniszczącą metodę próbkowania zmienności przestrzennej w kierunku światła rozproszonego z materiałów strukturalnie złożonych. Utrzymując materiał w stanie nienaruszonym, zachowujemy rozpraszanie w skali grubej, jednocześnie rejestrując precyzyjne wkłady kierunkowe za pomocą obrazowania o wysokiej rozdzielczości. Wyniki są wizualizowane w oprogramowaniu w biologicznie istotnych pozycjach i skalach.

Streszczenie

Światło oddziałuje z powłoką organizmu na różnych skalach przestrzennych. Na przykład u opalizującego ptaka: struktury w skali nano wytwarzają kolor; Struktura miliskalowa kolców i barbul w dużej mierze determinuje kierunkowy wzór odbitego światła; A dzięki strukturze przestrzennej w skali makro nakładających się na siebie, zakrzywionych piór, te kierunkowe efekty tworzą teksturę wizualną. Efekty w skali mili i makro określają, w którym miejscu na ciele organizmu, z jakich punktów widzenia i przy jakim oświetleniu widoczne są opalizujące kolory. Tak więc wysoce kierunkowy błysk jaskrawego koloru z opalizującego gardła kolibra nie jest wystarczająco wyjaśniony przez samą jego strukturę w skali nano i pozostają pytania. Z danego punktu obserwacyjnego, które elementy pióra w skali mili są zorientowane tak, aby silnie odbijać? Czy niektóre gatunki wytwarzają szersze "okna" do obserwacji opalizacji niż inne? Te i podobne pytania można zadać w odniesieniu do wszelkich organizmów, które wyewoluowały określony wygląd powierzchni z sygnalizacji, kamuflażu lub z innych powodów.

W celu zbadania kierunkowych wzorców rozpraszania światła przez pióra i ich związku z morfologią ptaka w skali mili, opracowaliśmy protokół pomiaru światła rozproszonego od materiałów biologicznych za pomocą wielu zdjęć o wysokiej rozdzielczości, wykonanych przy różnym oświetleniu i kierunkach oglądania. Ponieważ mierzymy światło rozproszone w funkcji kierunku, możemy zaobserwować charakterystyczne cechy w kierunkowym rozkładzie światła rozproszonego od tego konkretnego pióra, a ponieważ kolce i barbule są rozdzielone na naszych obrazach, możemy wyraźnie przypisać cechy kierunkowe tym różnym strukturom w skali mili. Utrzymanie próbki w stanie nienaruszonym pozwala zachować zachowanie rozpraszania na dużą skalę obserwowane w naturze. Opisana tutaj metoda przedstawia uogólniony protokół analizy przestrzennego i kierunkowo zmiennego rozpraszania światła od złożonych materiałów biologicznych w wielu skalach strukturalnych.

Wprowadzenie

Kolor i wzór powłoki organizmu odgrywają kluczowe ekologicznie i społecznie funkcje u większości taksonów zwierzęcych. Te właściwości fenotypowe są determinowane przez interakcję światła ze strukturą powłoki, która może wykazywać rozpraszanie optyczne, które zmienia się zarówno przestrzennie (na powierzchni powłoki), jak i kierunkowo (wraz ze zmianą kierunku oświetlenia i patrzenia). W złożonych materiałach biologicznych, takich jak pióra, na kierunek rozpraszania światła ma wpływ orientacja powtarzającej się geometrii w skali mililitrowej. Te struktury w skali mili same w sobie mogą być osadzone w strukturach w skali nano, takich jak macierze melaniny, które często dziedziczą orientację w skali mili. Od skali nano do makro struktura powłoki ewoluowała funkcjonalnie, aby zwiększyć zdolność sygnalizacyjną organizmu. Aby ocenić wpływ morfologii różnych skal na ogólny wygląd, narzędzia do pomiaru i analizy barwy struktur biologicznych potrzebują elastyczności, aby wyizolować kierunkowe rozpraszanie światła w różnych skalach powiększenia.

Opracowaliśmy narzędzia pomiarowe oparte na obrazach, aby zbadać, jak wydajność złożonej i zróżnicowanej morfologii pióra w skali mili (barb rami, dystalne barbule i proksymalne barbule) rozszerza zakres ekspresji możliwy z samych struktur nano-skalowych. Na pojedynczym zdjęciu zarejestrowanym przez kamerę zaobserwowaliśmy, że światło odbija się w różny sposób w różnych miejscach na powierzchni pióra, co oznacza, że odbicie światła było przestrzenne. Kiedy przesunęliśmy światło i kierunek kamery w stosunku do pióra, zaobserwowaliśmy, że zmienił się współczynnik odbicia, to znaczy odbicie światła zmieniało się kierunkowo¹. Na podstawie tych obserwacji zaprojektowaliśmy protokół metodycznego przesuwania światła i kamery wokół obiektu za pomocą sferycznej suwnicy^2,3, za pomocą której uchwyciliśmy 2 wymiary położenia powierzchni (X i Y), 2 wymiary kierunku światła (szerokość i długość geograficzna) oraz 2 wymiary kierunku kamery (szerokość i długość geograficzna) (Rysunek 2). W oprogramowaniu wizualnie zbadaliśmy 6 wymiarów rozproszonego światła w funkcji położenia, kierunku oświetlenia i kierunku widoku.

Poprzednie badania nad odbiciem od powłok zbyt często lekceważyły wkład kierunkowości -- np. odbicie rozproszone vs. zwierciadlane lub izotropowe vs. anizotropowe -- do ekspresji kolorów. Większość pomiarów kolorów naprawiała padające światło, obiekt i geometrię oglądania, aby starannie uniknąć efektów kierunkowych. Na przykład, aby wyeliminować odbicia zwierciadlane z pomiarów koloru, często umieszcza się światło normalnie do powierzchni i rejestruje współczynnik odbicia pod kątem 45° od normalnej. Badania, które łączą morfologię ze zmieniającym się kierunkowo współczynnikiem odbicia, zazwyczaj koncentrują się na nanoskali i jej opalizujących konsekwencjach^4-8. Niewielu bierze pod uwagę wkład geometrii w skali mikro, mili i makro w sygnaturę optyczną dalekiego pola^8-11. Dlatego często stosuje się detektor światła do agregacji współczynnika odbicia w jednym obszarze zainteresowania, który może obejmować wiele składników w skali mili i / lub makro, takich jak brzanki rami, barbule, a nawet całe pióra^6,8,11-17. Gdy obszar zainteresowania jest mniejszy niż limit rozdzielczości detektora lub nie jest zgodny z kształtem pola widzenia detektora, wspólny protokół określa preparację próbki w celu odizolowania rozpraszania światła od określonego elementu w skali mili^8,10,13,15.

Opracowaliśmy bardziej wszechstronny protokół do pozyskiwania i wizualizacji pomiarów, który zachęca do eksploracji wielu zmiennych, często ignorowanych w innych, bardziej ukierunkowanych badaniach. Mierzymy rozproszenie światła w sferze kierunków i w całym obszarze przestrzeni za pomocą ogromnego zestawu zdjęć o wysokim zakresie dynamiki i wysokiej rozdzielczości, wykonanych z systematycznego zestawu kierunków światła i patrzenia. Stosujemy czujnik obrazowania o wysokiej rozdzielczości z matrycą 2D detektorów pikseli o drobnej skali. Agregacja w sprzęcie zachodzi na poziomie pikseli, w skali mniejszej niż mierzone przez nas elementy w skali mili. Drugi etap agreguje pojedyncze piksele w oprogramowaniu, gdy użytkownik wybiera kształt i rozmiar obszaru zainteresowania. W związku z tym pojedynczy zestaw pomiarowy może być wielokrotnie analizowany w oprogramowaniu w celu zbadania różnych aspektów interakcji światła z materiałem w wielu biologicznie istotnych pozycjach i skalach. Eliminując preparację i pomiar całego pióra, nasz protokół ma tę zaletę, że pozostawia morfologię łopatki pióra nienaruszoną, zachowując naturalny kontekst i funkcję, czyli interakcje światła między elementami składowymi w skali mililitrowej.

Rozpraszanie światła przez strukturę organizmu jest wielowymiarowe i trudne do oszacowania. Zmierzone rozpraszanie światła 6D nie może być jeszcze przypisane specyficznej morfologii w hierarchii skali za pomocą jakiegokolwiek pojedynczego instrumentu. Zrobiliśmy jednak ważny krok w tym kierunku. Opracowaliśmy narzędzie obejmujące trzy uzupełniające się metody - próbkowanie współczynnika odbicia za pomocą portalu, badanie dużych ilości danych w oprogramowaniu i graficzną wizualizację podzbiorów danych - aby rozszerzyć nasze możliwości pomiaru rozpraszania światła 6D w dowolnym punkcie materiału, aż do skali mili. Przewidujemy, że dzięki zastosowaniu protokołów takich jak nasz biolodzy zidentyfikują niezliczoną ilość cech zmieniających się kierunkowo i przestrzennie oraz odpowiadających im adaptacji strukturalnych na wielu skalach rozwoju. Korzystając z naszych narzędzi, jesteśmy zaangażowani w scharakteryzowanie potencjału sygnalizacyjnego kierunkowej i przestrzennej ekspresji struktur w skali mili i mamy nadzieję rzucić światło na ich adaptacyjne konsekwencje. Odpowiadamy na szereg pytań, takich jak: z dowolnego punktu obserwacyjnego, które elementy pióra w skali subtelnej lub w skali grubej odbijają się silnie? W jaki sposób orientacja elementów w skali subtelnej wpływa na kierunek rozpraszania światła? Jakie warunki morfologiczne wytwarzają satynowy połysk, a jakie cekinowy blask opalizującego ornamentu? Czy niektóre gatunki wytwarzają szersze "okna" do obserwacji opalizacji niż inne? Pytania te mogą dotyczyć ptaków i ich piór, ale także wszelkich innych organizmów, które wyewoluowały określony wygląd powierzchni dla sygnalizacji, kamuflażu lub z innych powodów.

Protokół

Podczas korzystania z naszych metod pomiaru próbki, eksperymentator musi zdecydować o zestawie kierunków kamery i światła, a dla każdej kombinacji kierunku kamery i światła, kamera wykonuje kilka ekspozycji z różnymi czasami otwarcia migawki. Przesuwanie kamery wymaga dodatkowej obróbki, ponieważ zmienia widok próbki widziany na obrazie, więc zwykle używamy małej liczby kierunków kamery i większej liczby kierunków źródła światła.

W szczegółowych protokołach poniżej, najpierw opisujemy, jak wykonać pomiar z wieloma kierunkami źródła światła i jednym kierunkiem kamery, oraz jak przetwarzać i wizualizować wynikowe dane (Protokół 1). W protokole podstawowym, który może być używany samodzielnie, gdy pojedynczy widok jest wystarczający do obserwacji badanych zjawisk, zawsze utrzymujemy widok kamery prostopadły do próbki (procedura podstawowa na rysunku 1). Gdy wymaganych jest wiele kierunków kamery, wynikowe ukośne widoki próbki mogą zostać zniekształcone, aby cofnąć efekty poruszania kamerą, a tym samym wyrównać obrazy dokładnie z kanonicznym widokiem prostopadłym. Aby obliczyć te wypaczenia, wykonujemy dodatkowe kroki kalibracji, które wykorzystują obserwacje celów umieszczonych wokół próbki w celu precyzyjnego określenia ruchu kamery względem próbki. Protokół 2 szczegółowo opisuje tę procedurę kalibracji i wyjaśnia, jak wybrać parametry i wielokrotnie uruchomić protokół 1 w celu zebrania danych z wielu widoków (procedury drugorzędne na rysunku 1). Wreszcie Protokół 3 wyszczególnia dodatkowe kroki, które muszą zostać wprowadzone do Protokołu 1 w celu skorygowania niejasności podczas przetwarzania danych.

1. Zmierz rozproszone światło w kierunku normalnej powierzchni nad sferą kierunków padania (podstawowa procedura na rysunku 1)

1. Przygotuj i zamontuj mierzony obiekt
   1. Przygotuj cienką płytę montażową z metalu żelaznego z otworem 1/2 cala otoczoną pierścieniem celów (jak pokazano na rysunku 2).
   2. Przygotuj materiał do pomiaru. Jeśli mierzysz pióro, oczyścić kolce, aby skorygować rozpięte lub niewspółosiowe sekcje łopatki pióra.
   3. Przyłóż powierzchnię przedmiotu (awers pióra) do tylnej strony (naprzeciwko pierścienia tarczowego) tabliczki.
   4. Wyśrodkuj obszar zainteresowania nad otworem 1/2 cala w płycie.
   5. Połóż arkusz folii magnetycznej z otworem 5/8 cala na tylnej stronie przedmiotu (odwrotna powierzchnia pióra), dociskając w ten sposób przedmiot płasko do płyty.
   6. Dopasuj otwór filmu do otworu płyty bez ścinania powierzchni. Spłaszczona powierzchnia, przypięta do obwodu okrągłego otworu, daje płaską makropowierzchnię w przybliżeniu pokrywającą się z powierzchnią płyty.
2. Konfiguracja suwnicy
   1. Zlokalizuj środek okrągłego otworu w punkcie początkowym układu współrzędnych portalu.
   2. Umieść źródło światła na zewnętrznym ramieniu suwnicy. Wyceluj i wąsko skoncentruj światło na obiekcie, upewniając się, że przysłona jest równomiernie oświetlona dla wszystkich kątów źródła światła.
   3. Umieść kamerę na wewnętrznym ramieniu suwnicy. Dostosuj odległość aparatu i ogniskową obiektywu makro, aż pierścień obiektów wypełni szerokość matrycy.
   4. Skalibruj ruchy obrotowe (θ,φ) kamery i ramion lampy. Skalibruj nachylenie (θ) w stosunku do normalnej powierzchni obiektu tak, aby kamera i lampa były wyrównane z normalną powierzchni, gdy θ = 0. Skalibruj azymut (φ) kamery do azymutu lampy. Bezwzględna orientacja azymutalna nie jest krytyczna, ponieważ przechwycone obrazy mogą zostać obrócone w późniejszym czasie w protokole.
3. Konfiguracja ostrości i ekspozycji aparatu
   1. Obracaj kamerę, aż obiekt będzie viewed pod kątem wypasu. Zmniejsz liczbę przysłony, aby zminimalizować głębię ostrości (DOF), a następnie ustaw płaszczyznę ostrości na środku przysłony. Zwiększ liczbę przysłony, aby zwiększyć głębię ostrości, aż pierścień obiektów otaczających przysłonę będzie ostry. Może być wymagany kompromis między dyfrakcją a rozmyciem wywołanym przez głębię ostrości.
   2. Przypnij standard koloru płasko do płyty montażowej. W przypadku obrazów RGB użyj wzornika kolorów Makbeta. Do pomiarów NIR w zakresie widzialnym UV należy użyć Spectralon.
   3. Sfotografuj standard kolorów w formacie RAW. Oblicz mnożniki kanałów kolorów, aby uzyskać balans bieli obrazu.
   4. Znajdź bracketing ekspozycji, który obejmuje zakres dynamiczny sceny w najbardziej ekstremalnych kierunkach oglądania i oświetlenia.
   5. Dla każdego czasu ekspozycji w nawiasie uzyskaj obraz z ciemnym szumem, naświetlając matrycę z założoną pokrywką obiektywu.
4. Pozyskiwanie pomiarów z rzadko próbkowanej sfery kierunków zdarzeń
   1. Ustaw oś kamery prostopadle do płaszczyzny powierzchni {θ,φ}={0,0}.
   2. Przepuszczanie światła przez szereg równomiernie rozmieszczonych pozycji na kuli, przy użyciu próbkowania zgrubnego (np. mniej niż 500 punktów).
   3. Dla każdego kierunku padającego światła w pobieraniu próbek:
   4. Uchwyć obraz RAW dla każdego czasu ekspozycji w przedziale ekspozycji.
   5. Uchwyć pojedynczy obraz oświetlony przez lampę błyskową zamontowaną w aparacie, zsynchronizowany ze stosunkowo krótkim czasem naświetlania, aby stłumić oświetlenie lampy bramowej.
   6. Przejdź do następnego kierunku padającego światła i powtórz.
5. Pomiary procesowe z kuli z rzadkimi próbkami
   1. Korzystając z trybu debugowania (dokumentu) dcraw^a, aby wyłączyć jego funkcję demozaikowania, przekonwertuj z formatu RAW na skalę szarości, 16-bitowy, liniowy, format PGM:
      1. Każda ekspozycja na ciemny szum.
      2. Każda ekspozycja obiektu w każdym kierunku padającego światła.
   2. Zintegruj wszystkie ekspozycje w skali szarości o niskim zakresie dynamiki (LDR) w oświetleniu lampy bramowej w jeden kolorowy obraz o wysokim zakresie dynamiki (HDR) dla każdego kierunku padającego światła.
      1. Odejmij odpowiedni obraz ciemnego szumu od każdej ekspozycji LDR.
      2. Demozaikuj każdą ekspozycję LDR, aby uzyskać obraz w skali jednej czwartej.
      3. Balans bieli dla każdej ekspozycji LDR przy użyciu mnożników kanałów kolorów obliczonych w kroku 1.C.3.
      4. Scal ekspozycje LDR odjęte od ciemnego szumu w jeden obraz HDR, sumując wszystkie wartości w każdej pozycji piksela i dzieląc przez sumę czasów ekspozycji, pomijając prześwietlone piksele w obu sumach.
      5. Przechowuj obraz HDR w formacie EXR zakodowany w precyzji półzmiennoprzecinkowej i bezstratnej kompresji falkowej (PIZ).
   3. Jeśli kierunek kamery nie jest kierunkiem kanonicznym lub przebieg pomiaru jest częścią zestawu kierunków wielu kamer (procedury drugorzędne na rysunku 1 i protokole 2):
      1. Przekształć pojedynczą ekspozycję LDR w skali szarości oświetlonych lampą błyskową obiektów śledzących dla każdego kierunku padającego światła na demozaikowany kolorowy obraz LDR w skali jednej czwartej w formacie EXR.
      2. Postępuj zgodnie z protokołem 3, aby użyć obrazu oświetlonego lampą błyskową do projekcji każdego obrazu oświetlonego lampą HDR w widok kanoniczny.
   4. Obróć obrazy HDR do żądanej orientacji - np. w naszym przypadku obrót o 90° ustawia osadkę w pionie, a pióro w górę.
   5. Przytnij obrazy HDR ciasno wokół okrągłej przysłony. Maskowanie obiektów i metalowej płytki poza przysłoną zmniejsza rozmiar pliku nawet o 25%.
   6. Permutacja danych w całym zestawie obrazów HDR w celu utworzenia zestawu plików, po jednym dla każdego z kilku bloków obrazu, które zawierają wszystkie wartości kierunkowego współczynnika odbicia uporządkowane według pikseli. Te pliki pamięci podręcznej kierunkowego współczynnika odbicia są zorganizowane w taki sposób, aby umożliwić szybki dostęp do wszystkich kierunkowych pomiarów kolorów w pozycji pojedynczego piksela rzutu 2D obiektu 3D.
6. Wizualizacja przestrzennego rozpraszania światła w hierarchii skali
   1. Aby przeglądać pomiary, użyj niestandardowej aplikacji SimpleBrowser, aby zinterpretować dane przetworzone w kroku 1.E. SimpleBrowser otworzy okno zawierające obraz pióra oświetlonego pierwszym kierunkiem padającego światła.
   2. Na obrazie łopatki piórowej można wybrać pojedyncze piksele lub grupy pikseli w układzie liniowym lub prostokątnym (rysunek 3). Kontynuuj, wybierając prostokątny obszar łopatki pióra do analizy. Następnie wykreśl średnie kierunkowe rozpraszanie światła z wybranego regionu. Okno wykresu pokazujące odbicie w funkcji cosinusów kierunkowych otwiera się w sąsiedztwie okna obrazu (R1 na rysunku 4).
   3. Domyślnie kierunek maksymalnej luminancji (kierunek transmitancji w typowym pomiarze pióra) ma przypisaną ekspozycję równą 1. Zmniejsz lub zwiększ ekspozycję w krokach co pół stopnia (√2 x), aby dostosować ekspozycję mapy kolorów odbicia.
   4. Przełącz mapę kolorów odbicia między luminancją, RGB i chromatycznością (patrz R1, R2 i R3 na rysunku 4). W poniższych krokach użyj RGB.
   5. Aby obrócić kulę, kliknij ją, aby włączyć interfejs trackballa. Przeciągnij interfejs, aby spowodować obrót. Aby view półkula odbicia, przywróć kulę do jej domyślnego położenia (patrz R2 na rysunku 4). Obróć kulę o 180° od jej domyślnej pozycji, aby view półkula transmitancji (patrz T2 na rysunku 4).
   6. Aby uzyskać inny widok danych, wybierz tryb wykresu biegunowego, aby przeskalować promienie każdego kierunku na sferze jednostkowej według odpowiednich wartości luminancji. Zmień mapę kolorów sfery skalowanej luminancji z RGB na chromatyczność (patrz P3, F3, S3, A3 na rysunku 4).
   7. Kierunek oświetlenia wyświetlanego obrazu jest zaznaczony na czerwono na wykresie rozproszenia kierunkowego (rysunek 4). Kliknij dowolny inny kierunek padającego oświetlenia, aby wyświetlić obraz pióra oświetlonego z tego kierunku.
   8. Zmniejsz lub zwiększ ekspozycję obrazu, aby odsłonić obszary prześwietlone i niedoświetlone.
   9. Aby zbadać współczynnik odbicia światła w całej hierarchii skal, przywróć tryb wydruku do sfery jednostkowej, a mapę kolorów do RGB. W przeglądzie na tym wykresie jest wyświetlany średni kierunkowy współczynnik odbicia od wybranego prostokątnego obszaru na obrazie.
   10. Zmień typ zaznaczenia z prostokątnego na liniowy (Rysunek 3). Umożliwi to badanie kierunkowego współczynnika odbicia od poszczególnych struktur o drobnej skali w obszarze prostokątnym.
   11. Wykreśl współczynnik odbicia średniej liniowej w nowym oknie, zachowując średnią prostokątną jako odniesienie. Dostosuj ekspozycję i ustaw mapę kolorów na RGB.
   12. Na wykresie średniej liniowej widać, że dystalne barbule rozpięte przez obszar liniowy odbijają światło w kierunkach poziomych (ryc. 8). Wybierz jeden z kierunków oświetlenia na wykresie liniowym, aby wyświetlić dystalne barbule o wysokim współczynniku odbicia na obrazie po lewej stronie.
   13. Przesuwaj linię w kierunku czubka pióra, aż dotrze do obszaru pióra, w którym proksymalne barbule rozgałęziają się od sąsiedniego rami. Na liniowym wykresie średniej zaobserwowano, że proksymalne barbule odbijają światło w kierunkach pionowych (ryc. 8). Wybierz jeden z kierunków, aby wyświetlić wysoce odblaskowe proksymalne barbule na obrazie po lewej stronie.
   14. Na wykresie liniowym obserwuj struktury o drobnej skali, które odbijają światło w kierunkach poziomym i pionowym, łączą się, tworząc sygnał dalekiego pola widoczny na wykresie prostokątnym.

2. Pomiar rozproszonego światła w wielu kierunkach kamery (procedury drugorzędne na rysunku 1)

Wiele widoków z kamery i niejednorodne próbkowanie kierunkowe pozwalają nam badać poszczególne cechy kierunkowego współczynnika odbicia. Wraz z dodaniem kroków kalibracji 2.A i 2.B, Protokół 1 został rozszerzony o obsługę wielu widoków z kamery. Dwa konkretne przykłady zilustrowane graficznie jako procedury drugorzędne II.A i II.B na rysunku 1 przedstawiono w krokach 2.C i 2.D poniżej. W takich przypadkach kierunek kamery jest zmieniany z kierunku kanonicznego (normalnego do powierzchni), co oznacza, że obiekt jest fotografowany z kierunku nachylonego od normalnej powierzchni. Ponieważ obrazy muszą być odwzorowywane w tym samym układzie współrzędnych, korygujemy i zniekształcamy każde zdjęcie, aby pasowało do orientacji kanonicznej, odwołując się do obiektów sfotografowanych z lampą błyskową otaczających próbkę (rysunek 9).

1. Kalibracja projekcji i pozycji kamery:
   Celem tych kroków jest obliczenie projekcji i pozycji kamery używanej w transformacji obrazu.
   1. Przypnij wzorzec kalibracji w kratkę płasko do płyty montażowej.
   2. Przechwyć jeden obraz w kanonicznym widoku kamery (tj. {θ,φ}={0,0}) i kilka obrazów w różnych innych widokach kamery rozłożonych na stożku 120° wyśrodkowanym na widoku kanonicznym.
   3. Załaduj obrazy do Bouguet Toolbox^b, zestawu narzędzi do kalibracji aparatu MATLAB. Wyodrębnij rogi siatki na każdym z obrazów, aby zrekonstruować matryce aparatu. Eksportuj macierz projekcji wewnętrznej kamery (P) i macierz położenia kamery zewnętrznej (M). Wewnętrzna projekcja kamery składa się z ogniskowej i punktu głównego. Zewnętrzna pozycja kamery składa się przede wszystkim z translacji; Przekłada pochodzenie świata na pozycję kamery.
   4. Rozwiąż macierz, która przekształca współrzędne celu kalibracyjnego na współrzędne gramofonu bramowego (X), tj. przestrzeń Bougueta na przestrzeń bramową.
   5. Odpiąć wzór kratki od metalowej płytki.
2. Kalibracja pozycji docelowych i przesunięć projekcji:
   Celem tych kroków jest obliczenie przesunięć między płaszczyzną kalibracji, płaszczyzną docelową i próbką oraz zlokalizowanie pozycji docelowych.
   1. Obróć kamerę we współrzędnych portalowych tak, aby oś optyczna była prostopadła do płaszczyzny powierzchni, czyli ramy kanonicznej.
   2. Uchwyć obraz pierścienia obiektów otaczających przysłonę za pomocą oświetlenia błyskowego. To jest obraz kanoniczny do wyrównania obrazu.
   3. Przetwarzaj nieprzetworzone dane wyjściowe z aparatu (protokół opisany w krokach 1.E.3.a. i 1.E.4.).
   4. Zamaskuj obszar wewnątrz i na zewnątrz strefy docelowej pierścienia, eliminując rozproszone refleksy, które mogą zmylić rozpoznawanie celu, a następnie znajdź cele na obrazie.
   5. Obróć kamerę do kąta wypasu i zrób zdjęcie.
   6. Oblicz kanoniczną pozycję kamery (Mc= M * Rc) i pozycję kamery pod kątem wytarcia (Mg = M * Rg) na podstawie zewnętrznej matrycy kamery M w kroku 2.A.3, który obejmuje translację opartą na pozycji wzorca kontrolera Bougueta.
   7. Zdefiniuj na nowo M, przesuwając jego translację o grubość papierowego pierścienia tarczowego. Wykonuj iterację metodą prób i błędów (przeliczając M przy użyciu innego przesunięcia dla płaszczyzny kalibracji), aż przesunięcie w przestrzeni bramowej między płaszczyzną szachownicy Bougueta a płaszczyzną pierścienia tarcz, tj. grubość papierowego pierścienia tarczy, zostanie rozwiązane. Sprawdź przesunięcie w każdej iteracji, ponownie rzutując cele na obrazie kąta wytarcia na cele obrazu kanonicznego.
   8. Ponownie zdefiniuj M, postępując zgodnie z procedurą opisaną w poprzednim kroku, aby ponownie rzutować obiekt z aperturacją na obraz kąta grzbietu na obiekt z otworem na obrazie kanonicznym metodą prób i błędów, aż do przesunięcia w przestrzeni portalowej między płaszczyzną pierścienia celów a płaszczyzną obiektu z otworem, tj. grubości metalowej płytki, został rozwiązany.
3. Zmierz siedem półkul odbijających światło o niejednorodnej próbie (procedura wtórna II.A na rysunku 1)
   1. Należy zbadać kierunkowy rozkład światła odbitego mierzony z kamery view prostopadle do powierzchni, tj. {θ, φ}={0,0}, jak opisano w protokole 1. Ponowne próbkowanie półkuli odbicia w celu rzadszego rejestrowania promieniowania kamery z kierunków niezwierciadlanych i gęstszych kierunków zwierciadlanych.
   2. Zastosuj te same kryteria do próbkowania współczynnika odbicia w 6 dodatkowych kierunkach kamery równomiernie rozmieszczonych na połowie półkuli, tj. {θ, φ}={30,0}, {30,90}, {60,0}, {60,45}, {60,90}, {60,135}. Przewiduj obszary zwierciadlane 6 dodatkowych przebiegów od kierunku patrzenia każdego z nich w połączeniu z kątem odbicia początkowego przebiegu.
   3. Dla każdej z 7 niejednorodnie pobranych półkul należy pobrać i przetworzyć pomiary zgodnie z instrukcjami w krokach 1.D. i 1.E. powyżej.
   4. Przejrzyj wizualnie kierunkowy współczynnik odbicia z tego samego obszaru pióra w każdej z 7 niejednorodnie pobranych półkul, postępując zgodnie z instrukcjami w kroku 1.F. powyżej. Ułóż wykresy odbicia kierunkowego dla każdego z 7 kierunków kamery w układzie współrzędnych biegunowych, gdzie położenie każdego wykresu zależy od kierunku kamery (patrz wizualne wyniki procedury II.A na rysunku 1; również na rysunku 5).
4. Zmierz drobno próbkowane ścieżki półkoliste, aby uzyskać szczegółowe informacje na temat zmiany koloru wraz z kątem (procedura drugorzędna II.B na rysunku 1)
   1. Uruchom aplikację SimpleBrowser i wprowadź przetworzone pomiary półkuli odbicia o niejednorodnym próbkowaniu w kierunku kamery {θ,φ}={0,0}, jak opisano w kroku 2.C.1. Zaznacz jeden piksel na obrazie, a następnie dopasuj płaszczyznę do 90. percentyla luminancji półkulistego współczynnika odbicia w wybranym położeniu piksela.
   2. Skonstruuj przebieg akwizycji 1D, który precyzyjnie próbkuje współczynnik odbicia w płaszczyźnie zwierciadlanej. Generuj kąty ramienia bramy w krokach co pół kąta 1/2° w płaszczyźnie zdefiniowanej w poprzednim kroku. Zacznij od połówki kąta równego 0° i zwiększ połówkę kąta do 90°. Dla każdego pomiaru w przebiegu akwizycji utrzymuj stałą wartość półwektora i równą normalnej powierzchni, tak aby każdy kierunek kamery znajdował się w kierunku zwierciadlanym.
   3. Pobieraj i przetwarzaj pomiary zgodnie z instrukcjami w krokach 1.D. i 1.E. powyżej.
   4. Przejrzyj wizualnie kierunkowy współczynnik odbicia 1D, postępując zgodnie z instrukcjami w kroku 1.F, jednocześnie próbkując bardzo mały obszar (np. 3x3 piksele) wyśrodkowany na tym samym pikselu, który został użyty do dopasowania płaszczyzny zwierciadlanej w kroku 2.D.1. Znajdź kierunek szczytowego współczynnika odbicia, tj. zacienienie normalne. Skonstruuj 3 dodatkowe przebiegi akwizycji w taki sam sposób, jak w kroku 2.D.2., ale ustaw półwektor na normalną cieniowania, a nie normalną powierzchni. Dla 3 dodatkowych przebiegów należy wygenerować kąty ramienia bramy, które leżą w płaszczyznach zawierających normalną zacienienia, ale które są obrócone o 45°, 90° i 135° w stosunku do płaszczyzny zwierciadlanej zdefiniowanej w kroku 2.D.1.
   5. Pobieraj i przetwarzaj pomiary zgodnie z instrukcjami w krokach 1.D. i 1.E. powyżej.
   6. Przejrzyj wizualnie kierunkowy współczynnik odbicia 1D, postępując zgodnie z instrukcjami w kroku 1.F, jednocześnie próbkując bardzo mały obszar (np. 3x3 piksele) wyśrodkowany na pikselu użytym do dopasowania płaszczyzny zwierciadlanej w kroku 2.D.1. Eksportuj z SimpleBrowser średnie odbite promieniowanie tego bardzo małego obszaru.
   7. W MATLAB wykreśl jego chromatyczność jako funkcję połówki kąta na diagramie chromatyczności (Rysunek 6). Wykreśl jego barwę, nasycenie i luminancję w funkcji kąta połówkowego (Rysunek 7).
   8. Skonstruuj cztery kolejne przebiegi akwizycji 1D w tych samych czterech płaszczyznach, co powyżej, ale tym razem skonfiguruj kierunek światła i kamery, aby zmierzyć szerokość i zanik odbicia zwierciadlanego. Ustaw stały kąt połówki między światłem a kamerą na stałe 10°. Generuj kąty ramienia bramy w krokach co 1° w połowie wektora wokół osi prostopadłej do płaszczyzny. Zacznij od półwektora równego -80° i zwiększ półwektor do +80°, gdzie 0° równa się normalnemu cieniowaniu. Należy pamiętać, że nie wszystkie kierunki kamery są zlokalizowane w kierunku zwierciadlanym.
   9. Pobieraj, przetwarzaj i eksportuj pomiary zgodnie z instrukcjami w krokach odpowiednio 1.D. i 1.E oraz 2.D.6.
   10. W MATLAB wykreśl jego chromatyczność na wykresie chromatyczności jako funkcję kąta między półwektorem a normalną cieniowania. Wykreśl jego odcień, nasycenie i luminancję w funkcji kąta między półwektorem a normalną cieniowania.

3. Transformacja projekcyjna

Projekcja przekształca każdy obraz HDR w widok kanoniczny lub kierunek widoku prostopadły do płaszczyzny powierzchni. Dostęp do tego protokołu można uzyskać za pośrednictwem kroku 1.E.3.b, gdy przebieg pomiaru jest częścią zestawu kierunków wielu kamer, takich jak przykłady opisane w protokole 2 i zilustrowane graficznie jako procedury drugorzędne na rysunku 1.

1. Odczyt obrazu kanonicznego oświetlonego z kierunku niezwierciadlanego. (W kierunkach zwierciadlanych zwierciadlanych zmniejszony kontrast między białą powierzchnią papieru a czarnym atramentem może prowadzić do niepowodzenia wykrywania celu. Porównaj klarowność obrazu A i B na rysunku 9.)
2. Zlokalizuj współrzędne środka każdego celu na obrazie kanonicznym.
3. Załaduj obraz docelowy oświetlony lampą błyskową zamontowaną w aparacie dla danej pary kierunkowej lampa-kamera (B na rysunku 9).
4. Z grubsza przekształć obraz docelowy w kanoniczną klatkę kamery za pomocą matrycy kamery bramowej M obliczonej w kroku 2.B.7.
5. Zlokalizuj współrzędne środka każdego celu na przekształconym obrazie docelowym (C na rysunku 9).
6. Dopasuj każdy element docelowy na przekształconym obrazie docelowym do jego celu referencyjnego na obrazie kanonicznym, znajdując minimalną odległość między obrazem a obiektami docelowymi odniesienia.
7. Odrzuć wszelkie rozmyte cele spowodowane przez głębię ostrości pod kątami wypasu (D na rysunku 9).
8. Rozwiąż problem z transformacją rzutową 2D, która odwzorowuje obiekty docelowe obrazu w ramce kanonicznej na obiekty docelowe obrazu kanonicznego w tej samej klatce.
9. Cofnij przekształcenie obiektów wypaczonych w celu dopasowania z kanonicznej ramki obrazu z powrotem do oryginalnej klatki obrazu przez płaszczyznę obiektu z otworem (M w kroku 2.B.8.), a nie przez płaszczyznę obiektów docelowych (M w kroku 2.B.7.).
10. Zapisz pary współrzędnych celu, które odwzorowują obiekt z przysłoną na obrazie docelowym na obiekt z przysłoniętą osłoną na kanonicznym obrazie docelowym.
11. Załaduj obraz HDR oświetlony przez lampę (A na rysunku 9).
12. Wywnioskuj przestrzenną transformację rzutową z zapisanych par współrzędnych docelowych, aby przekształcić obraz HDR w klatkę kanoniczną (E na rysunku 9).
13. Wróć do głównego protokołu.

^a Dcraw to open-source'owy program komputerowy stworzony przez Davida Coffina. Konwertuje zastrzeżony obraz w formacie RAW aparatu (tj. nieprzetworzone dane CCD) na standardowy format obrazu. Zobacz http://www.cybercom.net/~dcoffin/dcraw/.

^b Bouguet Toolbox to narzędzie do kalibracji kamer dla MATLAB, opracowane przez Jeana-Yves'a Bougueta. Zobacz http://www.vision.caltech.edu/bouguetj/calib_doc.

Wyniki

Podstawowy pomiar w naszym protokole (Procedura I na Rysunku 1) zakładał ustawienie kamery prostopadle do powierzchni i przesuwanie jedynie źródła światła. Ponieważ rozpraszanie światła opiera się na zasadzie wzajemności, wynik jest taki sam, niezależnie od tego, czy utrzymamy stałą pozycję kamery, przesuwając światło po półkuli, czy odwrotnie. Przy ustaleniu pozycji kamery lub światła, pełny czterowymiarowy zestaw kierunków jest niedoreprezentowany. Pełniejszy obraz zachowania rozpraszania obserwuje się, gdy – w przeciwieństwie do pomiaru podstawowego – zarówno światło, jak i kamera są przesuwane w różnych kierunkach, oddalając się od normalnej do powierzchni. W idealnym przypadku moglibyśmy mierzyć rozpraszanie światła z wielu kierunków obserwacji, nawet w liczbie równej liczbie kierunków padania światła, aby uzyskać symetryczny zestaw danych. W praktyce wymagałoby to zbyt wielu ekspozycji. Nasze doświadczenie wskazuje, że wystarczające informacje o różnych pozycjach obserwacyjnych można uzyskać, przesuwając kamerę kilkakrotnie, zakładając 180° symetrię obrotową względem normalnej do powierzchni. Podczas fazy pomiarów wtórnych wykonaliśmy pomiary z 7 kierunków obserwacji rozłożonych na półkuli w obrębie 60° od zenitu^18,19 (Procedura II.A na Rysunku 1).

Na rysunkach w niniejszej pracy przedstawiamy reprezentatywne dane pomiarowe z pióra Lamprotornis purpureus (szczygłowca purpurowego), którego odbicie jest opalizujące, błyszczące i anizotropowe (Rysunek 5). Dla każdego z 7 kierunków obserwacji zbierano światło odbite z setek kierunków oświetlenia padającego na półkulę. Kierunki te tworzą wąski pas zorientowany ortogonalnie do osi centralnej pióra (patrz obraz pióra na Rysunku 4). Przesunięcie koloru opalizacji jest subtelne (niebiesko-zielone przy padaniu prostopadłym i zielono-niebieskie przy padaniu pod kątem ostrym), gdy pióro jest obserwowane prostopadle do jego powierzchni, co widać na wykresie RGB dla {0°,0°} na Rysunku 5. W miarę jak kąt obserwacji zbliża się do kąta ostrego, kąty między kierunkiem obserwacji a kierunkami padania pod kątem ostrym są maksymalizowane, co prowadzi do bardziej wyraźnego przesunięcia koloru (niebiesko-zielonego przy 0° i purpurowego przy 240° pomiędzy kierunkami padania i obserwacji), co widać na wykresie RGB dla {60°,0°} na Rysunku 5.

Możemy zastosować znacznie mniejszą rozdzielczość kątową dla światła i kamery, ograniczając ruchy do 1 wymiaru. Rysunek 6 przedstawia chromatyczność odbicia upierzenia L. purpureus jako funkcję kąta między kierunkiem padania a kierunkiem obserwacji, gdzie oba te kierunki znajdują się w płaszczyźnie zawierającej pas zwierciadła, który jest prostopadły do osi podłużnej dystalnej barbuli. W miarę jak kolor iryzujący przemieszcza się po przestrzeni chromatyczności, odcień zmienia się z niebiesko-zielonego na fioletowy.

Przestrzenna zmienność odbicia kierunkowego jest widoczna w miejscach, gdzie różne współrzędne (X,Y) pokrywy odpowiadają różnym strukturom w skali mili. W przypadku L. purpureus na większości obszaru widoczna jest tylko jedna struktura – dystalna barbula. W przeciwieństwie do tego, u C. cupreus w danych wyraźnie rozróżnia się trzy struktury w skali mili – rami, barbule dystalne i barbule proksymalne; można zaobserwować, że odbicie od pióra jest zorientowane względem osi podłużnej każdej z tych struktur (Rysunek 8).

Rysunek 1. Ten schematyczny przegląd przedstawia dwie metody montażu, sferyczny układ współrzędnych wspornika, typy próbkowania akwizycji oraz ich odpowiednie wyniki. Kliknij tutaj, aby wyświetlić powiększony rysunek.

Rysunek 2. Spłaszczone pióro jest widoczne przez otwór w metalowej płytce otoczonej pierścieniem celów. Sferyczny stelaż może być ustawiany w celu pomiaru rozpraszania światła od pióra przy wielu kierunkach oświetlenia i obserwacji. L=Ramię oświetlenia (szerokość geograficzna). C=Ramię kamery (szerokość geograficzna). B=Podstawa kamery (długość geograficzna). T=Stół obrotowy (długość geograficzna). F=Pióro.

Rycina 3. Średnie rozproszenie kierunkowe można obliczyć dla punktu, linii lub prostokątnego obszaru chorągiewki pióra.

Rysunek 4. Przykład funkcji wykresowania rozpraszania kierunkowego (R*=Kierunkowość odbicia, T*=Przezierność, P*=Góra, F*=Przód, S*=Bok, A*=Dowolny) i schematów kolorystycznych (*1=Luminancja, *2=RGB, *3=Chromatyczność). Kliknij tutaj, aby wyświetlić większy rysunek.

Rysunek 5. Luminancja (góra) i kolor RGB (dół) odbicia półsferycznego w przestrzeni cosinusów kierunkowych, widziane z par współrzędnych (kąt elewacji, kąt azymutu): {0°,0°}, {30°,0°}, {30°,90°}, {60°,0°}, {60°,45°}, {60°,90°} oraz {60°,135°}. Odbicie zostało uśrednione z prostokątnego obszaru o wymiarach 25×25 pikseli bocznej łodyżki pióra trzeciorzędowego L. purpureus (szczygłaka purpurowego). Czerwone strzałki reprezentują kierunki kamery. Kliknij tutaj, aby wyświetlić powiększony rysunek.

Rycina 6. Chromatyczność odbicia w funkcji połowy kąta między kierunkiem oświetlenia a kierunkiem obserwacji: Jednolite Skale Chromatyczności (USC) CIE 1976 z powiększonym obszarem. Kliknij tutaj, aby wyświetlić większą rycinię.

Rysunek 7. Odbiór światła w funkcji kąta między kierunkiem oświetlenia a kierunkiem obserwacji, w płaszczyźnie (kolor czerwony) i prostopadle (zacienienie) do osi podłużnej dystalnej barbuli: (A) długość fali dominującej, (B) procent chromatyczności, (C) procent luminancji. Cieniowanie kolorystyczne na wykresie A odpowiada kolorowi RGB odbitego światła. Ujemne wartości długości fali reprezentują kolory w niespektralnym trójkącie purpury. Kliknij tutaj, aby wyświetlić powiększony rysunek.

Rysunek 8. Średnie odbicie kierunkowe dystalnych i proksymalnych barbuli między dwoma sąsiednimi ramiami C. cupreus (kukułki szmaragdowej).

Rycina 9. (A) Obraz nierektyfikowany oświetlony lampą wysięgnikową, (B) Obraz nierektyfikowany oświetlony lampą błyskową aparatu, (C) Przefiltrowane potencjalne cele na obrazie poddanym transformacji afinicznej i oświetlonym lampą błyskową, (D) Cele o dopuszczalnej ostrości w obrębie głębi ostrości, (E) Rektyfikowany obraz oświetlony lampą, (F) Obrócony czubek pióra skierowany w górę, przycięty i zamaskowany. Kliknij tutaj, aby wyświetlić powiększoną rycinę.

Dyskusja

Chociaż wydajność i funkcja wielu barwników pigmentowych i strukturalnych są dobrze poznane, morfologia wielu powłok jest tak złożona, że ich szczegóły strukturalne i funkcja są^{słabo poznane}. Powłoki rozwinęły specjalizacje, które zmieniają się przestrzennie na powierzchni organizmu, aby w różny sposób odbijać światło kierunkowo w kierunku widza. Kierunkowość zyskała uwagę przede wszystkim w badaniach nad opalizacją ze względu na jej zmianę koloru wraz ze zmianą padania i kąta widzenia, a badania nad opalizacją powłok biologicznych przyniosły głównie pomiary 1D i niektóre pomiary 2D^8,12,17. Jednak uogólnione pomiary 6D nie były rutynowe w badaniu powłok^21-23, opalizujących lub innych, a literatura na temat fenotypów kolorów organizmów jest ograniczona przez brak kierunkowych danych kolorystycznych typu dostarczanego przez naszą metodę.

Pióro jest szczególnie bogatym materiałem powłokowym, na który składają się układy o miliskalowej budowie zadzioru: rami, barbule dystalne i barbule proksymalne. Niewielka skala elementów i ich skomplikowane rozmieszczenie sprawiają, że trudno jest dostrzec wydajność rozpraszania światła przez poszczególne elementy. Nasz protokół z powodzeniem wyizolował strukturę w skali mili od wpływu geometrii w skali makro. Charakteryzując funkcjonalne konsekwencje kierunkowej ekspresji struktur w skali mililitrowej do sygnatury dalekiego pola pióra, umożliwiliśmy zbadanie ich adaptacyjnych konsekwencji.

Stanęliśmy przed praktycznym kompromisem między rozdzielczością spektralną, przestrzenną i kątową. Do naszych badań wybraliśmy wysokie przestrzenne, średnio kątowe i niskospektralne. Można zastosować inne kombinacje, ale niektóre (np. wszystkie wysokie) prowadzą do niewykonalnie długich czasów pomiaru. Uwaga musi być skupiona tam, gdzie jest to ważne dla poszczególnych badanych zjawisk. Decydując się na zastosowanie kamery RGB z mozaiką filtrów Bayera, zaprojektowaliśmy nasz protokół tak, aby pasował do ludzkiego układu wzrokowego. Kamera RGB mogłaby zostać wymieniona, a nasz protokół dostosowany do pomiaru względnego bodźca kolorystycznego dowolnego organizmu, np. czułość w widmie UV jest potrzebna do pomiaru ptasiego koloru tetrachromatycznego^24,25. Kamera do obrazowania spektralnego zapewniłaby najbardziej ogólne rozwiązanie²⁵.

Zademonstrowaliśmy nasz protokół z piórami skrzydeł trzecich, ponieważ są one kolorowe i łatwo spłaszczają się na płytce referencyjnej. Niestety, otwór metalowej płytki ujawnił tylko ułamek powierzchni pióra. Gdybyśmy mogli jednocześnie zmierzyć kształt 3D powierzchni pióra przy jednoczesnym pomiarze jego współczynnika odbicia²⁵, moglibyśmy uniknąć mechanicznego spłaszczania pióra i zamiast tego zmierzyć całe pióro w jego naturalnym, niespłaszczonym stanie.

Interaktywne, specjalistyczne, zintegrowane narzędzia do wizualizacji danych zapewniają znaczne korzyści naukowcom badającym i interpretującym duże ilości danych. Im większa integracja i interaktywność, tym łatwiejsze są obserwowane powiązania w danych. W naszym oprogramowaniu użytkownik może interaktywnie wykreślić średnie rozproszenie kierunkowe w funkcji położenia powierzchni (rysunek 4). Dalszy rozwój naszego oprogramowania może zintegrować inne funkcje kreślenia (rysunki 6, 7) w celu rozszerzenia interaktywnego doświadczenia.