Tworzenie obiektów i kategorii obiektów do badania percepcji oraz uczenia się percepcyjnego

Podsumowanie

Opisujemy nową metodologię tworzenia naturalistycznych obiektów 3D oraz kategorii obiektów o precyzyjnie zdefiniowanych wariacjach cech. Wykorzystujemy symulacje biologicznych procesów morfogenezy i filogenezy do tworzenia nowych, naturalistycznych wirtualnych obiektów 3D oraz kategorii obiektów, które mogą być następnie renderowane jako obrazy wizualne lub obiekty haptyczne.

Streszczenie

Aby ilościowo badać percepcję obiektów, czy to w systemach biologicznych, czy w maszynach, konieczne jest stworzenie obiektów i kategorii obiektów o precyzyjnie definiowalnych, najlepiej naturalistycznych właściwościach¹. Ponadto, w badaniach nad uczeniem się percepcyjnym przydatne jest tworzenie nowych obiektów i kategorii obiektów (lub klas obiektów) o takich właściwościach².

Obecnie istnieje wiele innowacyjnych i użytecznych metod tworzenia nowych obiektów oraz kategorii obiektów^3-6 (patrz również ref. 7,8). Jednakże, mówiąc ogólnie, istniejące metody charakteryzują się trzema głównymi rodzajami niedoskonałości.

Po pierwsze, wariacje kształtu są zazwyczaj narzucane przez eksperymentatora^5,9,10, a zatem mogą różnić się od zmienności w kategoriach naturalnych i być zoptymalizowane pod konkretny algorytm rozpoznawania. Pożądane byłoby, aby wariacje te powstawały niezależnie od narzuconych zewnętrznie ograniczeń.

Po drugie, istniejące metody mają trudności z uchwyceniem złożoności kształtu obiektów naturalnych^11-13. Jeśli celem jest badanie percepcji obiektów naturalnych, pożądane jest, aby obiekty i ich kategorie były naturalistyczne, tak aby uniknąć możliwych czynników zakłócających i przypadków szczególnych.

Po trzecie, zazwyczaj trudno jest ilościowo zmierzyć informacje dostępne w bodźcach stworzonych za pomocą konwencjonalnych metod. Pożądane byłoby tworzenie obiektów i kategorii obiektów, w których dostępne informacje można precyzyjnie zmierzyć, a w razie potrzeby systematycznie manipulować nimi (lub je „dostrajać”). Pozwala to na sformułowanie podstawowych zadań rozpoznawania obiektów w kategoriach ilościowych.

W niniejszej pracy opisujemy zestaw algorytmów, czyli metod, które spełniają wszystkie trzy powyższe kryteria. Wirtualna morfogeneza (VM) tworzy nowe, naturalistyczne wirtualne obiekty 3-D nazywane „cyfrowymi embrionami” poprzez symulację biologicznego procesu embriogenezy¹⁴. Wirtualna filogeneza (VP) tworzy nowe, naturalistyczne kategorie obiektów poprzez symulację ewolucyjnego procesu doboru naturalnego^9,12,13. Obiekty i kategorie obiektów stworzone za pomocą tych symulacji mogą być następnie modyfikowane przez różne metody morfingu w celu generowania systematycznych wariacji cech kształtu^15,16. Metody VP i morfingu mogą być również zastosowane, w zasadzie, do nowych obiektów wirtualnych innych niż cyfrowe embriony lub do wirtualnych wersji obiektów świata rzeczywistego^9,13. Obiekty wirtualne stworzone w ten sposób mogą być renderowane jako obrazy wizualne przy użyciu konwencjonalnego zestawu narzędzi graficznych, z pożądanymi manipulacjami teksturą powierzchni, oświetleniem, rozmiarem, punktem widzenia i tłem. Obiekty wirtualne mogą być również „drukowane” jako obiekty haptyczne przy użyciu konwencjonalnego prototypera 3-D.

Opisujemy również niektóre implementacje tych algorytmów obliczeniowych, aby pomóc zilustrować potencjalną użyteczność danych algorytmów. Ważne jest, aby odróżnić algorytmy od ich implementacji. Implementacje są demonstracjami przedstawionymi wyłącznie jako „dowód koncepcji” (proof of principle) leżących u ich podstaw algorytmów. Należy zauważyć, że co do zasady implementacja algorytmu obliczeniowego często posiada ograniczenia, których sam algorytm nie posiada.

Wspólnie metody te stanowią zestaw potężnych i elastycznych narzędzi do badania rozpoznawania obiektów oraz uczenia się percepcyjnego zarówno przez systemy biologiczne, jak i obliczeniowe. Przy zastosowaniu odpowiednich rozszerzeń metody te mogą okazać się przydatne również w badaniu morfogenezy i filogenezy.

Protokół

1. Tworzenie naturalistycznych wirtualnych obiektów 3D przy użyciu VM

1. Aby stworzyć cyfrowe zarodki, należy użyć oprogramowania Digital Embryo Workshop (DEW; patrz Tabela 1). Każde uruchomienie generuje pojedynczy zarodek¹⁴, którego kształt jest unikalny dla danego zestawu ustawień (lub „genotypu”) zastosowanych w danym przebiegu (Rycina 1). „Komórki” zarodka są reprezentowane jako trójkąty¹⁴.
   1. Uruchamiaj program tyle razy, ile jest konieczne, aby wygenerować pożądaną liczbę zarodków.
   2. Jeśli wymagane są bardziej złożone kształty, należy zwiększyć liczbę cykli wzrostu, t.j. liczbę podziałów komórek zarodka. Należy pamiętać, że spowolni to działanie programu. W przypadku konieczności stworzenia innych obiektów wirtualnych niż cyfrowe zarodki, należy użyć dostępnych komercyjnie narzędzi do modelowania 3D lub pozyskać obiekty wirtualne od komercyjnych dostawców (Tabela 1).
2. Zazwyczaj zaleca się zapisywanie obiektów wirtualnych w powszechnie używanym formacie plików, takim jak OBJ, aby obiekty można było łatwo zaimportować do komercyjnego zestawu narzędzi do modelowania 3D. W tym celu program DEW domyślnie zapisuje obiekty w formacie OBJ.
3. Bodźce wizualne można generować przy użyciu jednego lub większej liczby cyfrowych zarodków w środowisku do modelowania i renderowania 3D (Tabela 1). Aby stworzyć pożądane bodźce, należy zastosować standardowe operacje graficzne, takie jak zmiana orientacji, rozmiaru, oświetlenia, tekstury powierzchni i tła (patrz Rycina 2).

2. Tworzenie naturalistycznych kategorii obiektów za pomocą VP

1. Aby wygenerować kategorie obiektów, należy utworzyć potomków (lub „dzieci”) danego obiektu przodka (lub „rodzica”), wykorzystując pożądaną kombinację procesów opisanych w kroku 1.1 powyżej (Rysunek 3)^9,10,12,13.
   1. Niektóre metody opisane poniżej w celu tworzenia płynnych wariacji kształtu, takie jak morphing czy analiza głównych składowych (patrz kroki 3 i 4 poniżej), działają lepiej, gdy wszystkie obiekty wejściowe mają tę samą liczbę komórek i gdy zachowana jest odpowiedniość jeden do jednego między wierzchołkami obiektów. Do tworzenia takich obiektów należy używać wyłącznie tych procesów VM, które nie zmienią liczby komórek i zachowają odpowiedniość jeden do jednego wierzchołków między obiektami (patrz np. generacje G₂ do G₃ na Rysunku 3). Przykładowo, podział komórki i programowana śmierć komórki zmieniają liczbę komórek, co znacznie utrudnia (choć nie wyklucza^17,18) określenie odpowiedniości jeden do jednego między wierzchołkami danej pary obiektów.
      Należy zauważyć, że procesy zmieniające liczbę komórek w danym obiekcie wpływają również na złożoność jego kształtu. Generalnie im większa liczba komórek, tym większa złożoność kształtu obiektu i gładsza jego powierzchnia.
   2. W razie potrzeby jako dane wejściowe do VP można wykorzystać obiekty wirtualne inne niż cyfrowe embriony (Rysunek 4).
2. Obiekty w obrębie danej kategorii można dalej selekcjonować w celu uzyskania określonego rozkładu cech¹⁹. Na przykład można selektywnie usuwać obiekty średniej wielkości z danej kategorii, aby wygenerować bimodalny rozkład wielkości obiektów.
3. Nie istnieje jedna metoda, która byłaby uniwersalnie optymalna dla pomiaru dostępnych informacji o kształcie dla wszystkich kategorii, ani jedna metoda optymalna dla kategoryzacji wszystkich obiektów^20-22. W związku z tym eksperymentator musi wybrać te metody w zależności od kategorii i celów obliczeniowych^20-22. Krok 4 opisuje powszechnie stosowaną metodę manipulowania różnymi aspektami dostępnych informacji o kształcie.
4. Podobieństwo między daną parą kategorii można obiektywnie zmierzyć za pomocą dostępnych metod filogenetycznych^23,24. Na przykład odległość pionowa (lub „ewolucyjna”) między daną parą kategorii, mierzona metodami grupowania hierarchicznego w pakiecie statystycznym R, stanowi obiektywną miarę podobieństwa kategorii^25,26.

3. Dodatkowe metody tworzenia wariancji kształtu: morphing cyfrowy

1. W przypadku dowolnej pary obiektów, w której każdy wierzchołek jednego obiektu odpowiada dokładnie jednemu wierzchołkowi drugiego obiektu (tj. obiekty z jednowartościową odpowiedniością między wierzchołkami), proces morphingu jest prosty^17,18,27-29: w tym przypadku płynne przejścia (lub „morfy”) między dwoma obiektami są generowane poprzez płynną interpolację między odpowiadającymi sobie wierzchołkami i normalnymi (Rycina 5). W zależności od wybranej pary obiektów, morphing doprowadzi do powstania nowych kategorii lub dodatkowych elementów potomnych w obrębie danej kategorii.
   1. Obiekty przedstawione na Rycynie 5 zostały utworzone przy użyciu linearnego morphingu^27-29. Obiekty te mogą być przekształcane (lub odkształcane) za pomocą szerokiego wachlarza innych dostępnych technik deformacji^17,18.
2. Aby uzyskać pożądany rozkład zmorphowanych kształtów, należy odpowiednio dobrać punkty interpolacji.

4. Dodatkowe metody tworzenia zmienności kształtu: główne składowe

1. Aby wykorzystać główne składowe do generowania wariancji kształtu, należy najpierw wyznaczyć główne składowe¹⁵. Główne składowe są specyficzne dla danego zbioru obiektów wykorzystanych do ich wyznaczenia²⁶. Dla uzyskania dobrych wyników należy użyć co najmniej 30 obiektów z jednowartościową odpowiedniością między wierzchołkami²⁶.
2. Wygeneruj obiekt średni z pożądanego zbioru n obiektów wejściowych, osobno uśredniając współrzędne i normalne każdego wierzchołka we wszystkich obiektach. Zatem współrzędna x danego wierzchołka k obiektu powinna być średnią współrzędnych x wierzchołka k wszystkich n obiektów i tak dalej.
3. Użyj funkcji Matlab princomp , aby wyznaczyć główne składowe n obiektów. Wygeneruje to n-1 niezerowych wektorów własnych wraz z odpowiadającymi im n-1 wartościami własnymi²⁶.
4. Aby wygenerować nowy obiekt A_j z danej głównej składowej P_i, pomnóż P_i przez odpowiadającą jej wartość własną λ_i oraz pożądaną wagę w_j i dodaj do obiektu średniego:
   A_j= +w_jλ_iP_i
5. Każda unikalna wartość w_j wygeneruje unikalny obiekt. Poprzez płynną zmianę w można tworzyć płynne wariacje kształtu wzdłuż danej głównej składowej.
6. Aby stworzyć wariacje kształtu wzdłuż niezależnego wymiaru kształtu, powtórz krok 4.4, używając innej głównej składowej.
7. Aby stworzyć pożądany rozkład kształtów wzdłuż danej głównej składowej, zastosuj pożądany rozkład w.
8. Aby stworzyć wielowymiarową siatkę kształtów, użyj zestawu wag dla każdej z kilku głównych składowych:
   

5. Tworzenie haptycznych wersji obiektów 3D

1. Wydrukuj obiekty 3D za pomocą prototypowni 3D (lub „drukarki” 3D). W razie potrzeby dostosuj rozmiar obiektu i wygładź jego powierzchnię przed drukowaniem.

6. Przykładowe zastosowanie: wnioskowanie bayesowskie w klasyfikacji kategorii obrazów

1. Ważnym zadaniem w przetwarzaniu wizualnym jest wnioskowanie o kategorii, do której należy dany obserwowany obiekt. Choć dokładny mechanizm tego wnioskowania nie jest znany, istnieją dowody zarówno obliczeniowe, jak i fizjologiczne ^{9,12,13,30-32} polega ono na wykorzystaniu informacji o znanych cechach obiektu na danym obrazie w celu wnioskowania o jego kategorii. W niniejszym opracowaniu zilustrujemy, w jaki sposób ten proces wnioskowania może przebiegać w ramach modelu bayesowskiego oraz w jaki sposób cyfrowe embriony mogą być przydatne w badaniach w tej dziedzinie.
2. Dla uproszczenia przyjmiemy, że zadanie kategoryzacji jest binarne i polega na rozróżnianiu kategorii K z kategorii L (Rycina 3). Niech C będzie zmienną kategoryczną. Wywnioskujemy, że C = K lub C = L w zależności od tego, czy obserwowany obraz I należy do kategorii K lub LTypowe podejście do kategoryzacji obejmuje:
   1. Obliczanie prawdopodobieństwa, że kategoria jest K biorąc pod uwagę informacje zawarte na obrazie, oznaczone p(C = K |I);
   2. Obliczanie prawdopodobieństwa, że kategoria to L, na podstawie informacji zawartych w obrazie, oznaczone jako p(C = L | I); oraz
   3. Wybór kategorii o wyższym prawdopodobieństwie.
3. W następnej kolejności, dla uproszczenia, przyjmiemy, że istnieje dokładnie jedna cecha binarna FCecha ta może być obecna na obrazie (oznaczona F = 1) lub nieobecny na obrazie (oznaczony F = 0). W tym przykładzie zostanie wykorzystana funkcja „fragment informacyjny” (informative fragment) pokazana w Rycina 8Fragmenty informacyjne zostały po raz pierwszy opisane przez Ullmana i współpracowników³³W niniejszym przypadku wykorzystamy szablon obrazu przedstawiony w Rysunek 8 jako cechę oraz wartość progową 0,69. Aby określić, czy cecha ta występuje w danym obrazie (np. w najbardziej prawym obrazie w wierszu G3 w Rysunek 3), zastosujemy następujące kroki:
   1. Przesuń ten szablon nad wszystkie możliwe lokalizacje na obrazie i oblicz dla każdej z nich wartość bezwzględną znormalizowanej korelacji wzajemnej między szablonem a znajdującym się pod nim podobrazem.
   2. Wybierz obszar obrazu o najwyższej wartości (w niniejszym przypadku 0,60).
   3. Jeśli wartość ta przekracza próg, należy uznać, że cecha występuje; w przeciwnym razie należy uznać, że nie występuje. W naszym przypadku, ponieważ najwyższa korelacja wynosząca 0,60 jest niższa od progu 0,69, wnioskujemy, że cecha ta nie występuje na tym obrazie.
   4. Uzasadnienie zastosowania takich cech oraz mechanizmy wyboru cech i określania ich progów wykraczają poza zakres niniejszego raportu, lecz zostały szczegółowo opisane w publikacjach 33, 30.
4. W ramach wnioskowania opartego na cechach przyjmujemy, że wszystkie informacje, które obserwator wyodrębnia z obrazu, są zawarte w wartości tej cechy, t. j.., że p(C | I) = p(C | F).
   Zatem zadaniem staje się wyznaczenie wartości F obliczanie (obecności lub braku) na podanym obrazie p(C = K | F) i p(C = L | F) dla tej wartości For wybierając kategorię o wyższym prawdopodobieństwie.
5. W ramach podejścia bayesowskiego,

Zatem,

i

Należy zauważyć, że mianownik w obu równaniach jest taki sam. Zatem w celu porównania p(C = K | F) i p(C = L | F) nie jest konieczne obliczanie mianownika; wystarczy obliczyć wartości

p(C=K|F) ∝ p(C=K)p(F|C=K)

i

p(C=L|F) ∝ p(C=L)p(F|C=L)
Są one czasem nazywane „prawdopodobieństwami nienormowanymi”. Termin p(C) nazywany jest „prawdopodobieństwem a priori”, a termin p(F | C) nazywany jest „wiarygodnością”.

6. Dla uproszczenia przyjmijmy „płaski” rozkład a priori: p(C = K) = p(C = L) = 0.5.
7. Zadaniem jest teraz obliczenie p(F|C), czyli prawdopodobieństwa wystąpienia danej wartości cechy w obrazie z określonej kategorii C.
   1. Jako przykład do obliczenia p(F = 1|C = L), czyli prawdopodobieństwa, że cecha występuje w obrazie z kategorii L, wykorzystamy sześć obrazów z kategorii L (Rysunek 3).
   2. Aby obliczyć p(F = 1|C = L), należy najpierw wybrać wszystkie obrazy treningowe należące do L. Są to obrazy przedstawione na Rysunku 3.
   3. Dla każdego obrazu należy ustalić, czy wartość cechy wynosi 1 (obecna) czy 0 (nieobecna), zgodnie z opisem w punktach (6.3.1)-(6.3.3). W naszym przypadku, dla sześciu obrazów na Rysunku 3, wartości te wynoszą: [0, 0, 1, 0, 1, 0].
   4. Obliczamy ułamek obrazów, w których wartość cechy wynosi 1. W naszym przypadku jest to 2/6 = 0.33.
   5. Zatem p(F = 1|C = L) = 0.33. Należy zauważyć, że aby uzyskać dokładne szacunki, należy użyć co najmniej 30 obrazów na klasę.
   6. W podobny sposób możemy obliczyć, że p(F = 0|C = L) = 0.67, p(F = 1|C = K) = 0.83, p(F = 0|C = K) = 0.17.
8. Mając te wartości, można przeprowadzić wnioskowanie. Załóżmy, że otrzymujemy nowy obraz (Rysunek 9), a zadaniem jest określenie jego etykiety kategorii. Czynność tę wykonuje się w następujący sposób:
   1. Ustalamy, czy cecha F występuje w obrazie, zgodnie z opisem w punktach (6.3.1)-(6.3.3). W naszym przypadku cecha jest obecna, zatem F = 1.
   2. Korzystając z równań (1) i (2) oraz wartości obliczonych w punktach (6.7.5)-(6.7.6), możemy obliczyć, że p(C = K | F = 1) = 0.42 oraz p(C = L | F = 1) = 0.17.
   3. Na podstawie tych informacji racjonalne jest wyciągnięcie wniosku, że obraz pochodzi z kategorii K, przy stosunkowo niskim stopniu pewności.
9. Interesujące i użyteczne mogłoby być przetestowanie takiego podejścia w systemie biologicznym (np. psychofizycznie). W takim przypadku można by sformułować przewidywania behawioralne i porównać je z wynikami obliczeniowymi, takimi jak te uzyskane w punkcie (6.8.2). Aby sformułować dokładne przewidywania, konieczne są dobre szacunki p(F |C). Takie szacunki mogą być jednak trudne do uzyskania w przypadku znanych obiektów. Wynika to z faktu, że szacunek p(F |C) dokonany przez badanego nie jest bezpośrednio obserwowalny, a jego obliczenie jest niezwykle trudne, ponieważ wcześniejsza ekspozycja badanego na naturalne obrazy jest niekontrolowana i nieznana. W przeciwieństwie do tego, jeśli w eksperymentach wykorzystuje się cyfrowe embriony, możliwe jest precyzyjne kontrolowanie tego, jakim embrionom i kategoriom embrionów badany jest poddawany. Ułatwia to obliczenie interesujących nas wartości na podstawie dokładnie tych samych danych, z którymi zetknął się badany. Fakt, że wygląd embrionów jest naturalistyczny, jest pomocny, ponieważ zwiększa prawdopodobieństwo, że badany stosuje tę samą strategię kategoryzacji, co w przypadku kategorii naturalnych.

Wyniki

VM można wykorzystać do generowania praktycznie nieograniczonej liczby nowych kształtów 3D. Przykładowe embriony cyfrowe wygenerowane za pomocą algorytmu VM przedstawiono na dolnym panelu rysunku 1. Każdy z tych 16 embrionów został wygenerowany przy użyciu programu „growEmbryos.exe” z pakietu Digital embryo tools for Cygwin (patrz tabela 1) w ciągu 40 cykli wzrostu. Wszystkie pozostałe parametry wzrostu zostały ustawione wewnętrznie przez program. Większość z tych parametrów była stała (t.j. identyczna dla każdego kolejnego embrionu). Kilka parametrów, takich jak lokalizacja i siła źródeł morfogenów, stanowiło parametry losowe ustawiane wewnętrznie przez program niezależnie dla każdego uruchomienia. Różnice w kształtach między tymi 16 embrionami wynikały wyłącznie z wariacji tych parametrów losowych.

Niektóre przykłady teksturowania powierzchni^34,35 z wykorzystaniem dowolnie wybranych tekstur przedstawiono na Rysunku 2A. Sceny wizualne o dowolnym stopniu złożoności można stworzyć przy użyciu komercyjnie dostępnego środowiska do modelowania i renderowania 3D, co pokazano na Rysunku 2B.

Reprezentatywne „drzewo genealogiczne” wygenerowane przez VP z wykorzystaniem embrionów cyfrowych przedstawiono na Rysunku 3. Podobne drzewa można skonstruować, używając obiektów innych niż embriony cyfrowe, co pokazano na Rysunku 4. Należy zauważyć, że w obu przypadkach obiekty posiadające wspólnego przodka w prosty sposób tworzą kategorię, choć eksperymentator może również zdecydować o zdefiniowaniu kategorii jako dowolnego innego zbioru obiektów. Warto zwrócić uwagę na Rysunek 4, z którego wynika, że nasza obecna implementacja algorytmów VM i VP ma tendencję do tworzenia stosunkowo gładkich, zakrzywionych powierzchni, w przeciwieństwie do obiektów poszarpanych lub płaskich. Należy również zaznaczyć, że jest to prawdopodobnie ograniczenie naszej implementacji tych algorytmów, a nie samych algorytmów, ponieważ procesy biologiczne mogą tworzyć obiekty o płaskich powierzchniach i poszarpanych konturach (np. liść róży).

Rysunki 5 i 6 ilustrują typowe wyniki dwóch metod, które mogą być stosowane dodatkowo lub zamiast VP w celu tworzenia zasadniczych wariacji w kształcie obiektów i kategoriach obiektów.

Górny panel rysunku 7 przedstawia wizualizacje dwóch cyfrowych embrionów, a dolny panel rysunku 7 przedstawia odpowiadające im wydruki wykonane za pomocą komercyjnie dostępnego prototypera 3D.

Ryciny 8 i 9 ilustrują procedury opisane w sekcji 6 dotyczące wykorzystania fragmentów obrazów do kategoryzacji danego obiektu wizualnego.

Rycina 1. Wirtualna morfogeneza. Dolny panel ilustruje rodzaj nowych, naturalistycznych, wirtualnych obiektów 3D nazywanych „cyfrowymi embrionami”¹⁴. Cyfrowe embriony mogą być generowane poprzez symulację jednego lub większej liczby kluczowych procesów biologicznej embriogenezy: zapośredniczonego przez morfogeny podziału komórek, wzrostu komórek, ruchu komórek oraz programowanej śmierci komórki^7,8,36,37. Każda iteracja rozpoczyna się od dwudziestościanu (pokazanego na górnym panelu) i generuje unikalny embrion, w zależności od ustawień parametrów VM (lub „genotypu”) danego embrionu. W związku z tym 16 embrionów na dolnym panelu ma różne kształty, ponieważ wszystkie posiadają różne genotypy. Należy zauważyć, że w zależności od potrzeb można generować kształty prostsze lub bardziej złożone (np. w celu optymalnej stymulacji neuronów na danym poziomie hierarchii wizualnej) poprzez manipulację genotypem embrionu. Podczas generowania pokazanych embrionów symulowano wszystkie wyżej wymienione procesy embriogenetyczne z wyjątkiem programowanej śmierci komórki. Symulowana programowana śmierć komórki jest szczególnie przydatna do tworzenia ukierunkowanych wcięcia (nie pokazano).

Rycina 2. Tworzenie bodźców wizualnych przy użyciu cyfrowych embrionów. Podobnie jak każdy wirtualny obiekt 3D, cyfrowe embriony mogą być manipulowane graficznie w celu tworzenia scen wizualnych o dowolnej złożoności przy użyciu dowolnego standardowego zestawu narzędzi graficznych 3D. Rycina ta ilustruje niektóre powszechne manipulacje. (A) Ten sam cyfrowy embrion został pokryty wieloma różnymi teksturami i oświetlony niewidocznym źródłem światła w lewym górnym rogu. (B) Scenę zakamuflowaną stworzono poprzez zmianę rozmiaru i orientacji cyfrowego embrionu oraz jego cyfrowe umieszczenie na tym samym tle, z którego pochodziła jego tekstura. Cyfrowy embrion widoczny jest „w pełnym widoku” w prawym dolnym kwadrancie. Dodatkowe przykłady bodźców wizualnych stworzonych przy użyciu cyfrowych embrionów znajdują się w ref. 9,10,12-14,38.

Rysunek 3. Tworzenie cyfrowych kategorii embrionów przy użyciu VP. Algorytm VP emuluje ewolucję biologiczną w tym sensie, że w obu przypadkach nowe obiekty i kategorie obiektów wyłaniają się w miarę selektywnego gromadzenia dziedzicznych wariacji. W każdym pokoleniu G_i wybrane embriony rozmnażają się, co prowadzi do powstania generacji G_i+1Potomstwo dziedziczy cechy kształtu po rodzicu, lecz w miarę rozwoju wykazuje własne wariacje morfologiczne (wynikające z niewielkich różnic w genotypie). Rycina ta przedstawia „drzewo genealogiczne” trzech pokoleń potomstwa wywodzącego się od jednego wspólnego przodka – dwudziestościanu. Należy zauważyć, że w tym przypadku złożoność kształtu wzrasta od dwudziestościanu do pokolenia G.₁, ale nie z G₁ dalej. Wynika to z faktu, że zwiększenie liczby komórek (t. j.., podział komórkowy) dopuszczono od dwudziestościanu do generacji G₁, ale nie z G₁ dalej. Ogólnie rzecz biorąc, podziały komórkowe mają tendencję do zwiększania złożoności kształtu, podczas gdy inne procesy morfogenetyczne, takie jak ruchy i wzrost komórek, zmieniają kształt bez zmiany jego ogólnej złożoności.

Rycina 4. VP z wykorzystaniem obiektów wirtualnych innych niż cyfrowe embriony. Niniejsza rycina służy do zilustrowania ogólnej zasady, zgodnie z którą jako dane wejściowe dla VP mogą być wykorzystywane obiekty wirtualne inne niż cyfrowe embriony. Algorytm VP w obecnej formie może operować na dowolnym wirtualnym obiekcie 3D, którego powierzchnia składa się wyłącznie z trójkątów. Generacja G₁ składa się (od lewej do prawej) z tykwy, diamentu, maski na twarz, jabłka, kamienia i kaktusa. Należy zauważyć, że obiekty w generacji G₁ na tej rycinie nie mają wspólnego przodka, ponieważ VP go nie wymaga. Obiekty w G₂ i G₃ reprezentują potomstwo kamienia z G₁. W żadnej z generacji nie dopuszczono do podziałów komórkowych, tak aby wszystkie warianty kształtów wynikały wyłącznie z ruchu i/lub wzrostu poszczególnych „komórek” danego obiektu.

Rysunek 5. Wykorzystanie morfingu do tworzenia płynnych zmian kształtu. Morfing polega na wybraniu dwóch obiektów (zarodek po skrajnej lewej i skrajnej prawej stronie na tym rysunku) i obliczeniu obiektów pośrednich (zarodki pomiędzy nimi) poprzez interpolację między odpowiadającymi sobie wierzchołkami dwóch wyznaczonych obiektów. W przedstawionym przypadku wszystkie wierzchołki zostały zinterpolowane przy użyciu tego samego czynnika skalarnego, co zaowocowało linearnym morfingiem. Możliwe jest jednak również nieliniowe morfowanie obiektów (nie pokazano). Morfing jest obliczeniowo prosty, gdy istnieje dokładna korespondencja jeden do jednego między wierzchołkami dwóch obiektów, jak w pokazanym przypadku. W zasadzie możliwe jest jednak morfowanie dowolnych dwóch wirtualnych obiektów, niezależnie od tego, czy ich wierzchołki odpowiadają sobie dokładnie, choć nie istnieje jedna, ujednolicona metoda wykonywania tej operacji^17,18.

Rycina 6. Wykorzystanie głównych składowych do tworzenia płynnych wariacji kształtu. (A) Średni embrion. Embrion ten reprezentuje średnią arytmetyczną 400 embrionów (po 200 z kategorii K i L na Rycinie 3). Główne składowe obliczono zgodnie z opisem w kroku 4.3. Należy zauważyć, że główne składowe reprezentują wzajemnie niezależne, abstrakcyjne wymiary kształtu 400 embrionów (niewykazano)^25,26. 400 embrionów daje 399 niezerowych głównych składowych^25,26, które łącznie odpowiadają za całą wariancję, czyli informacje o kształcie, dostępne zbiorczo w embrionach. Zgodnie z konwencją, główne składowe są ustawione w malejącej kolejności ich wartości własnych, czyli proporcji całkowitej wariancji, którą wyjaśniają^25,26. W tym przypadku dwie pierwsze główne składowe odpowiadały odpowiednio za 73% i 19% informacji o kształcie dostępnych w 400 embrionach. (B) Embriony reprezentujące różne wagi (a dokładniej ważone wartości własne) pierwszej głównej składowej (Principal Component 1). Wagi zmieniały się od +2 (skrajnie lewo) do -2 (skrajnie prawo) w równych krokach o wartości -0.2. (C) Embriony reprezentujące różne wagi drugiej głównej składowej (Principal Component 2). Wagi również zmieniały się od +2 (skrajnie lewo) do -2 (skrajnie prawo) w równych krokach o wartości -0.2. Należy zauważyć, że manipulowanie głównymi składowymi nie wpływa wyłącznie na jakąkolwiek konkretną część ciała embrionu (np. na skrzydła embrionu w pokazanym przypadku). Jednakże, w razie potrzeby, części ciała wirtualnych obiektów 3D mogą być modyfikowane w dowolny, zdefiniowany przez użytkownika sposób przy użyciu większości dostępnych komercyjnie środowisk do modelowania 3D (niewykazano).

Rysunek 7. Tworzenie obiektów haptycznych. Wirtualne obiekty 3-D mogą zostać „wydrukowane” jako obiekty haptyczne przy użyciu standardowej, dostępnej komercyjnie „drukarki” 3-D lub prototypowni. Na rysunku przedstawiono cyfrowe embriony wyrenderowane jako obiekty wizualne (górny rząd) oraz jako odpowiadające im obiekty haptyczne (dolny rząd). Obiekty haptyczne pokazane na tym rysunku zostały wydrukowane w szerokości około 6 cm (pasek skali = 1 cm), choć obiekty te można drukować w znacznie mniejszym lub większym rozmiarze.

Rysunek 8. Szablon przykładowego fragmentu informacyjnego. W tym przykładzie szablonowi przypisano wartość progową 0,69.

Rycina 9. Nowy obraz, dla którego kategoria obiektu nie jest znana i wymaga ustalenia.

Dyskusja

Użyteczność VM i VP w badaniach nad naukami kognitywnymi

Wcześniej szczegółowo opisaliśmy użyteczność VM oraz VP^l9,10,12-14. W skrócie, VM, a w szczególności metodologia cyfrowego zarodka, jest użyteczna, ponieważ dostarcza zasadniczej i elastycznej metody tworzenia nowych, a zarazem naturalistycznych obiektów 3-D¹⁴. Podobnie VP zapewnia zasadniczą metodę tworzenia naturalistycznych kategorii^9,10,12,13. Warto zauważyć, że kategorie obiektów generowane przez VP dzielą wiele cech z kategoriami obiektów występującymi w naturze, w tym fakt, że kategorie te mają tendencję do bycia hierarchicznymi, a zmienność cech w obrębie kategorii i pomiędzy nimi powstaje niezależnie od eksperymentatora oraz algorytmów służących do ich klasyfikacji³⁹.

Obecne ograniczenia i przyszłe kierunki

Szczególnie godne uwagi są trzy obecne ograniczenia naszego protokołu oraz sugerowane przez nie kierunki przyszłych prac: Po pierwsze, zarówno VM, jak i VP symulują procesy biologiczne. Chociaż wykazujemy, że niebiologiczne obiekty wirtualne mogą służyć jako substraty dla tych procesów, to same procesy podłoża są nadal motywowane biologicznie. Jednak obiekty naturalne – zarówno biologiczne, jak i niebiologiczne – ulegają zmianom kształtu pod wpływem sił niebiologicznych. Na przykład skały mogą zmieniać kształt w wyniku procesów geologicznych, takich jak erozja lub sedymentacja. Nowe kategorie skał mogą powstawać w wyniku innych tego typu procesów geologicznych. Wprowadzenie tych procesów do zestawu dostępnych algorytmów zmiany kształtu powinno być stosunkowo proste.

Drugim głównym ograniczeniem naszego protokołu jest fakt, że obecny zestaw dynamicznych zmian kształtu jest dość ograniczony. Pożądane byłoby wprowadzenie szerszego wachlarza zmian kształtu, takich jak ruch biologiczny lub ruch wywołany siłami zewnętrznymi, np. wiatrem, wodą lub grawitacją. Przewidujemy, że zastosowanie znanych algorytmów animacji komputerowej w celu implementacji takich dynamicznych zmian kształtu będzie stosunkowo proste.

Trzecim głównym ograniczeniem naszego protokołu jest fakt, że VM nie obejmuje obecnie wielu innych znanych procesów morfogenetycznych, w tym przede wszystkim gastrulacji³⁶. Nie uwzględnia on również niektórych znanych ograniczeń, takich jak fakt, że morfogeneza roślin jest w pełni sterowana przez wzrost, przy znikomym lub braku możliwości ruchu komórek ze względu na obecność ścian komórkowych³⁶. Podobnie, VP nie obejmuje innych znanych procesów filogenetycznych, takich jak dryf genetyczny⁴⁰. Rozwiązanie tych ograniczeń znacznie ułatwiłoby zastosowanie naszego protokołu w symulacjach rozwojowych, ekologicznych i ewolucyjnych.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Digital Embryo Workshop (DEW)	Mark Brady i Dan Gu		To intuicyjne narzędzie sterowane menu można pobrać bezpłatnie jako Download 1 ze strony http://www.hegde.us/DigitalEmbryos. Obecnie dostępne tylko dla systemu Windows.
Narzędzia do cyfrowych embrionów dla Cygwin	Jay Hegdé i Karin Hauffen		Jest to luźny zbiór programów o mniejszej intuicyjności obsługi. Zostały one zaprojektowane do uruchamiania z interfejsu wiersza poleceń emulatora Linux Cygwin dla systemu Windows. Programy te można pobrać jako Download 2 ze strony http://www.hegde.us/DigitalEmbryos. Sam interfejs Cygwin można pobrać bezpłatnie ze strony www.cygwin.com.
Autodesk 3ds Max, Montreal, Quebec, Kanada	Autodesk Media and Entertainment	3DS Max	Jest to zestaw narzędzi do modelowania 3D, animacji i renderowania z elastyczną architekturą wtyczek i wbudowanym językiem skryptowym. Dostępny dla większości aktualnych systemów operacyjnych.
MATLAB	Mathworks Inc., Natick, MA, USA	MATLAB	Jest to środowisko obliczeń numerycznych i język programowania z wieloma użytecznymi funkcjami dodatkowymi. Dostępny dla większości aktualnych systemów operacyjnych.
Zestaw narzędzi statystycznych R	R Project for Statistical Computing	R	Można pobrać bezpłatnie ze strony http://www.r-project.org/. Dostępny dla większości aktualnych systemów operacyjnych.
OpenGL	Khronos Group	OpenGL	Ten wielojęzyczny i wieloplatformowy zestaw narzędzi graficznych można pobrać bezpłatnie ze strony www.opengl.org.
Drukarka osobista V-Flash	3D Systems Inc., Rock Hill, SC, USA	V-Flash	Jest to korzystne rozwiązanie dla wszystkich opisanych w niniejszym raporcie zastosowań druku 3D. Materiały do druku są również sprzedawane przez 3D Systems, Inc. Tańsze modele są dostępne w formie otwartoźródłowej z RepRap (rapmanusa.com) i MakerGear. Droższe modele (> 30 K $) są dostępne od Objet Geometries, 3DS Systems, Z-Corp, Dimension Printing itd.
TurboSquid.com	TurboSquid Inc., Nowy Jork, LA	(różne obiekty)	Różne wirtualne obiekty 3D można pobrać z tej strony bezpłatnie lub za opłatą.
Tabela 1. Tabela specyficznych zestawów narzędzi i sprzętu.