Tworzenie obiektów i kategorii obiektów do badania percepcji i uczenia się percepcyjnego

Summary

Opisujemy nowatorską metodologię tworzenia naturalistycznych obiektów 3-D i kategorii obiektów z precyzyjnie zdefiniowanymi wariantami cech. Wykorzystujemy symulacje biologicznych procesów morfogenezy i filogenezy do tworzenia nowatorskich, naturalistycznych wirtualnych obiektów 3D i kategorii obiektów, które można następnie renderować jako obrazy wizualne lub obiekty dotykowe.

Abstract

Aby ilościowo badać percepcję obiektów, czy to percepcję przez systemy biologiczne czy przez maszyny, należy stworzyć obiekty i kategorie obiektów o precyzyjnie zdefiniowanych, najlepiej naturalistycznych,^{właściwościach 1}. Ponadto w badaniach nad uczeniem się percepcyjnym przydatne jest tworzenie nowych obiektów i kategorii obiektów (lub klas obiektów) o takich właściwościach².

Obecnie istnieje wiele innowacyjnych i użytecznych metod tworzenia nowych obiektów i kategorii obiektów^3-6 (zobacz również odnośniki 7,8). Jednak ogólnie rzecz biorąc, istniejące metody mają trzy szerokie rodzaje niedociągnięć.

Po pierwsze, zmiany kształtu są zazwyczaj narzucane przez eksperymentatora^5,9,10, a zatem mogą różnić się od zmienności w kategoriach naturalnych i być zoptymalizowane pod kątem konkretnego algorytmu rozpoznawania. Pożądane byłoby, aby różnice te powstawały niezależnie od ograniczeń narzuconych zewnętrznie.

Po drugie, istniejące metody mają trudności z uchwyceniem złożoności kształtu naturalnych obiektów^11-13. Jeśli celem jest badanie naturalnej percepcji obiektów, pożądane jest, aby obiekty i kategorie obiektów były naturalistyczne, aby uniknąć możliwych nieporozumień i szczególnych przypadków.

Po trzecie, generalnie trudno jest ilościowo zmierzyć dostępne informacje w bodźcach tworzonych konwencjonalnymi metodami. Pożądane byłoby tworzenie obiektów i kategorii obiektów, w których dostępne informacje mogą być precyzyjnie mierzone i, w razie potrzeby, systematycznie manipulowane (lub "dostrajane"). Pozwala to na ilościowe sformułowanie podstawowych zadań rozpoznawania obiektów.

Tutaj opisujemy zestaw algorytmów lub metod, które spełniają wszystkie trzy powyższe kryteria. Wirtualna morfogeneza (VM) tworzy nowatorskie, naturalistyczne wirtualne obiekty 3D zwane "cyfrowymi embrionami" poprzez symulację biologicznego procesu embriogenezy¹⁴. Wirtualna filogeneza (VP) tworzy nowe, naturalistyczne kategorie obiektów poprzez symulację procesu ewolucyjnego doboru naturalnego^9,12,13. Obiekty i kategorie obiektów utworzone w wyniku tych symulacji mogą być dalej manipulowane za pomocą różnych metod morfingu w celu generowania systematycznych zmian cech kształtu^15,16. Metody VP i morfingu mogą być również zasadniczo stosowane do nowatorskich obiektów wirtualnych innych niż cyfrowe embriony lub do wirtualnych wersji obiektów świata rzeczywistego^9,13. Wirtualne obiekty utworzone w ten sposób mogą być renderowane jako obrazy wizualne przy użyciu konwencjonalnego zestawu narzędzi graficznych, z pożądanymi manipulacjami tekstury powierzchni, oświetlenia, rozmiaru, punktu widzenia i tła. Wirtualne obiekty można również "wydrukować" jako obiekty dotykowe za pomocą konwencjonalnego prototypera 3D.

Opisujemy również niektóre implementacje tych algorytmów obliczeniowych, aby pomóc zilustrować potencjalną użyteczność tych algorytmów. Ważne jest, aby odróżnić algorytmy od ich implementacji. Implementacje są demonstracjami oferowanymi wyłącznie jako "dowód słuszności zasady" podstawowych algorytmów. Należy zauważyć, że ogólnie rzecz biorąc, implementacja algorytmu obliczeniowego często ma ograniczenia, których sam algorytm nie ma.

Razem, te metody reprezentują zestaw potężnych i elastycznych narzędzi do badania rozpoznawania obiektów i percepcyjnego uczenia się zarówno przez systemy biologiczne, jak i obliczeniowe. Przy odpowiednich rozszerzeniach metody te mogą okazać się również przydatne w badaniach morfogenezy i filogenezy.

Protocol

1. Tworzenie naturalistycznych wirtualnych obiektów 3D za pomocą maszyny wirtualnej

1. Aby stworzyć cyfrowe zarodki, skorzystaj z Cyfrowych Warsztatów Embrionalnych (DEW; patrz Tabela 1). Z każdej serii wyrywkowej powstaje pojedynczy zarodek¹⁴, którego kształt jest unikalny dla danego zestawu ustawień (lub "genotypu") użytego w danym przebiegu (ryc. 1). "Komórki" zarodka są reprezentowane jako trójkąty¹⁴.
   1. Uruchom program tyle razy, ile potrzeba, aby wygenerować żądaną liczbę zarodków.
   2. Jeśli pożądane są bardziej złożone kształty, zwiększ liczbę cykli wzrostu, tj. liczbę podziałów komórek zarodka. Pamiętaj, że spowoduje to również spowolnienie programu. Jeśli konieczne jest stworzenie obiektów wirtualnych innych niż embriony cyfrowe, należy skorzystać z dostępnych na rynku narzędzi do modelowania 3D lub pozyskać obiekty wirtualne od dostawców komercyjnych (tabela 1).
2. Generalnie zaleca się zapisywanie obiektów wirtualnych w powszechnie używanym formacie pliku, takim jak OBJ, aby obiekty można było łatwo zaimportować do komercyjnego zestawu narzędzi do modelowania 3D. W tym celu DEW domyślnie zapisuje obiekty w formacie OBJ.
3. Bodźce wzrokowe mogą być generowane przy użyciu jednego lub więcej cyfrowych zarodków przy użyciu środowiska modelowania i renderowania 3D (Tabela 1). Użyj standardowych operacji graficznych, takich jak zmiana orientacji, rozmiaru, oświetlenia, tekstury powierzchni i tła, aby stworzyć pożądane bodźce (patrz rysunek 2).

2. Tworzenie kategorii obiektów naturalistycznych za pomocą VP

1. Aby wygenerować kategorie obiektów, wygeneruj potomków (lub "dzieci") danego obiektu nadrzędnego (lub "nadrzędnego") przy użyciu żądanej kombinacji procesów w kroku 1.1 powyżej (Rysunek 3)^9,10,12,13.
   1. Niektóre opisane poniżej metody tworzenia gładkich wariacji kształtów, takie jak morfing lub składowe główne (patrz kroki 3 i 4 poniżej), działają lepiej, jeśli wszystkie obiekty wejściowe mają taką samą liczbę komórek i jeśli istnieje zgodność jeden do jednego między wierzchołkami obiektów. Do tworzenia takich obiektów należy używać tylko tych procesów maszyn wirtualnych, które nie zmienią liczby komórek i zachowają zgodność jeden do jednego wierzchołków między obiektami (patrz np. generacje G₂ do G₃ na rysunku 3). Na przykład podział komórki i zaprogramowana śmierć komórki zmieniają liczbę komórek i znacznie utrudniają (choć^{nie uniemożliwiają}) określenie zgodności jeden do jednego między wierzchołkami danej pary obiektów.
      Zauważ, że procesy, które zmieniają liczbę komórek w danym obiekcie, zmieniają również jego złożoność kształtu. Ogólnie rzecz biorąc, im większa liczba komórek, tym większa złożoność kształtu obiektu i gładsza jego powierzchnia.
   2. W razie potrzeby obiekty wirtualne inne niż cyfrowe zarodki mogą być używane jako dane wejściowe do VP (rysunek 4).
2. Obiekty w ramach danej kategorii mogą być dalej selekcjonowane tak, aby uzyskać dany rozkład cech¹⁹. Na przykład, można selektywnie eliminować obiekty średniej wielkości z danej kategorii, aby wygenerować bimodalny rozkład wielkości obiektu.
3. Nie ma jednej metody, która byłaby uniwersalnie optymalna do pomiaru dostępnych informacji o kształcie dla wszystkich kategorii, ani nie ma jednej metody, która byłaby optymalna do kategoryzacji wszystkich obiektów^20-22. W związku z tym eksperymentator musi wybrać te metody w oparciu o kategorie i cele obliczeniowe, które mają pod ręką^20-22. Krok 4 opisuje powszechnie używaną metodę manipulowania różnymi aspektami dostępnych informacji o kształcie.
4. Podobieństwo między daną parą kategorii można obiektywnie zmierzyć za pomocą dostępnych metod filogenetycznych^23,24. Na przykład pionowa (lub "ewolucyjna") odległość między daną parą kategorii, mierzona za pomocą hierarchicznych metod grupowania w zestawie narzędzi statystycznych R, jest obiektywną miarą podobieństwa kategorii^25,26.

3. Dodatkowe metody tworzenia wariacji kształtu: Cyfrowy morfing

1. Biorąc pod uwagę dowolną parę obiektów, tak że każdy wierzchołek jednego obiektu odpowiada dokładnie jednemu wierzchołkowi drugiego obiektu (tj. obiektom z zgodnością jeden do jednego między wierzchołkami), morfing jest prosty^17,18,27-29: W tym przypadku gładkie wariacje (lub "morfy") między dwoma obiektami są wytwarzane przez płynną interpolację między odpowiadającymi im wierzchołkami i normalnymi (Rysunek 5). W zależności od wybranej pary obiektów, morfing spowoduje powstanie nowych kategorii lub dodatkowych dzieci w ramach kategorii.
   1. Obiekty pokazane na rysunku 5 zostały utworzone przy użyciu morfingu liniowego^27-29. Obiekty mogą być przekształcane (lub wypaczane) za pomocą szerokiego wachlarza innych dostępnych technik deformacji^17,18.
2. Aby utworzyć żądany rozkład kształtów przekształconych, wybierz odpowiednio punkty interpolacji.

4. Dodatkowe metody tworzenia wariantów kształtu: Główne składniki

1. Aby użyć głównych składników do generowania zmian kształtu, należy najpierw określić główne składniki¹⁵. Składowe zasadnicze są specyficzne dla danego zbioru obiektów służących do ich wyznaczania²⁶. Aby uzyskać dobre wyniki, użyj co najmniej 30 obiektów z dopasowaniem jeden do jednego między wierzchołkami²⁶.
2. Wygeneruj średni obiekt z żądanego zestawu n obiektów wejściowych, oddzielnie uśredniając współrzędne i normalną każdego wierzchołka we wszystkich obiektach. Zatem współrzędna x danego wierzchołka k z powinna być średnią współrzędnych x wierzchołka k wszystkich n obiektów i tak dalej.
3. Użyj funkcji matlab princomp, aby określić główne składniki n obiektów. Spowoduje to wygenerowanie n-1 niezerowych wektorów własnych wraz z odpowiadającymi im n-1 wartościami własnymi²⁶.
4. Aby wygenerować nowy obiekt A_j z danego składnika głównego P_i , pomnóż P_i przez odpowiednią wartość własną λ_i i żądaną wagę w_j i dodaj do średniej obiektu:
   A_j= +w_jλ_iP_i
5. Każdy unikalny w_j wygeneruje unikalny obiekt. Poprzez płynną zmianę w można tworzyć gładkie wariacje kształtu wzdłuż danego składnika głównego.
6. Aby utworzyć wariacje kształtu wzdłuż niezależnego wymiaru kształtu, powtórz krok 4.4 przy użyciu innego komponentu głównego.
7. Aby utworzyć żądany rozkład kształtów wzdłuż danego komponentu głównego, należy użyć żądanego rozkładu w.
8. Aby utworzyć wielowymiarową siatkę kształtów, należy użyć zestawu wag dla każdego z kilku głównych składników:
   

5. Tworzenie haptycznych wersji obiektów 3D

1. "Drukuj" obiekty 3D za pomocą prototypera 3D (lub "drukarki" 3D). W razie potrzeby dostosuj rozmiar obiektu i wygładź jego powierzchnię przed wydrukowaniem.

6. Przykładowe zastosowanie: Bayesowskie wnioskowanie kategorii obrazu

1. Ważnym zadaniem w przetwarzaniu wzrokowym jest wnioskowanie o kategorii, do której należy dany obserwowany obiekt. Chociaż dokładny mechanizm tego wnioskowania nie jest znany, istnieją zarówno obliczeniowe, jak i fizjologiczne dowody ^{9,12,13,30-32} na to, że polega ono na wykorzystaniu informacji o znanych cechach obiektu na danym obrazie do wywnioskowania kategorii obiektu. W tym miejscu zilustrujemy, jak ten proces wnioskowania może działać w ramach bayesowskim i jak cyfrowe embriony mogą być przydatne w badaniach w tej dziedzinie.
2. Dla uproszczenia przyjmiemy, że zadanie kategoryzacji jest binarne i polega na odróżnieniu kategorii K od kategorii L (Rysunek 3). Niech C będzie zmienną kategorii. Wywnioskujemy, że C = K lub C = L w zależności od tego, czy obserwowany obraz I należy do kategorii K czy L. Typowe podejście do kategoryzacji obejmuje:
   1. Obliczanie prawdopodobieństwa, że kategoria jest K, biorąc pod uwagę informacje na obrazie, oznaczone p(C = K |I);
   2. Obliczanie prawdopodobieństwa, że kategoria to L, biorąc pod uwagę informacje na obrazie, oznaczone p(C = L | I); i
   3. Wybór kategorii z większym prawdopodobieństwem.
3. Następnie dla uproszczenia założymy, że istnieje dokładnie jedna cecha binarna F. Cecha ta może być obecna na obrazie (oznaczona F = 1) lub nieobecna na obrazie (oznaczona F = 0). W tym przykładzie wykorzystana zostanie funkcja "fragmentu informacyjnego" pokazana na rysunku 8. Fragmenty informacyjne zostały po raz pierwszy opisane przez Ullmana i współpracowników³³. W tym przypadku użyjemy szablonu obrazu pokazanego na rysunku 8 jako funkcji i wartości progowej 0,69. Aby określić, czy ta funkcja jest obecna na danym obrazie (powiedzmy, na skrajnym prawym obrazie w wierszu G3 na rysunku 3), wykonamy następujące kroki:
   1. Przesuń ten szablon na wszystkie możliwe lokalizacje na obrazie i oblicz w każdej lokalizacji wartość bezwzględną znormalizowanej korelacji krzyżowej między szablonem a bazowym obrazem podrzędnym.
   2. Wybierz lokalizację obrazu o najwyższej wartości (w tym przypadku 0,60).
   3. Jeśli ta wartość jest wyższa od progu, należy wywnioskować, że cecha jest obecna; w przeciwnym razie należy stwierdzić, że jest ona nieobecna. W naszym przypadku, ponieważ najwyższa korelacja 0,60 znajduje się poniżej progu 0,69, wnioskujemy, że funkcja jest nieobecna na tym obrazie.
   4. Zasadność stosowania takich cech oraz mechanizmy wyboru cech i wyznaczania ich progów wykraczają poza zakres niniejszego raportu, ale zostały szczegółowo opisane w odnośnikach 33, 30.
4. W ramach wnioskowania opartego na cechach zakładamy, że wszystkie informacje, które obserwator wydobywa z obrazu, są zawarte w wartości tej cechy, tj. że p(C | I) = p(C | F).
   W związku z tym zadanie staje się określeniem wartości F na danym obrazie (obecnym lub nieobecnym), obliczając p(C = K | F) i p(C = L | F) dla tej wartości F i wybierając kategorię o wyższym prawdopodobieństwie.
5. W ramach bayesowskiej

Więc

oraz

Zauważ, że mianownik w obu równaniach jest taki sam. Dlatego, aby porównać p(C = K | F) i p(C = L | F), nie jest konieczne obliczanie mianownika; Wystarczy raczej obliczyć ilości

p(C=K|F) ∝ p(C=K)p(F|C=K)

oraz

p(C=L|F) ∝ p(C=L)p(F|C=L)
Są one czasami nazywane "nieznormalizowanymi prawdopodobieństwami". Wyraz p(C) nazywa się 'prior', a wyraz p(F | C) nazywa się "prawdopodobieństwem".

6. Dla uproszczenia przyjmiemy "płaską" a priori: p(C = K) = p(C = L) = 0,5.
7. Zadanie polega teraz na obliczeniu p(F|C), prawdopodobieństwo wystąpienia danej wartości cechy na obrazie danej kategorii C.
   1. Użyjemy sześciu obrazów kategorii L (Rysunek 3) jako przykładu do obliczenia p(F = 1|C = L), prawdopodobieństwo, że cecha jest obecna na obrazie kategorii L.
   2. Aby obliczyć p(F = 1|C = L), najpierw wykonaj wszystkie obrazy treningowe, które należą do L. Ponownie są one pokazane na rysunku 3.
   3. Dla każdego obrazu określ, czy wartość elementu wynosi 1 (obecny) czy 0 (nieobecny), zgodnie z opisem w (6.3.1)-(6.3.3). W naszym przypadku dla sześciu obrazów na rysunku 3 wartości są następujące: [0, 0, 1, 0, 1, 0].
   4. Oblicza ułamek obrazów, w których wartość elementu wynosi 1. W naszym przypadku jest to 2/6 = 0,33.
   5. W związku z tym p(F = 1|C = L) = 0,33. Należy pamiętać, że aby uzyskać dokładne szacunki, należy użyć co najmniej 30 obrazów na klasę.
   6. W podobny sposób możemy obliczyć, że p(F = 0|C = L) = 0,67, p(F = 1|C = K) = 0,83, p(F = 0|C = K) = 0,17.
8. Biorąc pod uwagę te wartości, można przeprowadzić wnioskowanie. Załóżmy, że otrzymujemy nowy obraz (Rysunek 9), a zadanie polega na określeniu jego etykiety kategorii. Odbywa się to w następujący sposób:
   1. Określamy, czy cecha F jest obecna na obrazie, zgodnie z opisem w (6.3.1)-(6.3.3). W naszym przypadku funkcja jest obecna, więc F = 1.
   2. Korzystając z równań (1) i (2) oraz wartości obliczonych w (6.7.5)-(6.7.6), możemy obliczyć, że p(C = K | F = 1) = 0,42 i p(C = L | F = 1) = 0,17.
   3. Biorąc pod uwagę te informacje, racjonalne jest stwierdzenie, że obraz należy do kategorii K, ze stosunkowo niską pewnością.
9. Interesujące i użyteczne może być przetestowanie takiego podejścia w systemie biologicznym (powiedzmy, psychofizycznym). W takim przypadku można dokonać przewidywań behawioralnych i porównać je z wynikami obliczeniowymi, takimi jak te uzyskane w (6.8.2). Aby dokonać dokładnych prognoz, dobre oszacowania p(F |C) są niezbędne. Takie szacunki mogą być jednak trudne do uzyskania w przypadku znanych obiektów. Powodem jest to, że oszacowanie przez podmiot p(F |C) nie jest obserwowalny bezpośrednio i niezwykle trudno jest go obliczyć, ponieważ wcześniejsza ekspozycja obiektu na naturalne obrazy jest niekontrolowana i nieznana. W przeciwieństwie do tego, jeśli do eksperymentów wykorzystuje się embriony cyfrowe, możliwe jest precyzyjne kontrolowanie, na jakie embriony i kategorie zarodków jest narażony. Ułatwia to obliczenie ilości zainteresowania na podstawie dokładnie tych samych danych, z którymi podmiot był narażony. Fakt, że wygląd embrionów jest naturalistyczny, jest pomocny, ponieważ sprawia, że jest prawdopodobne, że badany używa tej samej strategii kategoryzacji, co w przypadku kategorii naturalnych.

Results

VM może być używany do generowania praktycznie nieograniczonej ilości nowatorskich kształtów 3D. Niektóre przykładowe zarodki cyfrowe wygenerowane przy użyciu algorytmu VM pokazano w dolnym panelu rysunku 1. Każdy z tych 16 zarodków został wygenerowany za pomocą programu "growEmbryos.exe" w cyfrowych narzędziach do badania zarodków dla Cygwin (patrz Tabela 1) przez 40 cykli wzrostu. Wszystkie inne parametry wzrostu zostały ustawione wewnętrznie przez program. Większość z tych parametrów była stała (tj. identyczna w każdym zarodku). Kilka parametrów, takich jak lokalizacja i siła źródeł morfogenu, było parametrami losowymi ustawianymi wewnętrznie przez program niezależnie dla każdego uruchomienia. Różnice w kształcie tych 16 zarodków powstały wyłącznie w wyniku zmian tych losowych parametrów.

Niektóre przykłady teksturowania powierzchni^34,35 przy użyciu dowolnie wybranych tekstur są pokazane na rysunku 2A. Sceny wizualne o dowolnej złożoności można tworzyć przy użyciu dostępnego na rynku środowiska modelowania i renderowania 3D, jak pokazano na rysunku 2B.

Reprezentatywne 'drzewo genealogiczne' wygenerowane przez VP przy użyciu cyfrowych embrionów jest pokazane na rysunku 3. Porównywalne drzewa mogą być również konstruowane przy użyciu obiektów innych niż zarodki cyfrowe, jak pokazano na rysunku 4. Zauważ, że w obu przypadkach obiekty, które mają wspólnego przodka, bezpośrednio stanowią kategorię, chociaż eksperymentator może również zdecydować się na zdefiniowanie kategorii jako dowolnego innego zestawu obiektów. Na rysunku 4 warto zauważyć, że nasza obecna implementacja algorytmów VM i VP ma tendencję do tworzenia stosunkowo gładkich, zakrzywionych powierzchni, w przeciwieństwie do postrzępionych lub płaskich obiektów. Warto również zauważyć, że jest to przypuszczalnie ograniczenie naszej implementacji tych algorytmów, a nie same algorytmy, ponieważ procesy biolologiczne mogą wytwarzać obiekty o płaskich powierzchniach i postrzępionych konturach (np. liść róży).

Rysunki 5 i 6 ilustrują typowe wyniki dwóch metod, które mogą być używane jako dodatek lub zamiast VP do tworzenia zasadniczych wariantów kształtu obiektu i kategorii obiektów.

Górny panel Rysunku 7 ilustruje wizualne rendery dwóch cyfrowych embrionów, a dolny panel Rysunku 7 ilustruje odpowiadające im wydruki wygenerowane przez komercyjnie dostępny prototyp 3D.

Rysunki 8 i 9 ilustrują opisane w sekcji 6 procedury używania fragmentów obrazu do kategoryzacji danego obiektu wizualnego.

Rysunek 1. Wirtualna morfogeneza. Dolny panel ilustruje rodzaj nowatorskich, naturalistycznych, wirtualnych obiektów 3D zwanych "cyfrowymi embrionami"¹⁴. Cyfrowe zarodki można generować, symulując jeden lub więcej z niektórych kluczowych procesów biologicznej embriogenezy: podział komórek za pośrednictwem morfogenu, wzrost komórek, ruch komórek i zaprogramowaną śmierć komórki^7,8,36,37. Każdy przebieg rozpoczyna się od dwudziestościanu (pokazanego w górnym panelu) i generuje unikalny zarodek, w zależności od ustawień parametrów VM (lub "genotypu") tego zarodka. Tak więc 16 zarodków w dolnym panelu ma różne kształty, ponieważ wszystkie mają różne genotypy. Należy zauważyć, że prostsze lub bardziej złożone kształty mogą być generowane w zależności od potrzeb (np. w celu optymalnej stymulacji neuronów na danym poziomie hierarchii wzrokowej) poprzez manipulowanie genotypem zarodka. Wszystkie wyżej wymienione procesy embriogenetyczne, z wyjątkiem zaprogramowanej śmierci komórki, były symulowane podczas generowania pokazanych zarodków. Symulowana zaprogramowana śmierć komórki jest szczególnie przydatna do tworzenia docelowych wgłębień (nie pokazano).

Rysunek 2. Tworzenie bodźców wizualnych za pomocą cyfrowych zarodków. Podobnie jak każdy wirtualny obiekt 3D, cyfrowe embriony mogą być manipulowane graficznie w celu tworzenia scen wizualnych o dowolnej złożoności przy użyciu dowolnego standardowego zestawu narzędzi graficznych 3D. Ten rysunek ilustruje niektóre typowe manipulacje. (A) Ten sam cyfrowy embrion jest teksturowany przy użyciu wielu różnych tekstur i oświetlony niewidzialnym źródłem światła w lewym górnym rogu. (B) Zakamuflowana scena jest tworzona poprzez zmianę rozmiaru i orientację cyfrowego embrionu oraz cyfrowe umieszczenie go na tym samym tle, na którym został oteksturowany. Cyfrowy zarodek można znaleźć w "widoku ogólnym" w prawym dolnym kwadrancie. Dodatkowe przykłady bodźców wizualnych wytwarzanych przy użyciu cyfrowych embrionów można znaleźć w odnośnikach. 9,10,12-14,38.

Rysunek 3. Tworzenie cyfrowych kategorii zarodków za pomocą VP. Algorytm VP naśladuje ewolucję biologiczną w tym sensie, że w obu przypadkach nowe obiekty i kategorie obiektów pojawiają się w wyniku selektywnej akumulacji dziedzicznych zmian. W każdym pokoleniu G_i rozmnażają się wybrane zarodki, prowadząc do powstania pokolenia G_i+1. Potomstwo dziedziczy cechy kształtu swojego rodzica, ale w miarę rozwoju nabywa własne zmiany kształtu (określone przez małe różnice w ich genotypie). Rysunek ten przedstawia "drzewo genealogiczne" trzech pokoleń potomków, począwszy od jednego wspólnego przodka, dwudziestościanu. Należy zauważyć, że w tym przypadku złożoność kształtu wzrasta od dwudziestościanu do generacji G₁, ale nie od G₁ i później. Dzieje się tak, ponieważ wzrost liczby komórek (tj. podział komórek) był dozwolony od dwudziestościanu do generacji G₁, ale nie od G₁ i później. Ogólnie rzecz biorąc, podział komórek ma tendencję do zwiększania złożoności kształtu, podczas gdy inne procesy morfogenetyczne, takie jak ruch komórek i wzrost komórek, zmieniają kształt bez zmiany ogólnej złożoności kształtu.

Rysunek 4. VP z wykorzystaniem obiektów wirtualnych innych niż cyfrowe embriony. Rysunek ten pomaga zilustrować ogólną zasadę, zgodnie z którą obiekty wirtualne inne niż cyfrowe embriony mogą być używane jako dane wejściowe do VP. Algorytm VP w swojej obecnej formie może operować na dowolnym wirtualnym obiekcie 3D, którego powierzchnia składa się wyłącznie z trójkątów. Generacja G₁ składa się (od lewej do prawej) z tykwy, diamentu, maski na twarz, jabłka, kamienia i kaktusa. Należy zauważyć, że obiekty w generacji G₁ na tym rysunku nie mają wspólnego przodka, ponieważ VP go nie wymaga. Obiekty w G₂ i G₃ reprezentują potomków skały w G₁. W żadnym pokoleniu nie dopuszczano do podziałów komórkowych, tak więc wszelkie zmiany kształtu wynikały wyłącznie z ruchu i/lub wzrostu poszczególnych "komórek" danego obiektu.

Rysunek 5. Używanie morfingu do tworzenia płynnych zmian kształtu. Morfing polega na wzięciu dwóch danych obiektów (na tym rysunku zarodka po lewej i po prawej stronie) i obliczeniu obiektów pośrednich (zarodków interweniujących) poprzez interpolację między odpowiadającymi sobie wierzchołkami dwóch wyznaczonych obiektów. W przedstawionym przypadku wszystkie wierzchołki zostały interpolowane przy użyciu tego samego współczynnika skalarnego, co dało liniowy morfing. Możliwe jest jednak również przekształcanie obiektów w sposób nieliniowy (nie pokazane). Morfing jest obliczeniowo prosty, gdy istnieje dokładna zgodność jeden do jednego między wierzchołkami dwóch obiektów, jak w pokazanym przypadku. Jednakże w zasadzie możliwe jest przechodzenie między dowolnymi dwoma danymi obiektami wirtualnymi, niezależnie od tego, czy ich wierzchołki dokładnie odpowiadają, chociaż nie ma unikalnej metody na to opartej na zasadach^17,18.

Rysunek 6. Wykorzystanie głównych komponentów do tworzenia płynnych zmian kształtu. (A) Przeciętny zarodek. Zarodek ten reprezentuje średnią arytmetyczną 400 zarodków (po 200 z kategorii K i L na rysunku 3). Główne składowe obliczono zgodnie z opisem w kroku 4.3. Należy zauważyć, że główne składniki reprezentują wzajemnie niezależne, abstrakcyjne wymiary kształtu 400 zarodków (nie pokazane)^25,26. Z 400 zarodków powstaje 399 niezerowych składników głównych^25,26, które razem odpowiadają za całą wariancję lub informacje o kształcie dostępne łącznie w zarodkach. Zgodnie z konwencją, główne składowe są ułożone w porządku malejącym ich wartości własnych lub proporcji ogólnej wariancji, którą wyjaśniają^25,26. W tym przypadku pierwsze dwa główne składniki stanowiły odpowiednio 73% i 19% informacji o kształcie dostępnych w 400 zarodkach. (B) Zarodki, które reprezentują różne masy (lub bardziej precyzyjnie, ważone wartości własne) Głównego Składnika 1. Wagi wahały się od +2 (skrajnie po lewej) do -2 (po prawej) w równych krokach co -0,2. (C) Zarodki o różnej masie Składnika Głównego 2. Wagi również wahały się od +2 (skrajnie po lewej) do -2 (po prawej) w równych krokach co -0,2. Należy zauważyć, że manipulowanie głównymi składnikami nie manipuluje wyłącznie żadną konkretną częścią ciała zarodka (np. skrzydłami zarodka w przedstawionym przypadku). Jednak w razie potrzeby częściami ciała wirtualnych obiektów 3D można manipulować w dowolny dowolny sposób zdefiniowany przez użytkownika przy użyciu większości dostępnych na rynku środowisk modelowania 3D (nie pokazano).

Rysunek 7. Tworzenie obiektów dotykowych. Wirtualne obiekty 3D można "wydrukować" jako obiekty dotykowe za pomocą standardowej, dostępnej na rynku "drukarki" 3D lub prototypera. Rysunek przedstawia cyfrowe embriony renderowane jako obiekty wizualne (górny rząd) lub jako odpowiadające im obiekty haptyczne (dolny rząd). Obiekty haptyczne pokazane na tym rysunku zostały wydrukowane tak, aby miały około 6 cm szerokości (pasek skali = 1 cm), chociaż obiekty można drukować w znacznie mniejszych lub większych rozmiarach.

Rysunek 8. Szablon przykładowego fragmentu informacyjnego. W tym przykładzie szablon ma skojarzony próg 0,69

.

Rysunek 9. Nowy obraz, dla którego kategoria obiektu nie jest znana i musi zostać określona.

Discussion

Przydatność VM i VP w badaniach kognitywnych

Wcześniej szczegółowo opisaliśmy przydatność VM i VP^l9,10,12-14. Krótko mówiąc, VM, a zwłaszcza metodologia cyfrowych embrionów, jest użyteczna, ponieważ zapewnia pryncypialną i elastyczną metodę tworzenia nowatorskich, ale naturalistycznych^obiektów 3D. Podobnie, VP podaje pryncypialną metodę tworzenia kategorii naturalistycznych^9,10,12,13. Warto zauważyć, że kategorie obiektów generowane przez VP mają wiele cech wspólnych z kategoriami obiektów w przyrodzie, w tym fakt, że kategorie mają tendencję do bycia hierarchicznymi, a różnice cech w obrębie kategorii i między nimi powstają niezależnie od eksperymentatora i algorytmów ich klasyfikowania³⁹.

Obecne ograniczenia i przyszłe kierunki

Na szczególną uwagę zasługują trzy obecne ograniczenia naszego protokołu i sugerowane przez nie kierunki przyszłych prac: Po pierwsze, zarówno VM, jak i VP symulują procesy biologiczne. Chociaż pokazujemy, że niebiologiczne obiekty wirtualne mogą być używane jako substraty dla tych procesów, procesy leżące u ich podstaw są nadal motywowane biologicznie. Jednak obiekty naturalne - zarówno biologiczne, jak i niebiologiczne - ulegają zmianom kształtu pod wpływem sił niebiologicznych. Na przykład skały mogą zmieniać swój kształt w wyniku procesów geologicznych, takich jak erozja lub sedymentacja. Nowe kategorie skał mogą powstawać w wyniku innych tego typu procesów geologicznych. Włączenie tych procesów do repertuaru dostępnych algorytmów zmiany kształtu powinno być stosunkowo proste.

Drugim poważnym ograniczeniem naszego protokołu jest to, że jego obecny repertuar dynamicznych zmian kształtu jest raczej ograniczony. Pożądane jest włączenie szerszego wachlarza zmian kształtu, takich jak ruch biologiczny lub ruch spowodowany siłami zewnętrznymi, takimi jak wiatr, woda lub grawitacja. Spodziewamy się, że stosunkowo łatwo będzie wykorzystać znane algorytmy animacji komputerowej do realizacji tak dynamicznych zmian kształtu.

Trzecim poważnym ograniczeniem naszego protokołu jest to, że VM obecnie nie obejmuje wielu innych znanych procesów morfogenetycznych, w tym przede wszystkim gastrulacji³⁶. Nie uwzględnia również niektórych znanych ograniczeń, takich jak fakt, że morfogeneza roślin jest całkowicie zapośredniczona przez wzrost, z niewielkim lub żadnym ruchem komórkowym możliwym ze względu na ściany komórkowe³⁶. Podobnie, VP nie obejmuje innych znanych procesów filogenetycznych, takich jak dryf genetyczny⁴⁰. Zajęcie się tymi ograniczeniami znacznie ułatwiłoby wykorzystanie naszego protokołu w symulacjach rozwojowych, ekologicznych i ewolucyjnych.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Cyfrowe warsztaty zarodkowe (DEW)	Mark Brady i Dan Gu		To przyjazne dla użytkownika, oparte na menu narzędzie można pobrać bezpłatnie jako Pobierz 1 z http://www.hegde.us/DigitalEmbryos. Obecnie dostępne tylko dla systemu Windows.
Cyfrowe narzędzia embrionalne dla Cygwin	Jay Hegdé i Karin Hauffen		Jest to luźna kolekcja niezbyt przyjaznych dla użytkownika programów. Są one przeznaczone do uruchamiania z interfejsu wiersza poleceń emulatora Cygwin Linux dla systemu Windows. Programy te można pobrać jako Download 2 z http://www.hegde.us/DigitalEmbryos. Sam interfejs Cygwin można pobrać bezpłatnie ze strony www.cygwin.com.
Autodesk 3ds Max, Montreal, Quebec, Kanada	Autodesk Media and Entertainment	3DS Max	Jest to zestaw narzędzi do modelowania, animacji i renderowania 3D z elastyczną architekturą wtyczek i wbudowanym językiem skryptowym. Dostępne dla większości obecnych systemów operacyjnych.
MATLAB	Mathworks Inc., Natick, MA, Stany Zjednoczone	MATLAB	Jest to numeryczne środowisko obliczeniowe i język programowania z wieloma przydatnymi funkcjami dodatkowymi. Dostępne dla większości obecnych systemów operacyjnych.
R zestaw narzędzi statystycznych	R Project for Statistical Computing	R	Można pobrać bezpłatnie ze strony http://www.r-project.org/. Dostępne dla większości obecnych systemów operacyjnych.
OpenGL	Khronos Group	OpenGL	Ten wielojęzyczny, wieloplatformowy zestaw narzędzi graficznych można pobrać bezpłatnie ze strony www.opengl.org.
V-Flash Personal Printer	3D Systems Inc., Rock Hill, SC, USA	V-Flash	Jest to dobra wartość dla wszystkich aplikacji druku 3D opisanych w tym raporcie. Materiały do druku są również sprzedawane przez 3D Systems, Inc. Tańsze modele są dostępne w formie open source od RepRap (rapmanusa.com) i MakerGear. Droższe modele (> 30 tys. USD) są dostępne w Objet Geometries, 3DS Systems, Z-Corp, Dimension Printing itp.
TurboSquid.com	TurboSquid Inc., New York, LA	(różne obiekty)	Różne wirtualne obiekty 3D można pobrać z tej strony bezpłatnie lub za opłatą.
Tabela 1. Tabela Konkretnych Zestawów Narzędzi i Wyposażenia.