Bodźce generowane komputerowo na modelu zwierzęcym

Cześć, nazywam się Kevin i pracuję w Centrum Integracyjnego Badania Zachowania Zwierząt na Uniwersytecie Macquarie w Sydney w Australii. W tym artykule opartym na filmie będę mówił o wykorzystaniu animacji komputerowych w eksperymentach z zachowaniem zwierząt. W szczególności będę mówił o tym, jak faktycznie wytwarzamy jeden z tych modeli.

Animacje stają się dziś bardzo popularne w naszej współczesnej kulturze, ale tak naprawdę nie widzimy ich zbyt wiele w kontekście nauki lub badań związanych z nauką. Jednak wczesne próby budowania animacji dla nauki tak naprawdę zaczynają się od bardzo podstawowych procesów, a procesy te często obejmują krojenie i skanowanie określonych części obiektu lub konkretnego okazu, lub wykorzystują również techniki podobne do ruchu biologicznego, takie jak punktowe oprawy oświetleniowe w celu dopasowania pewnych konkretnych części ciała i dopasowania go do animacji. Co więcej, gdybyśmy chcieli zrobić animację, ktoś musiałby to zrobić od zera.

Użycie animacji pozwoliło nam zbadać wiele rzeczy w zachowaniu zwierząt, takich jak kojarzenie się, zaloty, a to, czemu będę się tutaj przyglądał, to komunikacja lub komunikacja wizualna. Obecnie korzystanie z animacji jest o wiele bardziej wyrafinowane niż tradycyjne środki, takie jak interakcje na żywo lub metody inwazyjne, takie jak chirurgia. W tym konkretnym artykule o sztuce przedstawię przegląd tego, jak produkujemy ten konkretny model, i przyjrzymy się, jak ten model jest skanowany.

Przyjrzymy się, jak dodać teksturę, kości mapujące UV, cieniowanie wagi, jak faktycznie uchwycić bodziec do rotoskopii, a na koniec, jak proces jest całkowicie renderowany, aż uzyskamy pełną sekwencję. Istnieje osiem głównych kroków, w których możemy stworzyć całą animację. Pierwszym krokiem jest wykonanie skanu 3D całego obiektu.

W ten sposób nadano podstawowy kształt obiektu. Następnie musimy dodać teksturę, która oczywiście nadaje jej bardziej realistyczny charakter, a następnie ta tekstura jest rozkładana na mapę UV, która pozwala na dokładne umieszczenie pewnych punktów tekstury na obiekcie. Następnie będziemy musieli manipulować obiektem, a następnie dodamy skegan, które są następnie przekształcane w kości.

Następnie dołączane jest cieniowanie ciężaru, aby nadać obiektowi ogólną perspektywę równowagi w ruchu. Następnie musimy uchwycić konkretne bodźce, na podstawie których możemy modelować ruch obiektu. Następnie rotoskopujemy te ruchy na obrazach, które uchwyciliśmy, a na koniec musimy przerenderować sekwencje do czytelnego formatu, który zostanie wykorzystany do odtwarzania wideo, nabyliśmy próbnik taksydermii, który zostanie użyty jako nasz model.

Tutaj używamy Konica Minolta vi dash nine I, aby odtworzyć obiekt 3D. Konica Minolta wykorzystuje fotografię cyfrową i zapewnia pomiar o wysokiej dokładności dzięki zastosowaniu algorytmu 3D do łączenia ze sobą segmentów fotograficznych. Tworzy kształt i wymiary modelu i przekształca obrazy w cyfrowe dane 3D.

Skanowanie 3D pobiera poszczególne segmenty rzeczywistego obiektu i umieszcza je w obiekcie symulowanym na potrzeby animacji komputerowej. Teraz ten obiekt jest budowany poprzez pobranie tych segmentów i umieszczenie ich we właściwych pozycjach. To z kolei tworzy obiekt, którym możemy manipulować w oprogramowaniu do animacji.

Tutaj przedstawiliśmy próbną konfigurację tego, jak fotografujemy nasz obiekt, a następnie jak przekształcamy nasz obiekt w animowany model 3D. Obiekt jest najpierw fotografowany pod różnymi kątami, a te sfotografowane obrazy są umieszczane w odpowiedniej orientacji, co pozwala na wygładzenie łączących się konturów. Technika ta polega na wykorzystaniu systemów fotogrametrycznych, które służą do uzyskania wysokiej szczegółowości i wysokiej dokładności obiektu.

System ten wykorzystuje zarówno markery powlekane, jak i podziałki liniowe o kontrolowanych wymiarach do mapowania współrzędnych znaczników odniesienia. Współrzędne te tworzą konstelację 3D, która służy do dokładnego pomiaru konturów i odległości między każdą sekcją zdjęcia. Dane zostały zebrane za pomocą geomagii kropel deszczu, które zostały wykorzystane do uzyskania pojedynczej siatki wielokątów o morfologicznym kształcie danych.

Aby stworzyć naszą animację, zdecydowaliśmy się użyć programu o nazwie Light Wave 3D. Chociaż dostępne są inne programy do animacji 3D, zdecydowaliśmy się na użycie LightWave ze względu na przyjazny dla użytkownika interfejs i możliwość odczytu kompatybilnych plików wyjściowych. Ponadto LightWave składa się również z dwóch oddzielnych programów, modelera i układu.

Program do modelowania LightWave pozwala na manipulowanie obiektem poprzez podświetlanie określonych wielokątów w celu zmian, tworzenie warstw do obiektu, dodawanie koloru i tekstury oraz tworzenie skeganu. Układ LightWave tworzy sceny używane do ukończenia sekwencji animacji. Modler to miejsce, w którym budowane są charakterystyki obiektu.

To tutaj możemy dodać teksturę, mapowanie UV, wstępny skegan, który zamieni się w kości, a także zadba o wagę. Modelowanie cieniowania jest poprzednikiem używania fali świetlnej w miejscu, w którym sceny są faktycznie budowane, więc to tutaj wszystkie cechy obiektu są początkowo instalowane w obiekcie. Układ fal świetlnych to program, w którym tworzysz rzeczywistą scenę, z wyjątkiem siatki, w której zostanie umieszczony obiekt Wewnątrz tej płaszczyzny X, Y i Z masz dwie inne szczególne cechy.

Masz kamerę, która faktycznie filmuje scenę, a samą kamerę można ustawić pod dowolnym kątem, pod jakim zdecydujesz się ją oglądać. Są też światła. Możesz również użyć jednego lub wielu świateł, które pomagają oświetlić scenę, a także obiekt i pozwalają tworzyć różne aspekty oświetlenia.

Układ fal świetlnych dostarcza nam wielu różnych aspektów, w których możemy spojrzeć na scenę. Najwięcej aspektów, na które możemy spojrzeć, to cztery różne perspektywy. Teraz jest to najlepszy sposób, aby spojrzeć na jak najwięcej różnych kątów obiektu w scenie przed ostatecznym wyjściem.

W układzie fal świetlnych istnieją trzy różne osie obrotu. Pierwszą z nich jest współrzędna X, która jest wysokością dźwięku. Po drugie, współrzędna Y, która jest nagłówkiem, i po trzecie, współrzędna Zed, która jest bankiem.

Te trzy różne współrzędne odnoszą się do ruchu, w którym możemy manipulować nie tylko obiektem, ale także kamerami i światłami w naszej scenie. Najpierw wybraliśmy jaszczurkę Jackie podobną zarówno masą, jak i długością naszego modelu taksydermii. Stąd uzyskaliśmy teksturę obiektu, fotografując teksturę i wzory tego żywego smoka Jackie.

Jaszczurka ta została następnie sfotografowana pod różnymi kątami, takimi jak czołowy i ortogonalny z różnych pozycji takich jak czołowa, ortogonalna, brzuszna i grzbietowa, oraz różnych części ciała takich jak całe zwierzę, głowa, tułów, ogon i kończyny na białej kartce papieru. Następnie zrównoważyliśmy to dla czystych białych wartości RBG Aby uzyskać odpowiednią teksturę, wzięliśmy żywą jaszczurkę i sfotografowaliśmy ją pod kilkoma różnymi kątami. Zostało ono zrobione pod trzema kątami, a także z trzech różnych pozycji.

Trzy kąty były ortogonalne, grzbietowe i brzuszne, a trzy pozycje były przednie, środkowe i tylne. Użyliśmy aparatu cyfrowego Canon ES, aby sfotografować te jaszczurki. Fotografie zostały następnie zaimportowane do programu Adobe Photoshop, gdzie większe fragmenty zostały oddzielone od rzeczywistego tła.

Elementy te zostały następnie dopasowane do wartości RGB, a następnie zostały również zrównoważone bielą, tak aby nie było różnicy w kolorze. Stworzyliśmy mapę UV Atlas w celu nałożenia tekstury na obiekt. Ta mapa UV Atlas została stworzona w modelarze fal świetlnych.

Mapa UV Atlas rozdziela obiekt na fragmenty składające się z łączących się wielokątów. Ponieważ obiekt nie był prostym kształtem, takim jak sześcian lub walec, mapa UV Atlas dzieli obiekt na kilka prostszych powierzchni strugarki bez kątów 90 stopni. Jednak mapa UV Atlasa rozbija obiekt na kilka nieciągłych segmentów połączonych wielokątów.

Tak więc mapa UV Atlasa została następnie przechwycona za pomocą programu o nazwie Grab w celu stworzenia osobnego obrazu JPEG. A potem zostaliśmy osadzeni w tym obrazie BA jako warstwie tła w elementach Adobe Photoshop. Przechwytując jpeg bez zmiany rozmiaru obrazu, zachowaliśmy te same proporcje, których można użyć do odwzorowania obszarów na Jackie Dragon do obiektu.

Różne fotografie Jackie Dragons zostały następnie połączone ze sobą w elementach Adobe Photoshop, aby stworzyć całe Jackie Dragons w kilku pozycjach, takich jak wielokąty czołowe, ortogonalne, brzuszne i grzbietowe, a następnie dopasowane do lokalnego obszaru na Jackie Dragon. A teraz w modelarstwie fal świetlnych. Ponownie zaznaczyliśmy te wielokąty na mapie Atlas UV, co pozwoliło nam zidentyfikować konkretny obszar na Jackie Dragon.

Obszar ten został następnie przycięty i nałożony na tło Atlas UV map jpeg określone obszary na Jackie Dragon, które zostały sfotografowane, a następnie przycięte i nałożone na te konkretne wielokąty. Po nałożeniu wszystkich fragmentów fotograficznych na mapę Atlas UV w formacie jpeg, tło zostało usunięte i utworzony został pojedynczy plik TIF. Plik TIF został następnie zaimportowany z powrotem do programu do modelowania fal świetlnych i został przypisany do współrzędnych UV.

Mapowanie UV polega na tym, że bierzemy segmenty, które kiedyś zostały sfotografowane z żywej jaszczurki, i faktycznie segmentujemy je i umieszczamy na naszej animowanej jaszczurce. Odbywa się to w programie do modelowania fal świetlnych. Korzystając z programu do modelowania fal świetlnych, korzystamy z narzędzia mapowego UV Atlas, które pozwala nam na rozbicie obiektu na kilka różnych segmentów.

Dzieląc go na kilka różnych segmentów, jesteśmy w stanie wykorzystać teksturę, którą uzyskaliśmy ze zdjęć i umieścić ją na tych konkretnych elementach. W przeciwieństwie do obiektu, który może być zwykły lub cylindryczny, obiekty, które nie mają kątów 90 stopni, dzielą się na kilka różnych segmentów. Oto zbliżenie kilku małych segmentów wielokątów na naszej mapie atlasu UV.

Możemy wyróżnić te konkretne segmenty, aby zobaczyć, które konkretne wielokąty odpowiadają któremu konkretnemu ciału. Części na obiekcie Segmenty ze zdjęć zrobionych na jasnej jaszczurce zostały następnie podzielone, a następnie umieszczone na naszych rozłupanych kawałkach. Korzystając z mapy atlasu UV, segmenty te zostały następnie dopasowane i w ten sposób nałożyły teksturę na nasz obiekt.

Skegan i kości są osadzone w obiekcie, co pozwala na ogólny ruch i manipulowanie obiektem. Pierwszy. W modelarze fal świetlnych skegan został osadzony w obiekcie, a skegan działa jako symbole zastępcze dla wirtualnych kości, które mają być tworzone w układzie fal świetlnych. W szczególności w naszym obiekcie powstało łącznie 61 kości.

Najpierw warstwa została otwarta w Light Wave Modeler i obiekt może być oglądany jako rama druciana. W tym programie modeler pozwala nam następnie wyświetlić wiele warstw szkieletu z drutu, co zapobiega przypadkowemu podświetleniu lub przesunięciu niektórych wielokątów podczas tworzenia skeganu. W naszym modelu stworzyliśmy sztuczny kręgosłup, który został stworzony w celu pełnienia funkcji kręgów szyjnych od szyi w dół do kręgów krzyżowych czubka ogona.

Skegan odtworzył tutaj szkielet prawdziwego smoka Jackie. Użyliśmy jednak tylko jednego dużego pistoletu szkieletowego na głowę. Następnie stworzyliśmy cztery kończyny, z których każda składała się z czterech skeganów, a następnie skegan został zrośnięty jako kręgi piersiowe, a następnie ostatecznie tylne kończyny zostały również połączone z obręczą miedniczną.

Skegan został następnie połączony ze sobą, aby stworzyć hierarchiczny system, w którym kręgosłup działał jako centralna podstawa dla wszystkich ruchów kończyn. W końcu skegany zostały stworzone, obiekt został następnie zsynchronizowany z układem fal świetlnych, a skegan został przekształcony w kości. Każda kość, podobnie jak sam obiekt w trybie układu, ma również trzy płaszczyzny obrotu.

Skegan, które są naszymi poprzednikami kości. Skegan są początkowo tworzone przy użyciu lekkiego modelera. To tutaj instalujemy te pistolety ske, aby później przekształcić je w kości za pomocą układu fal świetlnych.

Pistolety ske to początkowy proces, w którym dajemy nam elastyczność i manipulację, w której możemy zmieniać obiekt w różne kształty i pozycje. Po pierwsze, w Light wave modeler możemy dodać ske guny, które pomagają manipulować naszym obiektem. Teraz te skegany są ustawiane w obiekcie jako znaczniki miejsc, które mają zostać przekształcone w kości.

W układzie fal świetlnych przekształcamy te skegany w kości. Na tym diagramie znajduje się również siatka wielokątów, która pokazuje nam dokładnie wymiary i liczbę wielokątów w naszym konkretnym obiekcie w układzie fal świetlnych. W następnej scenie zobaczysz, jak te kości współpracują ze sobą, aby pomóc manipulować obiektem Uderzenie ciężarem zapewnia obiektom elastyczny i ograniczony ruch.

Mapy wagowe mają ogólną wartość, która waha się od minus 100% do dodatniej 100% w rozkładzie ruchu. Na przykład niezależne mapy wagowe wyznaczone dla określonych obszarów obiektu muszą działać antagonistycznie, aby umożliwić płynny i realistyczny ruch obiektu. Wartość masy sugeruje, że większe odchylenie od 0%, które nie jest żadnym efektem, będzie miało większy wpływ na ruch na danym ciele.

Cieniowanie ciężaru określonego obszaru wpływa również na ruch kości. Jednak niewłaściwe ważenie może spowodować opóźniony ruch obiektu w stosunku do ruchu kości, na przykład kości mogą wydostawać się z obiektu, gdy ruch obiektu odbywa się w tym samym ogólnym kierunku, lub może powodować nadmierny ruch, taki jak ruch obiektu może zastąpić położenie kości w kierunku ogólnym. Tutaj, w LightWave Modeler, dzielimy naszą perspektywę na perspektywę poczwórną.

To pozwala nam zobaczyć antagonistyczne pary cieniowania wagi. Aby pokazać Ci przykład z bliska, jak zachodzi tutaj cieniowanie wagi, najpierw nałożyliśmy odcień wagi na ogon. Dodając odcienie wagi do określonej części obiektu, musielibyśmy dodać odcień przeciwwagi, aby zrównoważyć ruch obiektu.

Tutaj dodaliśmy odcień przeciwwagi na głowie, aby zrównoważyć przesadne ruchy, które mogą być wytwarzane przez ogon. Aby rozpocząć rotoskopię, musimy najpierw zebrać sekwencje, na podstawie których możemy modelować nasze wzorce motoryczne. Najpierw przeprowadziliśmy symulację interakcji samców z osobnikami trzymanymi w niewoli.

Samce umieszczano w szklanych terrariach IPO, a następnie filmowano je niezależnie na potrzeby pokazów społecznych. Sekwencje te zostały następnie zarchiwizowane do innych eksperymentów i do wykorzystania w rotoskopii. Wybraliśmy sekwencje wzorców motorycznych, takie jak ruch ogonem, pompka, kołysanie ciałem i powolna fala ramienia z przechwyconego cyfrowego materiału wideo i wyeksportowaliśmy te segmenty do sekwencji obrazów, które są serią kolejnych plików jpeg do Apple QuickTime.

Początkowo sfilmowaliśmy żywe interakcje ze zwierzętami, które są wymagane i zapisywane jako archiwalny materiał wideo w celu uchwycenia bodźców. Pokazaliśmy te archiwalne nagrania z jaszczurkami żywą jaszczurką trzymaną w zagrodzie. Odpowiedzi tej listy na żywo zostały następnie nagrane za pomocą kamery cyfrowej, a to zasadniczo stało się naszymi sekwencjami, których używamy do rotoskopii.

Rotoskopia to technika, w której model jest nakładany na obraz tła lub serię obrazów, w których obiekt ma naśladować sekwencję klatka po klatce. Program do układania fal świetlnych jest medium, w którym tworzona jest scena dla sekwencji animacji. W układzie możemy kontrolować środowisko, w którym ma być przedstawiona nasza animacja, ustalając parametry dla charakterystyki światła, kamery, obiektu i tła.

W układzie. Bodziec jest również wykorzystywany w końcowej scenie, która zostanie uchwycona tylko wtedy, gdy materiał znajdzie się w końcowym widoku kamery. Najpierw pierwszy obraz jpeg jest importowany do tła widoku kamery.

Obiekt byłby następnie manipulowany za pomocą parametrów ruchu kości, które są również nakładane na obraz tła. Klatka jest następnie klatka kluczowa, która zapisuje położenie obiektu i wszystkie kości dla tej konkretnej klatki. Obraz tła jest następnie usuwany i zastępowany następnym, następnym kolejnym obrazem.

W sekwencji obrazu obiekt jest ponownie manipulowany w celu ustawienia i pozycji obrazu tła oraz po zakończeniu każdej manipulacji klatką. Każda klatka jest następnie klatka kluczowa, a po zakończeniu sceny sekwencja może być następnie wyeksportowana do sekwencji obrazu lub wypożyczona w jedną sekwencję pełną. Aby zademonstrować rotoskopię, która jest odtworzeniem realistycznego ruchu na podstawie sekwencji nagranych wideo, zaczniemy od pokazania tego, czego zwykle używamy jako oryginalnego tła.

Tak więc tutaj, w tej pierwszej sekwencji, zobaczycie pustego persa, na którym normalnie przysiada jaszczurka. Po drugie, pokażę wam sekwencję z żywą jaszczurką, której użyjemy za pomocą rotoskopu. I po trzecie, zobaczysz animowaną sekwencję jaszczurki, która jest umieszczona na żywej jaszczurce.

Tutaj pokazuję, gdzie obiekt jest importowany do układu fal świetlnych. Jak widać, układ można podzielić na kilka różnych ekranów, co daje lepszy widok, w którym można manipulować obiektem. Najważniejszym widokiem jest jednak ten na górze, który jest widokiem z kamery, a można zobaczyć bezpieczne obszary, które są wyznaczone przez prostokątne pola wokół jaszczurki.

Wszystko, co zostanie pokazane lub umieszczone w tym bezpiecznym obszarze, zostanie zarejestrowane przez kamerę i ostatecznie wykorzystane do renderowania. Aby zrobić scenę. Rotoskopia to manipulacja klatka po klatce obiektem na obrazach tła.

Tak więc to, co zrobiliśmy tutaj krok po kroku, polegało na tym, że musieliśmy wyeksportować sekwencję obrazów do poszczególnych klatek. Następnie używamy tych pojedynczych klatek i umieszczamy je na tle naszej animowanej sekwencji. Następnie musimy przesunąć naszą animowaną sekwencję, aby dopasować ją do pozycji widocznych w tle.

Dopasowując go, klatka po klatce, jesteśmy w stanie odtworzyć ruch, który jest faktycznie wykonywany na rzeczywistej sekwencji obrazu. Jak wspomniałem wcześniej, musielibyśmy zaimportować każdą sekwencję klatka po klatce, aby rotoskopować nasz obraz. W tej klatce zaimportowaliśmy pierwszą sekwencję do tła, co pozwala nam zobaczyć, gdzie nasz obiekt stoi przed naszym obrazem tła.

Możemy wtedy również zapewnić widok rentgenowski kości i układ fal świetlnych, co pozwala nam zobaczyć kości przez teksturę obiektu tutaj. Będąc w stanie zobaczyć kości przez teksturę obiektu, możemy manipulować obiektem, aby pasował do sekwencji tła każdego konkretnego obrazu. Następnie importowalibyśmy następną sekwencję, w której chcielibyśmy rotoskopować nasz obraz na wierzchu.

I odbywa się to ponownie jako sekwencja klatka po klatce przez całą sekwencję następującą po sobie. Małe sekwencje Mogą być renderowane bezpośrednio z układu do różnych formatów obrazu lub bezpośrednio do sekwencji filmowych. Wszystkie duże sekwencje mogą być renderowane za pomocą renderowania.

Dowódca farmy od Bruce'a Rain Rendera. Farm Commander lub RFC umożliwia wszystkim komputerom w systemie sieci lokalnej wydłużenie czasu renderowania poprzez dystrybucję zadań między komputerami łączącymi. W naszym laboratorium użyliśmy czterech podwójnych procesorów Apple Mac G five, w tym ośmiu wątków do dystrybucji renderowania.

Na przykład przetwarzanie sekwencji 9 000 klatek, co odpowiada sześciu minutom w standardzie pal DV, może zostać zakończone w ciągu 12 godzin przy użyciu jednego procesora G five i skrócone do czterech godzin, gdy są rozłożone na osiem wątków lub 4G pięć podwójnych procesów. Używanie RFC do przetwarzania wsadowego jest wydajne, gdy nie ma więcej niż dwóch dużych sekwencji. Jednak RFC wygeneruje dowolną liczbę pojedynczych plików graficznych.

Zdecydowaliśmy się jednak renderować obie nasze sekwencje, które były długie i krótkie, do poszczególnych plików JPEG. Tak więc, aby zademonstrować ponownie, mamy tutaj naszą oryginalną sekwencję, a nasza oryginalna sekwencja będzie miała jaszczurkę, standardowy pokaz kamieni ciała w kształcie pompki, który jest używany do komunikacji społecznej i agresywnych interakcji. A teraz mamy naszą ostatnią sekwencję, naszą animowaną jaszczurkę, a ta animowana jaszczurka będzie powielać naszą skałę ciała w kształcie pompki, którą widzieliśmy w początkowym filmie z jaszczurką.