Summary
Videouppspelning är en allmänt använd teknik i djurens beteende. Vi skapade och utvärderade ett program som gäller regelbaserad, interaktiv uppspelning av 3-D datoranimationer som svar på realtid, automatiserad data om ämnet beteende.
Abstract
Videouppspelning är en utbredd teknik för kontrollerad manipulation och presentationen av visuella signaler i djurens kommunikation. Framför allt erbjuder parameter-baserad dator animation möjlighet att självständigt manipulera valfritt antal beteendemässiga, morfologiska eller spektrala egenskaper i samband med realistiska, rörliga bilder av djur på skärmen. En allvarlig begränsning av konventionella uppspelning, dock att den visuella stimulansen saknar förmåga att interagera med levande djur. Upplåning från videospel teknik har vi skapat en automatiserad, interaktivt system för videouppspelning som kontrollerar animationer som svar på realtid signaler från en video-system för spårning. Vi visade denna metod genom att göra material val prövningar av kvinnliga svärdbärare fisk Xiphophorus birchmanni. Kvinnor fick ett samtidigt välja mellan en uppvaktning manlig conspecific och en uppvaktande hane heterospecific (X. Malinche) på motsatta sidor av ett akvarium. Den virtuella manliga stimulans var programmerad för att spåra den horisontella positionen för den kvinnliga, som uppvaktar män gör i det vilda. Mate-val prövningar av vildfångade X. birchmanni honor användes för att validera prototypen förmåga att effektivt skapa en realistisk visuell stimulans.
Protocol
1. Installerar maskin-och Viewer-system.
Systemet består av ett test tank flankeras av två bildskärmar. En videokamera är ansluten till BIOBSERVE Viewer systemet registrerar rörelsen av motivet i realtid. Motion data skickas till interaktiv video uppspelning (IVP) program på en separat server, som bestämmer rörelse animerade stimulans på skärmen.
- Placera två CRT-skärmar på motsatta sidor av en 80-l akvarium fyllt med rent vatten, matchen monitorutgång.
- Placera kamera overhead för att fånga se hela akvariet, ansluta till BIOBSERVE grafikkort.
- Konfigurera Viewer systemet för att få spåra information från kameran.
- Aktivera plugin-program till Viewer som skickar koordinaterna för djurets nos, kropp och svans till animering server i realtid via en angiven nätverkets IP-adress.
- Aktivera animering servern.
2. Kalibrering.
- På animeringen servern, öppna InteractiveDisplaySetup.txt. Skriv in skärmbredden och skärm höjd i pixlar under "monitor Info". Under "ProgramType" enter "kalibrering". Spara ändringar i filen.
- Dubbelklicka på IVP programmet för att starta programmet.
- Fyll i omfattning av tanken mått som inrättas i Viewer-systemet i steg 2,3. Detta kommer att säkerställa överensstämmelse mellan Viewer data och interaktiva utdata från IVP.
- Eftersom ändarna av fisk tankar är mindre än de övervakar, ger mjukvaran användaren att använda tangentbordet (en och s för bredd, Z och X för höjd, och piltangenterna för position) för att flytta visningsområdet (vyport) av stimuli att anpassa ändarna av testning tanken. Sett på animeringen servern, är den rosa vyporten ekade på ett test bildskärm och den blå vyport å andra sidan (figur 1).
- Använd Z och X på tangentbordet för att skala visningen av den manliga fisk på båda vyportar tills det matchar önskad stimulans storlek.
- Flytta den visade lådor så att de anpassas till kanterna av testet tanken. Användaren använder Q eller W för att flytta lådorna mot eller bort från centrum av fisk.
- Fyll experiment information när du uppmanas av programmet. Användaren har möjlighet att välja bland förinstallerade modeller (i vår demonstration, uppvaktade manliga Xiphophorus birchmanni, X. Malinche). Användaren anger också beteendet hos varje fisk i varje steg (icke-interaktiva eller interaktiva), sidorna och stadium där varje stimulus kommer att visas och önskad storlek (standardlängd) för varje stimulus.
- Nästa fråga frågar om användaren vill fisken rörelserna vara motsatt, dvs att rörelsen av modellen på vardera sida av akvariet ska vara exakt samma. Detta används bara när fisken är både animation läge. Den sista frågorna gäller förflyttning av ryggfenan. Användaren kan välja standard rygg, vilket skulle göra den dorsala bara höja under en lateral uppvaktning display. Om ryggen inte har angetts som standard, kan användaren bestämma om modellen höjer sin ryggfena beroende på avståndet till motivet från monitorn.
3.Starting IVP för mate-choice test.
- Öppna InteractiveDisplaySetup.txt och ställ in "ProgramType" för att liveTesting och ställa "experimentName" till samma filnamn som innehåller experimentdata.
- Placera försiktigt ämne fiskar i akvarium och vänta 10 min.
- Starta Viewer 2,0 och IVP.
4. Mate-val rättegång.
Det övergripande experimentella sekvensen följer tidigare studier med icke-interaktiv video stimuli 1-4. Kvinnor presenteras med två olika stimuli på monitorer på motsatta sidor av ett test akvarium. Kvinnligt beteende spåras i realtid av Biobserve Viewer systemet. Svaret analysen är föreningens tid, den tid som en kvinnlig spenderar inom 10 cm från en skärm eller det andra. Föreningen tid automatiskt beräknas av tittaren.
- Videon stimuli visas till personer i en prövning som består av två 20-minuters steg. En scen består av fyra 5-minuters segment:
- Det första segmentet acklimatiserar den kvinnliga på prov tank för fem minuter genom att visa en monokromatisk skärm på båda skärmarna.
- I det andra segmentet är två olika video stimuli visas för den kvinnliga, en på vänster bildskärmen och den andra till höger i fem minuter.
- Omedelbart efter visningen av filmen stimuli, är en monokromatisk skärmen igen visas på båda bildskärmarna i fem minuter.
- I den fjärde och sista segmentet är stimuli från det andra segmentet som presenteras, men positionen för varje stimulus är påslagen. Detta ger en inom-kvinnlig kontroll för sidan bias.
- SECOND stadium upprepar samma mönster, med en annan uppsättning samtidigt-presenterade stimuli.
- Ytterligare försök drivs genom att återgå till steg 2 och systematiskt varierande sida och ordning.
5. Representativa resultat.
Vi utvärderade effekten av interaktiva uppspelningen genom att jämföra kvinnliga svar på interaktiva och icke-interaktiva animeringar av uppvaktande hanar. De icke-interaktiva stimulans utförde en uppvaktning stimulanspaket på skärmen, oberoende av kvinnliga beteenden, som i tidigare studier 1-4.
Den interaktiva stimulans spårade den horisontella positionen för den kvinnliga över skärmen. Ställning antingen simulerade fisk eller föremål fisken operativt definieras som mittpunkten av linjen mellan tyngdpunkten och nos. De tre regler som styr manligt beteende var följande, där X-riktningen avser längden av tanken, och Z-riktningen syftar på bredden av tanken (figur 2):
Regel 1: Den simulerade manliga alltid följer motivet över skärmen, spåra henne i Z-riktningen.
Regel 2: Den simulerade mannens ryggfena är bara upp när det utför en lateral uppvaktning display.
Regel 3: Den simulerade manliga svärdbärare fisken kommer bara utföra en lateral uppvaktning display för 50% av den totala tiden det visas att de kvinnliga. Den laterala uppvaktningen skärmen utlöses av den manliga fisken inom en fjärdedel manliga kroppen längd honan i Z-riktningen. Den laterala uppvaktningen display är oberoende av hur nära den kvinnliga är att skärmen i X-riktning.
Den interaktiva stimulans spårade noga kvinnligt position i realtid (figur 3).
Tidigare arbete med icke-interaktiva stimuli 4,5 visar att kvinnliga X. birchmanni föredrog starkt visuella signaler av deras egen art. De icke-interaktiva stimuli som skapats av IVP var lika effektiva på att locka fram conspecific mate preferenser (t = 1,923, N = 9, p = 0,046). När honorna testades på simulerade interaktiva conspecific och heterospecific män omedelbart före eller efteråt i samma rättegång, men misslyckades de att visa en preferens (Figur 4).
Figur 1. Monitor setup för kalibrering.
Figur 2. Schematisk bild av tank och bildskärmar, som visar axlar används för att beskriva läget.
Figur 3. Horisontella position animerade förebild och representant kvinnliga ämne över tid.
Figur 4. Association (s) honor med interaktiva och icke-interaktivt conspecific och heterospecific manliga stimuli. Varje tomt skapas från en fem minuters rekord av positionerna produktionen med prototypen. I dessa tomter, fortskrider tid i den vertikala Y-riktning från 0 till 5 minuter.
Figur 5. Representant föreningen tidsdata och spårning av två interaktiva stimuli. Två fem-minuters segment för två honor visas.
Discussion
Tidigare metoder för interaktiv video uppspelning i djurens beteende har förlitat sig på en mänsklig operatör att ge svar på beteendemässiga signaler från patienter. Med IVP skapade vi ett program som tillämpas regelbaserade interaktivitet som svar på realtid, automatiserad data om ämnet beteende. Redogör vi kortfattat de steg som ingår i skapandet av programmet nedan.
Det första steget var att skapa digitala manliga förebilder för X. birchmanni och X. Malinche. Vi tog en strategi liknande tidigare studier 6. Vi skapade 3D maskor som bygger på texturer baserade på fotografier av riktiga X. birchmanni och X. Malinche. För att fånga den realistiska texturer av de verkliga fisk, samma bilder som används för att modellera fisken former användes som texturer för fisken. En plan karta tillämpas på deras UV-koordinater i linje UV kartan med fotografiet konsistens. För det andra måste den digitala fiskar mesh deformeras som en riktig fisk. För att åstadkomma detta var en virtuell skelett skapas för kropp och fenor och "flås" i mesh. Den skinning-processen gör att nätet ska deformeras när lederna roteras.
För det andra har vi lagt rörelse till den digitala fisk. Sex viktiga rörelser som en manlig svärdbärare fisk gör var animerade. Tre av de rörelser används för att representera de olika hastigheter vid vilka en fisk skulle simma. De andra tre rörelserna fisken återstår fortfarande, svarvning eller uppvisar en lateral uppvaktning display. Eftersom män kan höja eller sänka deras ryggfena i enlighet med både manliga och kvinnliga mottagare finns 3, frikopplat vi rörelse av ryggfenan från den laterala uppvaktning displayen. Ryggfenan var knappat så att den kunde höjas eller sänkas när som helst under cykeln. Sammanlagt tjugofyra animation cykler användes. Varje cykel började och slutade med fisken i samma ställning så att animeringen cyklerna kan lätt blandas ihop. Alla de tjugofyra animering cykler skapades av rotoscoping 7,8 önskad rörelse från överliggande video av en levande, uppvaktade manliga X. birchmanni.
Tredje aktiverat vi interaktivitet. Vi använde Biobserve Viewer för att spåra i realtid position nosen, kroppen och svansen av de kvinnliga svärdbärare och överföra den informationen i realtid till IVP programmet. Detta gjordes separat för varje uppvaktar hanen på varje bildskärm. Hanen animation följt ämnet fiskens position. Vi modellerade efter hjälp Reynolds kom styrförmåga 9,10, vilket gjorde den manliga följa kvinnliga och bromsar när den närmar sig honan.
För att beräkna positionen för de manliga svärdbärare fisk vid varje tidssteg, var systemet som levereras med den aktuella positionen för det kvinnliga, vilket gjorde att programmet för att beräkna de krafter som driver den manliga. Först var målet offset vektor beräknas genom placering av den manliga fisk från position honan. Andra avståndet från den manliga fisk till honan bestämdes genom att omfattningen av målet-offset vektor. Tredje var önskad hastighet av den manliga fisk bestäms genom att dividera avståndet med en konstant retardation värde. Detta gjorde det möjligt hanfiskar att sakta ner då det närmade sig honan. Senast var den önskade accelerationen beräknas genom att subtrahera den manliga nuvarande hastighet från den önskade hastigheten.
Eftersom animationer återges som diskreta ramar av video med 60 Hz, har beräkningar gjorts för varje diskret tid steg i intervall på 0,016 sekunder. Högsta hastighet var satt till ett värde av 10 cm / s för dessa experiment. Om storleken på den nya hastigheten var större än den maximala hastigheten var hastigheten satt till maximalt.
För denna simulering höjde interaktiva hanfiskar dess ryggfena 50% av tiden, och endast under uppvaktningen interaktioner. Den laterala uppvaktning visa beteendet utlöstes när den manliga stimulans låg inom 0,25 chassilängder av de kvinnliga svärdbärare fisk i Z-dimensionen.
Vi blev förvånade över att interaktivitet avskaffade den kvinnliga preferens för artfränder, trots att de icke-interaktiva animationer framkallade en stark preferens och med tanke på att kvinnor tillbringat merparten av tiden samröre med den interaktiva stimuli. En möjlighet är att noga den kvinnliga kan åsidosätta visuella referenser används för att utvärdera män, såsom svärd och ryggfenan. Alternativt kan kvinnor vara mindre benägna att förlora intresset för en uppvaktar manlig, och därför mindre benägna att prova både individer (Figur 5).
Trots detta visar våra resultat att den operativa principen om videospel teknik nämligen program-drivna, kan regelbaserade agenter reagera på användarens input med framgång tillämpas på interaktiv uppspelning i studier avdjurens beteende. Denna typ av regler-baserade interaktiva uppspelningen ska vara användbar för studier av shoaling och kollektiv rörelse 11,12. I synnerhet bör möjligheten att manipulera regler som en virtuell förebild användningsområden för shoaling ger oss inblick i de processer som djur använder för att göra shoaling beslut.
Disclosures
Produktionen av denna video-artikeln var sponsrad av Biobserve Research.
Acknowledgments
Vi står i tacksamhetsskuld till Stephan Schwartz och kristna Gutzen av Biobserve GmbH för att sponsra denna artikel och för mycket tekniskt bistånd. Vi tackar Olivia Ochoa, Christian Kaufman, och Zachary Cress för hjälp med fisk vård, vi är tacksamma mot den mexikanska federala regeringen om tillstånd att samla in fisk. Vi står i tacksamhetsskuld till Glen Vigus, Frederic Parke och visualisering Lab vid Texas A & M. Athena Mason och Ryan Easterling hjälp i utarbetandet av denna publikation. Finansieringen kom från Texas A & M University och NSF IOS-1.045.226.
Materials
| Name | Company | Catalog Number | Comments |
| Maya 8.0 | |||
| C# program using Microsoft’s XNA Game Studio 2.0 | |||
| BIOBSERVE Viewer 2 | |||
| Dell 15” CRT monitor (2) | |||
| 20 X 20 X 80 cm Plexiglas testing aquarium | |||
| Dell Latitude computer (animation server) |
References
- Fisher, H. S., Mascuch, S., Rosenthal, G. G. Multivariate male traits misalign with multivariate female preferences in the swordtail fish, Xiphophorus birchmanni. Anim. Behav. 78, 265-269 (2009).
- Fisher, H. S., Rosenthal, G. G. Hungry females show stronger mating preferences. Behavioral Ecology. 17, 979-981 (2006).
- Fisher, H. S., Rosenthal, G. G. Male swordtails court with an audience in mind. Biology Letters. 3, 5-7 (2007).
- Wong, B. B. M., Rosenthal, G. G. Female disdain for swords in a swordtail fish. American Naturalist. 167, 136-140 (2006).
- Fisher, H. S., Wong, B. B. M., Rosenthal, G. G. Alteration of the chemical environment disrupts communication in a freshwater fish. Proceedings of the Royal Society B-Biological Sciences. 273, 1187-1193 (2006).
- Rosenthal, G. G. Design considerations and techniques for constructing video stimuli. Acta Ethol. 3, 49-54 (2000).
- Turnell, E. R., Mann, K. D., Rosenthal, G. G., Gerlach, G. Mate choice in zebrafish (Danio rerio) analyzed with video-stimulus techniques. Biol. Bull. 205, 225-226 (2003).
- Rosenthal, G. G., Ryan, M. J. Assortative preferences for stripes in danios. Animal Behaviour. 70, 1063-1066 (2005).
- Flocks, herds and schools: A distributed behavioral model. Reynolds, C. W. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, 1985, , ACM Press. New York, NY. 256 (1985).
- Reynolds, C. W. Steering Behaviors For Autonomous Characters. Game Developers Conference, 1999, San Jose, California, , Miller Freeman Game Group. San Francisco, California. (1999).
- Hoare, D. J., Couzin, I. D., Godin, J. -G. J., Krause, J. Context-dependent group size choice in fish. Animal Behaviour. 65, 663-669 (2004).
- Hoare, D. J. &, Krause, J. Social organisation, shoal structure and information transfer. Fish and Fisheries. 4, 269-279 (2003).
