Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Neuroscience
Click here for the English version

Neuroscience

Objecten maken en Object Categorieën voor het bestuderen van perceptie en perceptueel leren

Published: November 2, 2012 doi: 10.3791/3358
Automatic Translation
1,2,3, 4, 5, 6, 1,2,3
1Brain and Behavior Discovery Institute, Georgia Health Sciences University, 2Vision Discovery Institute, Georgia Health Sciences University, 3Department of Opthalmology, Georgia Health Sciences University, 4Intelligent Systems Laboratory, Palo Alto Research Center, 5Pattern Recognition Systems, Palo Alto Research Center, 6Department of Psychology, University of Minnesota

Summary

Wij beschrijven een nieuwe methodologie voor het creëren van naturalistische 3-D objecten en object categorieën met precies gedefinieerde functie variaties. We gebruiken simulaties van de biologische processen van morfogenese en de fylogenese om nieuwe, naturalistische virtuele 3-D objecten en object categorieën die vervolgens kan worden weergegeven als visuele beelden of haptische objecten te maken.

Abstract

Om kwantitatief object perceptie te bestuderen, zij het ​​waarneming door biologische systemen of door machines, moet men objecten en object categorieën te maken met precies definieerbare, bij voorkeur naturalistische, eigenschappen 1. Verder is het voor studies op perceptuele leren, is het nuttig om nieuwe objecten en object categorieën (of object klassen) maakt met zulke eigenschappen 2.

Veel innovatieve en nuttige technieken die momenteel bestaan ​​voor het creëren van nieuwe objecten en object categorieën 3-6 (zie ook refs. 7,8). Echter algemeen de bestaande methoden drie grote categorieën tekortkomingen.

Eerst worden vormvariaties algemeen opgelegd door de experimentator 5,9,10 en kan daarom afwijken van de natuurlijke variabiliteit in categorieën en geoptimaliseerd voor een bepaald algoritme. Het zou wenselijk zijn om de variaties zich buiten de Externally opgelegd beperkingen.

Ten tweede, de bestaande methoden hebben moeite het vastleggen van de vorm complexiteit van natuurlijke objecten 11-13. Als het doel is het bestuderen object natuurlijke waarneming, is het wenselijk dat voorwerpen en objectcategorieën om naturalistic, om te voorkomen mogelijk verwart en speciale gevallen.

Ten derde is meestal moeilijk kwantitatief te meten de beschikbare informatie in de stimuli van conventionele methoden. Het zou wenselijk zijn om objecten en objectcategorieën creëren waarbij de beschikbare informatie nauwkeurig kan worden gemeten en eventueel systematisch gemanipuleerd (of "afgestemd"). Dit maakt het mogelijk om het onderliggende object herkenning taken te formuleren in kwantitatieve termen.

Hier beschrijven we een set van algoritmen, of methoden, die alle drie de bovengenoemde criteria voldoen. Virtual morfogenese (VM) creëert nieuwe, naturalistische virtuele 3-D objecten genaamd 'digitale embryo's' doorsimuleren het biologische proces van embryogenese 14. Virtual fylogenese (VP) creëert nieuwe, naturalistische object categorieën door simulatie van het evolutionaire proces van natuurlijke selectie 9,12,13. Objecten en object categorieën die door deze simulaties kan verder worden gemanipuleerd door verschillende morphing methoden om systematische variaties van vormkenmerken 15,16 genereren. De VP en morphing methoden kunnen ook worden toegepast in beginsel nieuwe virtuele objecten dan digitale embryo's of virtuele versies van echte objecten 9,13. Virtuele objecten die op deze manier kan worden weergegeven als visuele beelden met behulp van een conventionele grafische toolkit, met de gewenste manipulaties van oppervlakte textuur, verlichting, grootte, standpunt en achtergrond. De virtuele objecten kunnen ook worden 'geprint' als haptische objecten met behulp van een conventionele 3-D Prototyper.

We beschrijven ook een aantal implementaties van deze algoritmes te illus helpentrate het mogelijke nut van de algoritmen. Het is belangrijk om de algoritmen onderscheiden van hun implementaties. De implementaties zijn demonstraties uitsluitend aangeboden als een 'proof of principle' van de onderliggende algoritmen. Het is belangrijk op te merken dat in het algemeen vaak een implementatie van een computer-algoritme beperkingen die het algoritme zelf niet het geval is.

Samen vormen deze methoden vormen een set van krachtige en flexibele tools voor het bestuderen van object herkenning en perceptuele leren door biologische en computationele systemen gelijk. Met geschikte toestellen, kunnen deze methoden ook nuttig in de studie van morfogenese en fylogenese.

Protocol

1. Het creëren van Naturalistic Virtual 3-D objecten met behulp van VM

  1. Om digitale embryo's maken, gebruikt u de Digital Embryo Workshop (DEW, zie tabel 1). Elke run genereert een embryo 14, waarvan de vorm is uniek voor een bepaalde set instellingen (of "genotype") gebruikt voor de run gegeven (figuur 1). De 'cellen van het embryo worden weergegeven als driehoeken 14.
    1. Draaien zoals vaak als nodig om het gewenste aantal embryo genereren.
    2. Als complexere vormen gewenst, het aantal cycli van groei, dat wil zeggen het aantal keren dat de cellen van het embryo zal verdelen. Merk op dat dit ook zal vertragen het programma. Indien het noodzakelijk is om virtuele objecten dan digitale embryo's, commercieel verkrijgbaar 3-D modellen gereedschappen of virtuele objecten verkrijgen van commerciële leveranciers (tabel 1).
  2. Het is over het algemeen aan te raden om op te slaan de virtuele objects in een gebruikte bestandsformaat, zoals OBJ, zodat de voorwerpen gemakkelijk kunnen worden ingevoerd in een commerciële 3-D modellen toolkit. Te dien einde, de DEW schrijft objecten in OBJ-structuur.
  3. Visuele stimuli kunnen worden gegenereerd met behulp van een of meer digitale embryo met een 3-D modellering en rendering milieu (tabel 1). Gebruik standaard grafische bewerkingen, zoals het variëren van de oriëntatie, grootte, verlichting, oppervlaktestructuur en de achtergrond van de gewenste prikkels te creëren (zie figuur 2).

2. Het creëren van Naturalistic Object Categorieën behulp van VP

  1. Om object categorieën genereren, het genereren van nakomelingen (of 'kinderen') van de gegeven voorouder (of 'ouder') object met behulp van een gewenste combinatie van de processen in stap 1.1 hierboven (Figuur 3) 9,10,12,13.
    1. Sommige methoden die hieronder worden beschreven voor het maken van vloeiende vorm variaties, zoals morphing of hoofdcomponenten (zie stap 3 en 4 hieronder), werk better als alle ingangsobjecten hetzelfde aantal cellen als er een-op-een correspondentie tussen de hoekpunten van de objecten. Voor het maken van voorwerpen, die alleen VM processen die niet verandert het aantal cellen en de een-op-een relatie tussen de hoekpunten van voorwerpen te behouden (zie bijvoorbeeld generaties G G 2 tot 3 in figuur 3). Bijvoorbeeld celdeling en geprogrammeerde celdood verandert het aantal cellen en het veel moeilijker (maar niet onmogelijk 17,18) een-op-een correspondentie tussen de hoekpunten van een gegeven paar objecten te bepalen.
      Merk op dat de processen die het aantal cellen veranderen in een bepaald object ook de vorm complexiteit wijzigen. In het algemeen, hoe groter het aantal cellen, hoe groter de complexiteit van de vorm object en gladder het oppervlak.
    2. Eventueel virtuele objecten dan digitale embryo's kunnen worden gebruikt als input voor VP (figuur 4).
  2. De objecten binnen een categorie kan verder te worden gekozen dat een bepaalde verdeling van functies 19 bereiken. Zo kan men selectief elimineren middelgrote voorwerpen van een bepaalde categorie om een ​​bimodale verdeling van objectgrootte genereren.
  3. Er is geen enkele methode die universeel optimaal is voor het meten van de beschikbare vorm informatie voor alle categorieën, noch is er een methode die optimaal is voor het categoriseren van alle objecten 20-22. Zo moet de experimentor kiezen deze methoden op basis van de categorieën en computationele doelen bij de hand 20-22. Stap 4 beschrijft een algemeen gebruikte werkwijze voor het manipuleren van verschillende aspecten van de beschikbare vorminformatie.
  4. De gelijkenis tussen een gegeven paar categorieën objectief kan worden gemeten met behulp van beschikbare fylogenetische methoden 23,24. Bijvoorbeeld de verticale (of "evolutionaire) afstand tussen een gegeven paar categorieën, zoals gemeten door hiërarchische clustering methoden in de R statistische toolkit, is een objectieve maat van de categorie gelijkenis 25,26.

3. Extra methoden voor het maken Vorm Variatie: Digitale Morphing

  1. Aangezien elk paar voorwerpen zodat elk hoekpunt van een object komt overeen met een hoekpunt van het andere object (. Ie voorwerpen met een-op-een correspondentie tussen vertices), morphing is eenvoudig 17,18,27-29: In dit geval worden glad variaties (of "morphs") tussen de twee objecten van soepel interpoleren tussen de overeenkomstige hoekpunten en normale (Figuur 5). Afhankelijk van het paar gekozen objecten, zal morphing leiden tot nieuwe categorieën of meer kinderen binnen een categorie.
    1. De objecten in figuur 5 werden gemaakt met lineaire morphing 27-29. De objecten kunnen worden omgevormd (of kromgetrokken) door een breed scala van andere beschikbare technieken vervorming 17,18.
    2. Om een ​​gewenste verdeling van morphed vormen te maken, dus kies de interpolatie punten.

    4. Extra methoden voor het maken Vorm Variatie: Principale Componenten

    1. Om hoofdbestanddelen gebruiken vormvariaties genereren moet men eerst bepalen de hoofdcomponenten 15. Belangrijkste componenten zijn specifiek voor de gegeven reeks voorwerpen voor het bepalen ze 26. Voor goede resultaten, ten minste 30 objecten met een-op-een correspondentie tussen hoekpunten 26.
    2. Genereer een gemiddelde object een gewenste set n ingangsobjecten, door afzonderlijke middelen van de coördinaten en de normaal van elk hoekpunt voor alle objecten. Dus de x coördinaat van een bepaald hoekpunt van k moet het gemiddelde van de x-coördinaten van vertex k van n voorwerpen, enzovoort.
    3. Gebruik de Matlab functie princompnaar belangrijkste componenten van de n objecten te bepalen. Dit zal n-1 niet nul eigenvectoren, tezamen met de bijbehorende n-1 eigenwaarden 26.
    4. Als u een nieuw object te genereren Een j van een gegeven belangrijkste component P i, vermenigvuldigen P i door de bijbehorende eigenwaarde λ i en een gewenste gewicht w j en toevoegen aan het gemiddelde object:
      A j = j + w λ i P i
    5. Elke unieke w j zal een uniek object. Door glad verlopende w, kan een te maken gladde vorm variaties langs een bepaalde hoofdcomponenten.
    6. Om vormvariaties langs een onafhankelijke vorm dimensie te creëren, herhaal dan stap 4,4 met behulp van een andere hoofdcomponenten.
    7. Om een gewenste verdeling van vormen langs een bepaalde belangrijkste component, gebruikt u de gewenste verdeling van de w. </ Li>
    8. Een multi-dimensionaal rooster vormen maken een set van gewichten voor elke verschillende hoofdbestanddelen:
      Vergelijking 2

    5. Het creëren van Haptic versies van 3-D objecten

    1. 'Print-out' 3-D objecten met behulp van een 3-D Prototyper (of 3-D 'printer'). Pas indien nodig het object de grootte en glad van het object oppervlak voordat u gaat afdrukken.

    6. Een voorbeeld Toepassing: Bayesiaans leren van Image Categorie

    1. Een belangrijke taak in de visuele verwerking wordt het afleiden van de categorie waartoe een gegeven waargenomen object behoort. Hoewel het exacte mechanisme van deze gevolgtrekking niet bekend is, is er zowel computational en fysiologische gegevens 9,12,13,30-32 dat het gaat met de informatie over bekende kenmerken van het object in de gegeven beeld aan de categorie van het object afgeleid. Hier zullen we ILLUSTRAte hoe dit inferentiële proces kan werken in een Bayesiaans kader, en hoe digitale embryo's kunnen nuttig zijn voor onderzoek zijn op dit gebied.
    2. Voor de eenvoud gaan we ervan uit dat de indeling taak binair is en het gaat om onderscheidende categorie K van categorie L (Figuur 3). Laat C het categorievariabele. We zullen concluderen dat C = K of C = L naargelang de waargenomen beeld dat ik behoort tot categorie K of L. Een typische aanpak van de categorisering betreft:
      1. Berekenen de kans dat de categorie K gegeven in de afbeelding, aangeduid p (C = K | I);
      2. Berekenen de kans dat de categorie L verstrekte gegevens in het beeld aangeduid p (C = L | I) en
      3. Het kiezen van de categorie met de hoogste waarschijnlijkheid.
    3. Vervolgens gaan we ervan uit voor eenvouddat er precies een binaire functie F. Deze functie kan ofwel aanwezig in het beeld (aangeduid F = 1) of afwezig het beeld (aangeduid F = 0). Dit voorbeeld zal de "informatieve fragment 'feature getoond in figuur 8. Informatieve fragmenten werden eerst beschreven door Ullman en collega's 33. In dit geval zullen we de afbeelding template getoond in figuur 8 als functie en een drempelwaarde van 0,69. Om te bepalen of deze functie aanwezig is in een bepaald beeld (zeg, de meest rechtse afbeelding in rij G3 in figuur 3), zullen we gebruik maken van de volgende stappen uit:
      1. Schuif deze template over alle mogelijke locaties in het beeld en berekenen, op elke plaats van de absolute waarde van genormaliseerde kruiscorrelatie tussen de mal en de onderliggende subafbeelding.
      2. Selecteer de afbeelding locatie met de hoogste waarde (0,60 in het onderhavige geval).
      3. Als deze waarde boven de drempel sluitendat de functie aanwezig is, anders concluderen dat het afwezig is. In ons geval, aangezien de hoogste correlatie 0,60 onder de drempel van 0,69, concluderen we dat de functie is afwezig in dit beeld.
      4. De grondgedachte van gebruik van dergelijke kenmerken, en de mechanismen van het selecteren functies en het bepalen van de drempels buiten het bereik van dit rapport, maar worden in detail beschreven in refs. 33, 30.
    4. In het kader van feature-based inference nemen we aan dat alle informatie de toeschouwer van het beeld in de waarde van deze functie, i. e, dat p (C | I). = p (C | F).
      Daarom wordt de taak die om de waarde van F in de gegeven afbeelding (of afwezig), computing p (C = K | F) en p (C = L | F) F die waarde en de categorie te selecteren met de hogere probabiliteit.
    5. In de Bayesiaanse kader,

    Vergelijking 3
    Daarom

    vergelijking 4

    en

    Vergelijking 5
    Merk op dat de noemer van de twee vergelijkingen gelijk is. Derhalve vergelijken p (C = K | F) en p (C = L | F), is het niet nodig het berekenen van de noemer, maar veeleer voldoende is om de hoeveelheden te berekenen

    p (C = K | F) α p (C = K) p (F | C = K)

    en

    p (C = L | F) α p (C = L) p (F | = C L)
    These worden ook wel 'unnormalized waarschijnlijkheden'. De uitdrukking p (C) wordt genoemd "voorafgaande" en de term p (F | C) wordt 'waarschijnlijkheid'.

    1. Voor de eenvoud gaan we ervan uit een 'plat' voor: p (C = K) = p (C = L) = 0,5.
    2. De taak is nu te berekenen p (F | C), de waarschijnlijkheid dat een bepaalde functie waarde in een beeld van een bepaalde categorie C.
      1. We zullen gebruik maken van de zes beelden van categorie L (figuur 3) als een voorbeeld voor p te berekenen (F = 1 | C = L), de kans dat de functie aanwezig is in een beeld van de categorie L.
      2. Om p te berekenen (F = 1 | C = L), eerst alle training beelden die behoren tot L. Ook deze getoond in figuur 3.
      3. Voor elk beeld, bepalen of de functie is 1 (aanwezig) Of 0 (afwezig), zoals beschreven in (6.3.1) - (6.3.3). In ons geval voor de zes afbeeldingen in Figuur 3, zijn de waarden: [0, 0, 1, 0, 1, 0].
      4. Bereken de fractie van beelden waarin de functie is 1. In ons geval is 2/6 = 0,33.
      5. Daarom p (F = 1 | C = L) = 0,33. Merk op dat een nauwkeurige schatting te verkrijgen, moet men gebruik ten minste 30 beelden per klasse.
      6. Op soortgelijke wijze kunnen we berekenen dat p (F = 0 | C = L) = 0,67, p (F = 1 | C = K) = 0,83, p (F = 0 | C = K) = 0,17.
    3. Gezien deze waarden, kan gevolgtrekking worden uitgevoerd. Stel dat we een nieuw beeld (Figuur 9) gegeven, en de taak om vast te stellen zijn categorie label. Dit wordt als volgt uitgevoerd:
      1. We bepalen of de functie F aanwezig is in het beeld, zoals beschreven in (6.3.1) - (6.3.3). In ons geval de featuur aanwezig is, dus F = 1.
      2. Met de vergelijkingen (1) en (2), en de waarden berekend in (6.7.5) - (6.7.6), kunnen we berekenen dat p (C = K | F = 1) = 0,42 en p (C = L | F = 1) = 0,17.
      3. Gezien deze informatie, is het logisch om te concluderen dat het beeld is van categorie K, met een relatief lage vertrouwen.
    4. Het kan interessant en nuttig om een ​​dergelijke aanpak in een biologisch systeem (zeg, psychofysisch) te testen. In dit geval kan gedrag voorspellingen worden gemaakt en vergeleken met de computationele resultaten zoals die verkregen in (6.8.2). Om nauwkeurige voorspellingen te maken, een goede schatting van p (F | C) nodig. Dergelijke schattingen kunnen echter moeilijk te verkrijgen voor bekende voorwerpen. De reden is dat een subject schatting van p (F | C) niet direct waarneembaar en is het uiterst moeilijk te berekenen vanaf het onderwerpEerdere blootstelling 's aan natuurlijke beelden is oncontroleerbaar en onbekend. Als daarentegen digitale embryo's worden gebruikt voor de experimenten, dan is het mogelijk om nauwkeurig en waaruit embryo's embryo categorieën het onderwerp blootgesteld. Dit maakt het gemakkelijk om de hoeveelheid rente te berekenen van exact dezelfde gegevens het voorwerp werd blootgesteld. Het feit dat de embryo's het uiterlijk van naturalistisch is is nuttig, want het maakt het waarschijnlijk dat het onderwerp wordt dezelfde indeling strategie gebruikt als met natuurlijke categorieën.

Representative Results

VM kan worden gebruikt om een ​​vrijwel onbeperkte hoeveelheid nieuwe 3D-vormen te genereren. Sommige voorbeeld digitale embryo gegenereerd met de VM algoritme getoond in het onderste paneel van figuur 1. Elk van deze 16 embryo's werden gegenereerd met de 'growEmbryos.exe' programma in de Digital embryo instrumenten Cygwin (zie tabel 1) voor 40 groei cycli. Alle andere groei parameters werden intern ingesteld door het programma. De meeste van deze parameters waren constant (dat wil zeggen identiek uit een embryo naar het volgende). Een paar parameters zoals de locatie en de kracht van morfogen bronnen, waren willekeurig parameters intern ingesteld door het programma onafhankelijk voor elke run. De vorm verschillen tussen deze 16 embryo ontstaan ​​uitsluitend als gevolg van de variaties in deze willekeurige parameters.

Enkele voorbeelden van oppervlaktetexturen 34,35 met een willekeurig gekozen texturen worden getoond in Figuur 2A. Visuele scènes van eenrbitrary complexiteit kan worden gemaakt met een commercieel beschikbare 3-D modellering en rendering milieu, zoals getoond in figuur 2B.

Een representatieve 'stamboom' gegenereerd door middel van digitale VP embryo wordt getoond in Figuur 3. Vergelijkbare bomen kunnen ook worden geconstrueerd met andere voorwerpen dan digitale embryo, zoals weergegeven in figuur 4. Merk op dat in beide gevallen ronduit objecten die een gemeenschappelijke voorouder delen vormen een categorie, hoewel de experimentator kan ook kiezen voor een categorie definiëren welke andere reeks voorwerpen. Opgemerkt uit figuur 4 dat de huidige uitvoering van de VM en VP algoritmen geeft meestal relatief gladde, gekromde oppervlakken, in tegenstelling tot gekarteld of vlakke voorwerpen. Het is ook vermeldenswaard dat dit vermoedelijk is de beperking van onze implementatie van deze algoritmen en niet de algoritmes zelf kan produceren omdat biolological processen objectiefts met platte oppervlakken en rafelige lijnen (bijvoorbeeld., roos blad).

Figuren 5 en 6 tonen de typische resultaten van twee methoden die kunnen worden gebruikt in aanvulling op of in plaats van, VP voor het maken principiële variaties in vorm en object object categorieën.

Het bovenste deel van Figuur 7 visuele weergaven van twee digitale embryo en de onderkant van Figuur 7 illustreert de overeenkomstige afdrukken die door een commercieel verkrijgbare 3-D Prototyper.

Figuren 8 en 9 illustreren de procedures beschreven in hoofdstuk 6 voor het gebruik van beeldfragmenten op een gegeven visueel object te categoriseren.

Figuur 1
Figuur 1. Virtual morfogenese. "14. Digital embryo's kunnen worden gegenereerd door een of meer simuleren van een aantal belangrijke biologische processen embryogenese: morfogeen-gemedieerde celdeling, celgroei, beweging en geprogrammeerde celdood 7,8,36,37. Elke run begint met een icosaëder (in het bovenste paneel), en genereert een unieke embryo, afhankelijk van de parameterinstellingen VM (of "genotype") bij deze embryo. Dus de 16 embryo's in het onderste paneel verschillende vormen hebben omdat ze allemaal verschillende genotypen. Merk op dat eenvoudiger en meer complexe vormen worden gegenereerd maken (bijvoorbeeld, optimaal neuronen te stimuleren op een bepaald niveau van de visuele hiërarchie) door manipulatie van de genotype van het embryo. Alle voornoemde embryogenetic processen behalve geprogrammeerde celdood werden gesimuleerd in het genereren van de embryo's zijn. Gesimuleerde geprogrammeerde celdood is vooralnuttig voor het maken gerichte inkepingen (niet getoond).

Figuur 2
Figuur 2. Het creëren van visuele stimuli met behulp van digitale embryo's. Zoals elke virtuele 3-D object, digitale embryo's kunnen grafisch worden gemanipuleerd om visuele scènes van willekeurige complexiteit met behulp van een standaard 3-D grafische toolkit te creëren. Deze figuur illustreert een aantal algemene manipulaties. (A) Dezelfde digitale embryo is gestructureerd met behulp van vele verschillende texturen, en verlicht door een onzichtbare lichtbron links bovenaan. (B) Een gecamoufleerde scène wordt gemaakt door de grootte en de heroriëntatie van de digitale embryo en digitaal te plaatsen tegen dezelfde achtergrond was het geweven met. De digitale embryo is te vinden in 'het zicht' in het kwadrant rechtsonder. Voor meer voorbeelden van visuele stimuli creërenated het gebruik van digitale embryo's, zie refs. 9,10,12-14,38.

Figuur 3
Figuur 3. Het creëren van digitale embryo categorieën met behulp van VP. De VP-algoritme emuleert de biologische evolutie, dat in beide gevallen, nieuwe objecten en object categorieën naar voren als erfelijke variaties accumuleren selectief. Bij elke generatie G i, geselecteerd embryo's zich voortplanten, wat leidt tot generatie G i +1. Het nageslacht nemen de vormkenmerken van de ouders, maar bouwt vormvariaties eigen (zoals bepaald door kleine variaties in hun genotype) in hun ontwikkeling. Deze figuur toont een 'stamboom' van drie generaties van nakomelingen vanaf een enkele gemeenschappelijke voorouder, een icosaëder. Merk op dat in dit geval de vorm van complexiteit toe aan de icosahedron generatorion G 1, maar niet van G 1 verder. Dit komt omdat toename in aantal cellen (ie. Celdeling) liet de icosahedron op generatie G 1, maar niet van G 1 verder. In het algemeen celdeling meestal vorm complexiteit verhogen, terwijl andere morfogenetische processen zoals celbeweging en celgroei veranderen van vorm zonder de complexiteit van het vorm.

Figuur 4
Figuur 4. VP met behulp van virtuele objecten anders dan digitale embryo's. Dit cijfer helpt illustreren het algemene beginsel dat virtuele objecten anders dan digitale embryo's kunnen worden gebruikt als input voor VP. De VP-algoritme in zijn huidige vorm kan werken op een virtuele 3-D object waarvan het oppervlak bestaat uitsluitend uit driehoeken. Generatie G 1 comprised van (van links naar rechts) een kalebas, diamant, gezichtsmasker, appel, rock, en cactussen. Merk op dat de objecten in generatie G 1 in deze figuur niet een gemeenschappelijke voorouder hebben, omdat VP niet nodig hebt. Objecten in G 2 en G 3 vertegenwoordigen de afstammelingen van de rots in G 1. Geen celdelingen mochten in elke generatie, zodat alle vormvariaties ontstaan ​​uitsluitend uit de beweging en / of groei van het individu 'cellen' van het opgegeven object.

Figuur 5
Figuur 5. Morphing met een vlotte variaties in vorm te maken. Morphing Daarbij neemt twee gegeven objecten (uiterst links en rechts embryo in deze figuur) en bepaling van de tussentijdse objecten (tussenliggende embryo's) door het interpoleren tussen de overeenkomstige hoekpunten van de twee aangewezend objecten. In het weergegeven geval zijn alle hoekpunten geïnterpoleerd met dezelfde scalaire factor, waardoor een lineaire morphing. Het is echter ook mogelijk de objecten morph niet-lineair (niet getoond). Morphing is rekenkundig duidelijk wanneer er een exacte een-op-een correspondentie tussen de hoekpunten van twee voorwerpen, zoals in het getoonde geval. Toch kan, in principe morph tussen twee willekeurige virtuele objecten ongeacht hun hoekpunten exact overeenkomen, hoewel er geen principiële unieke methode daarvoor 17,18.

Figuur 6
Figuur 6. Met behulp van principale componenten om vloeiende variaties in vorm te maken. (A) Gemiddelde embryo. Dit embryo is het rekenkundig gemiddelde van 400 embryo's (200 elk van categorie K en L inFiguur 3). Hoofdcomponenten werden berekend zoals beschreven in stap 4.3. Merk op dat hoofdcomponenten onderling onafhankelijke, abstracte vorm afmetingen van de 400 embryo's vertegenwoordigen (niet getoond) 25,26. 400 embryo's opleveren 399 niet-nul belangrijkste componenten 25,26, die samen goed zijn voor alle variantie, of de vorm informatie beschikbaar gezamenlijk in de embryo's. Volgens afspraak worden de belangrijkste componenten gerangschikt in de dalende volgorde van hun eigenwaarden, of het aandeel van de totale variantie verklaren ze 25,26. In dit geval, de eerste twee belangrijkste componenten van respectievelijk goed voor 73% en 19% van de vorm beschikbare informatie in de 400 embryo's. (B) Embryo's die verschillende gewichten (of beter gezegd, gewogen eigenwaarden) van Principal Component 1 vertegenwoordigen. De gewichten variëren van +2 (uiterst links) tot -2 (uiterst rechts) in gelijke stappen van -0,2. (C) Embryo's die verschillende gewichten van Opdrachtgever Compon vertegenwoordigenent 2. De gewichten ook gevarieerd van +2 (uiterst links) tot -2 (uiterst rechts) in gelijke stappen van -0,2. Merk op dat manipuleren hoofdcomponenten niet uitsluitend elk specifiek lichaamsdeel van de embryo manipuleren (bijv.. De vleugels van het embryo in het getoonde geval). Indien nodig, lichaamsdelen virtuele 3D-objecten kunnen worden gemanipuleerd in elke willekeurige gebruiker gedefinieerde wijze met de meeste in de handel verkrijgbare 3-D modelleeromgevingen (niet getoond).

Figuur 7
Figuur 7. Het creëren van haptische objecten. Virtual 3-D objecten kunnen worden 'geprint' als haptische objecten met behulp van een standaard, in de handel verkrijgbare 3-D 'printer' of Prototyper. Deze figuur toont digitale embryo weergegeven als visuele objecten (bovenste rij) of de overeenkomstige haptische objecten (onderste rij). De haptische objecten shown in deze figuur werden gedrukt op ongeveer 6 cm breed (schaal bar = 1 cm), hoewel de objecten kunnen worden afgedrukt op veel kleinere of grotere formaten.

Figuur 8
Figuur 8. Een template voor een voorbeeld informatieve fragment. In dit voorbeeld is de template heeft een drempel van 0,69 gekoppeld.

Figuur 9
Figuur 9. Een nieuw beeld waarvoor de objectcategorie niet bekend en moet worden bepaald.

Discussion

Nut van VM en VP in Cognitive Science Research

We hebben eerder beschreven het nut van VM en VP in detail L9 ,10,12-14. In het kort, VM, in het bijzonder de digitale embryo methodologie, is nuttig omdat het een principiële en flexibele methode voor het creëren van nieuwe, maar naturalistische 3-D objecten 14. Ook VP biedt een principiële manier van het creëren van naturalistische categorieën 9,10,12,13. Het is vermeldenswaard dat object categorieën gegenereerd door VP beschikken over diverse voorzieningen met object categorieën in de natuur, waaronder het feit dat de categorieën hebben de neiging om hiërarchische zijn in de natuur, en de functie variaties binnen en tussen categorieën ontstaan ​​onafhankelijk van de experimentator en de algoritmes voor het classificeren van ze 39.

Huidige beperkingen en toekomstige richtingen

Drie huidige beperkingen van ons protocol en de aanwijzingen voor de toekomstige werkzaamheden ze suggererenzijn bijzonder opmerkelijk: Ten eerste, zowel VM en VP simuleren biologische processen. Hoewel we dat niet-biologische virtuele objecten kunnen worden gebruikt als substraten voor deze processen de onderliggende processen nog biologisch gemotiveerd. Echter, natuurlijke objecten - biologische en niet-biologische gelijk - ondergaan vormveranderingen als gevolg van niet-biologische krachten. Zo kan rotsen vormverandering door geologische processen zoals erosie of sedimentatie. Nieuwe categorieën van rock kan voortvloeien uit andere dergelijke geologische processen. Het moet betrekkelijk eenvoudig om deze processen te nemen in het repertoire van beschikbare vormverandering algoritmen.

De tweede belangrijke beperking van ons protocol is dat de huidige repertoire van dynamische vormveranderingen vrij beperkt. Het is wenselijk om een ​​grotere reeks van vormveranderingen zoals biologische beweging of beweging als gevolg van uitwendige krachten zoals wind, water of zwaartekracht nemen. We verwachten dat het Will vrij makkelijk kunnen brengen aan de bekende computeranimatie algoritmes dragen aan dergelijke dynamische vorm veranderingen door te voeren.

De derde grote beperking van ons protocol is dat VM momenteel niet bevatten vele andere bekende morfogenetische processen zoals, met name, gastrulatie 36. Het evenmin te nemen enkele bekende beperkingen zoals dat morfogenese in planten volledig wordt gemedieerd door groei, met weinig of geen celbeweging mogelijk, omdat de celwanden 36. Zo ook maakt VP geen andere bekende fylogenetische processen zoals genetische drift 40. Het aanpakken van deze beperkingen zou enorm helpen vergemakkelijken van het gebruik van ons protocol in ontwikkeling, ecologische en evolutionaire simulaties.

Disclosures

Geen belangenconflicten verklaard.

Acknowledgments

Dit werk werd mede ondersteund door de US Army Research Laboratory en het Amerikaanse leger Bureau Onderzoek subsidie ​​W911NF1110105 en NSF subsidie ​​IOS-1147097to Jay Hegde. Ook is steun verleend door een pilot subsidie ​​aan Jay Hegde van de Vision Discovery Institute van de Georgia Health Sciences University. Daniel Kersten werd ondersteund door subsidies ONR N00014-05-1-0124 en NIH R01 EY015261 en deels door WCU (World Class University) programma wordt gefinancierd door het Ministerie van Onderwijs, Wetenschap en Technologie door de National Research Foundation Korea (R31-10008 ). Karin Hauffen werd gesteund door de Undergraduate Research stageprogramma (URAP) van het Amerikaanse leger.

Materials

Name Company Catalog Number Comments
Digital Embryo Workshop (DEW) Mark Brady and Dan Gu This user-friendly, menu-driven tool can be downloaded free of charge as Download 1 from http://www.hegde.us/DigitalEmbryos. Currently available only for Windows.
Digital embryo tools for Cygwin Jay Hegdé and Karin Hauffen This is a loose collection of not-so-user-friendly programs. They are designed to be run from the command-line interface of the Cygwin Linux emulator for Windows. These programs can be downloaded as Download 2 from http://www.hegde.us/DigitalEmbryos. The Cygwin interface itself can be downloaded free of charge from www.cygwin.com.
Autodesk 3ds Max, Montreal, Quebec, Canada Autodesk Media and Entertainment 3DS Max This is a 3-D modeling, animation and rendering toolkit with a flexible plugin architecture and a built-in scripting language. Available for most of the current operating systems.
MATLAB Mathworks Inc., Natick, MA, USA MATLAB This is a numerical computing environment and programming language with many useful add-on features. Available for most of the current operating systems.
R statistical toolkit R Project for Statistical Computing R Can be downloaded free of charge from http://www.r-project.org/. Available for most of the current operating systems.
OpenGL Khronos Group OpenGL This cross-language, cross-platform graphical toolkit can be downloaded free of charge from www.opengl.org.
V-Flash Personal Printer 3D Systems Inc., Rock Hill, SC, USA V-Flash This is a good value for all 3-D printing applications described in this report. The print materials are also vended by 3D Systems, Inc. Less expensive models are available in open source form from RepRap (rapmanusa.com) and MakerGear. More expensive models (> $30 K) are available from Objet Geometries, 3DS Systems, Z-Corp, Dimension Printing etc.
TurboSquid.com TurboSquid Inc., New York, LA (various objects) Various virtual 3-D objects can be downloaded from this site free of charge or for a fee.
Table 1. Table Of Specific Toolkits And Equipment.

DOWNLOAD MATERIALS LIST

References

  1. Palmeri, T. J., Gauthier, I. Visual object understanding. Nat. Rev. Neurosci. 5, 291-303 (2004).
  2. Seger, C. A., Miller, E. K. Category learning in the brain. Annu. Rev. Neurosci. 33, 203-219 (2010).
  3. Perceptual Learning. Fahle, M., Poggio, T. , MIT Press. (2002).
  4. Ashby, F. G., Maddox, W. T. Human category learning. Annu. Rev. Psychol. 56, 149-178 (2005).
  5. Gauthier, I., Tarr, M. J. Becoming a "Greeble" expert: exploring mechanisms for face recognition. Vision Res. 37, 1673-1682 (1997).
  6. Op de Beeck, H. P., Baker, C. I., DiCarlo, J. J., Kanwisher, N. G. Discrimination training alters object representations in human extrastriate cortex. J. Neurosci. 26, 13025-13036 (2006).
  7. Cui, M. L., Copsey, L., Green, A. A., Bangham, J. A., Coen, E. Quantitative control of organ shape by combinatorial gene activity. PLoS Biol. 8, e1000538 (2010).
  8. Green, A. A., Kennaway, J. R., Hanna, A. I., Bangham, J. A., Coen, E. Genetic control of organ shape and tissue polarity. PLoS Biol. 8, e1000537 (2010).
  9. Hegdé, J., Bart, E., Kersten, D. Fragment-based learning of visual object categories. Curr. Biol. 18, 597-601 (2008).
  10. Fragment-based learning of visual categories. Bart, E., Hegdé, J., Kersten, D. Cosyne 2008 Conference, 2008 Feb 28-Mar 2, Salt Lake City, , Cosyne. Salt Lake City. 121-12 (2008).
  11. Ball, P. Nature's patterns : a tapestry in three parts. , Oxford University Press. (2009).
  12. Vuong, Q. C. Visual categorization: when categories fall to pieces. Curr. Biol. 18, 427-429 (2008).
  13. Kromrey, S., Maestri, M., Hauffen, K., Bart, E., Hegde, J. Fragment-based learning of visual object categories in non-human primates. PLoS One. 5, e15444 (2010).
  14. Brady, M. J., Kersten, D. Bootstrapped learning of novel objects. J. Vis. 3, 413-422 (2003).
  15. Blanz, V., Vetter, T. A morphable model for the synthesis of 3D faces. SIGGAPH. 26, 187-194 (1999).
  16. Freedman, D. J., Riesenhuber, M., Poggio, T., Miller, E. K. Categorical representation of visual stimuli in the primate prefrontal cortex. Science. 291, 312-316 (2001).
  17. Lerios, A., Garfinkle, C. D., Levoy, M. Feature-based volume metamorphosis. SIGGRAPH. , 449-456 (1995).
  18. Bronstein, A. M., Bronstein, M. M., Kimmel, R. Numerical geometry of non-rigid shapes. , Springer. (2008).
  19. Lotka, A. J. Natural Selection as a Physical Principle. Proc. Natl. Acad. Sci. U.S.A. 8, 151-154 (1922).
  20. Duda, R. O., Hart, P. E., Stork, D. G. Pattern classification. , 2nd edn, Wiley. (2001).
  21. Bishop, C. M. Pattern recognition and machine learning. , Springer. (2006).
  22. Theodoridis, S., Koutroumbas, K. Pattern recognition. , 3rd edn, Academic Press. (2006).
  23. Sokal, R. R. Biometry : The principles and practice of statistics in biological research. , 4th edn, W.H. Freeman and Co. (2011).
  24. Tuffery, S. Data mining and statistics for decision making. , Wiley. (2011).
  25. Crawley, M. J. Statistical Computing: An Introduction to Data Analysis using S-Plus. , Wiley. (2002).
  26. Venables, W. N., Ripley, B. D. Modern Applied Statistics with S. , Springer. (2003).
  27. Beier, T., Neely, S. Feature-based image metamorphosis. SIGGRAPH. 26, 35-42 (1992).
  28. Kent, J. R., Carlson, W. E., Parent, R. E. Shape transformation for polyhedral objects. SIGGRAPH. 26, 47-54 (1992).
  29. Gomes, J. Warping and morphing of graphical objects. , Morgan Kaufmann Publishers. (1999).
  30. Ullman, S. Object recognition and segmentation by a fragment-based hierarchy. Trends Cogn. Sci. 11, 58-64 (2007).
  31. Kobatake, E., Tanaka, K. Neuronal selectivities to complex object features in the ventral visual pathway of the macaque cerebral cortex. J. Neurophysiol. 71, 856-867 (1994).
  32. Serre, T., Wolf, L., Poggio, T. Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). , IEEE Computer Society Press. (2005).
  33. Ullman, S., Vidal-Naquet, M., Sali, E. Visual features of intermediate complexity and their use in classification. Nat. Neurosci. 5, 682-687 (2002).
  34. Davis, M. J. Computer graphics. , Nova Science Publishers. (2011).
  35. Lengyel, E. Mathematics for 3D game programming and computer graphics, third edition. , 3rd Ed, Cengage Learning. (2011).
  36. Gilbert, S. F. Developmental biology. , 9th edn, Sinauer Associates. (2010).
  37. Gilbert, S. F., Epel, D. Ecological developmental biology : integrating epigenetics, medicine, and evolution. , Sinauer Associates. (2009).
  38. Hegdé, J., Thompson, S. K., Brady, M. J., Kersten, D. Object Recognition in Clutter: Cortical Responses Depend on the Type of Learning. Frontiers in Human Neuroscience. 6, 170 (2012).
  39. Mervis, C. B., Rosch, E. Categorization of natural objects. Annual Review of Psychology. 32, 89-115 (1981).
  40. Futuyma, D. J. Evolution. , 2nd edn, Sinauer Associates. (2009).

Tags

Neuroscience machine learning hersenen classificatie categorie leren cross-modale perceptie 3-D prototyping inferentie
Objecten maken en Object Categorieën voor het bestuderen van perceptie en perceptueel leren
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Hauffen, K., Bart, E., Brady, M.,… More

Hauffen, K., Bart, E., Brady, M., Kersten, D., Hegdé, J. Creating Objects and Object Categories for Studying Perception and Perceptual Learning. J. Vis. Exp. (69), e3358, doi:10.3791/3358 (2012).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter