Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Neuroscience

Erstellen von Objekten und Objekt Kategorien für Studium Wahrnehmung und Perceptual Learning

Published: November 2, 2012 doi: 10.3791/3358

Summary

Wir beschreiben eine neuartige Methodik zur Schaffung naturalistischen 3-D Objekte und Objektgruppen Kategorien mit genau definierten Funktion Variationen. Wir verwenden Simulationen der biologischen Prozesse der Morphogenese und Phylogenese zu neuen, naturalistischen virtuellen 3-D-Objekte und Objekt-Rubriken, die dann als visuelle Bilder oder haptische Objekte gerendert werden können.

Abstract

Um quantitativ zu untersuchen Objektwahrnehmung es die Wahrnehmung von biologischen Systemen oder Maschinen, muss man Objekte und Objektgruppen Kategorien mit genau definierbaren, vorzugsweise naturalistischen, Eigenschaften 1 zu schaffen. Weiterhin für Studien über Lernvorgangs, ist es nützlich, um neue Objekte und Objektteile Positionen (oder Objektklassen) mit solchen Eigenschaften 2 zu erstellen.

Viele innovative und nützliche Methoden existieren derzeit für die Erstellung neuer Objekte und Objektkategorien 3-6 (siehe auch refs. 7,8). Im Allgemeinen jedoch, die bestehenden Methoden haben drei Arten von Mängeln.

Zuerst werden Formvariationen allgemein durch den Experimentator 5,9,10 auferlegt, und kann daher von der Variabilität der natürlichen Kategorien, und eignen sich für eine bestimmte Erkennungs-Algorithmus. Es wäre wünschenswert, wenn die Variationen entstehen unabhängig von der externally auferlegten Zwängen.

Zweitens müssen die bestehenden Methoden Schwierigkeit der Erfassung der Form der Komplexität von natürlichen Objekten 11-13. Wenn das Ziel ist, natürliches Objekt der Wahrnehmung zu untersuchen, ist es wünschenswert, für Objekte und Objektkategorien naturalistisch sein, um so mögliche confounds und Sonderfälle zu vermeiden.

Drittens ist es im Allgemeinen schwierig, zur quantitativen Messung der verfügbaren Informationen in den Stimuli durch herkömmliche Verfahren erzeugt. Es wäre wünschenswert, um Objekten und Objektkategorien schaffen, wo die verfügbaren Informationen genau gemessen werden kann und, soweit erforderlich, systematisch manipuliert (oder "abgestimmten"). Dies erlaubt es, die Aufgabe zugrunde Erkennungsaufgaben quantitativ formulieren.

Hier beschreiben wir eine Reihe von Algorithmen oder Methoden, die alle drei der oben genannten Kriterien erfüllen. Virtuelle Morphogenese (VM) entwickelt neuartige, naturalistische virtuellen 3-D-Objekte als "digitale Embryonen durchSimulation der biologische Prozess der Embryogenese 14. Virtuelle Phylogenese (VP) entwickelt neuartige, naturalistische Objektkategorien durch Simulation den evolutionären Prozess der natürlichen Selektion 9,12,13. Objekte und Objektkategorien durch diese Simulationen erstellt wurden, können weiter durch verschiedene Morphing-Methoden manipuliert werden, um systematische Variationen der Formeigenschaften 15,16 generieren. Die VP und Morphing Methoden können auch angewendet werden, im Prinzip, um neue virtuelle Gegenstände als digitale Embryonen oder virtuellen Versionen von Objekten der realen Welt 9,13. Virtuelle Objekte auf diese Weise erstellt wurden, können als visuelle Bilder mit einem herkömmlichen grafischen Toolkit, mit dem gewünschten Manipulationen Oberflächenstruktur, Beleuchtung, Größe, Sicht-und Hintergrund gerendert werden. Die virtuellen Objekte können auch "gedruckt" werden als haptische Objekte mit einem herkömmlichen 3-D Prototypist.

Wir beschreiben auch einige Implementierungen dieser Rechenalgorithmen zu illus helfentrieren den potentiellen Nutzen der Algorithmen. Es ist wichtig, um die Algorithmen von deren Implementation unterscheiden. Die Implementierungen sind Demonstrationen ausschließlich als "proof of principle" der zugrunde liegenden Algorithmen angeboten. Es ist wichtig zu beachten, daß im allgemeinen eine Umsetzung eines Rechenalgorithmus oft Einschränkungen, dass der Algorithmus selbst nicht.

Zusammen repräsentieren diese Methoden eine Reihe von leistungsfähigen und flexiblen Tools für die Untersuchung Objekterkennung und perzeptuellen Lernen durch biologische und Rechensysteme gleichermaßen. Mit entsprechenden Erweiterungen, können diese Methoden auch als nützlich erweisen bei der Untersuchung der Morphogenese und Phylogenese.

Protocol

Ein. Erstellen Naturalistic Virtuelle 3-D Objekte mit VM

  1. Um den digitalen Embryonen zu erstellen, verwenden Sie den Digital-Embryo Workshop (DEW, siehe Tabelle 1). Jeder Lauf erzeugt einen einzelnen Embryo 14, dessen Form der einzigartig für einen gegebenen Satz von Einstellungen (oder "Genotyp") für den Lauf (1) verwendet ist. Die "Zellen" des Embryos werden als Dreiecke 14 dargestellt.
    1. Führen Sie das Programm so oft wie nötig, um die gewünschte Anzahl von Embryonen zu gewinnen.
    2. Wenn komplexere Formen erwünscht sind, erhöhen die Anzahl der Wachstums-Zyklen, dh die Anzahl von Malen die Zellen des Embryos wird unterteilen. Beachten Sie, dass dies auch verlangsamen das Programm. Wenn es notwendig ist, um virtuelle Objekte als digitale Embryonen zu schaffen, verwenden Sie handelsübliche 3-D-Modellierung Werkzeuge oder erhalten virtuelle Objekte von kommerziellen Anbietern (Tabelle 1).
  2. Es ist generell ratsam, um die virtuelle Objekt zu speicherns in einem üblichen Dateiformat wie OBJ, so dass die Objekte leicht in einem handelsüblichen 3D-Modellierung Toolkit importiert werden. Zu diesem Zweck schreibt die DEW Objekte in OBJ Format standardmäßig.
  3. Visuelle Reize können unter Verwendung einer oder mehrerer digitaler Embryonen mit Hilfe eines 3-D-Modellierung und Rendering-Umgebung (Tabelle 1). Verwenden Sie Standard-grafische Operationen wie Änderung der Ausrichtung, Größe, Beleuchtung, Oberflächenstruktur und Hintergrund, um die gewünschten Impulse zu erzeugen (siehe Abbildung 2).

2. Erstellen Naturalistic Object Kategorien mit VP

  1. Um Objektkategorien zu generieren, erzeugen Nachkommen (oder "Kinder") des jeweiligen Vorfahren (oder "Eltern") Objekt mit einer beliebigen Kombination der Prozesse in Schritt 1.1 oben (Abbildung 3) 9,10,12,13.
    1. Einige nachfolgend beschriebenen Methoden für die Erstellung glatte Form Variationen, wie Morphing oder Hauptkomponenten (siehe Schritte 3 und 4), Arbeit better, wenn alle Eingangs-Objekte über die gleiche Anzahl von Zellen und wenn eins-zu-eins-Entsprechung zu den Ecken der Objekte. Für die Erstellung solcher Objekte, verwenden Sie nur die VM Prozesse, die nicht die Anzahl von Zellen und wird die Eins-zu-eins-Entsprechung der Ecken zwischen den Objekten zu erhalten (siehe zB Generationen G 2 bis G 3 in Abbildung 3). Zum Beispiel ändert die Zellteilung und den programmierten Zelltod der Anzahl von Zellen, und machen es sehr viel schwieriger (wenn auch nicht unmöglich 17,18) um Eins-zu-Eins-Entsprechung zwischen den Scheitelpunkten eines vorgegebenen Paares von Objekten zu bestimmen.
      Beachten Sie, dass die Prozesse, die die Anzahl der Zellen zu verändern in einer gegebenen Objekt auch seine Form verändert Komplexität. Im Allgemeinen, je größer die Anzahl der Zellen, die größere Komplexität der Form des Objekts und seine Oberfläche glatter.
    2. Falls erforderlich, virtuelle Objekte andere als digitale Embryonen können als Eingaben in VP (Abbildung 4) verwendet werden.
  2. Die Objekte innerhalb einer bestimmten Kategorie ist weiterhin so gewählt werden, wie eine gegebene Verteilung der Funktionen 19 zu erreichen. Zum Beispiel kann ein selektiv zu eliminieren mittelgroßen Objekten aus einer gegebenen Kategorie, um eine bimodale Verteilung der Objektgröße erzeugen.
  3. Es gibt keine einzige Methode, die universell optimal für die Messung der verfügbaren Form Informationen für alle Kategorien ist, noch gibt es eine einzige Methode, die optimal für die Kategorisierung aller Objekte 20-22 ist. Somit muss der Experimentator wählen diese Methoden auf die Kategorien und rechnerische Ziele bei der Hand 20-22 basiert. Schritt 4 beschreibt ein üblicherweise verwendetes Verfahren zum Manipulieren verschiedener Aspekte der verfügbaren Forminformation.
  4. Die Ähnlichkeit zwischen einem gegebenen Paar von Kategorien können objektiv gemessen werden unter Verwendung verfügbarer phylogenetischer Methoden 23,24. Zum Beispiel kann die vertikale (oder "evolutionären ') Abstand zwischen einem gegebenen Paar von Kategorien, wie gemessen durch hierarchische clustering Methoden in der R statistischen Toolkit, ist ein objektives Maß der Kategorie Ähnlichkeit 25,26.

3. Weitere Methoden für das Erstellen Form Variation: Digital Morphing

  1. Jedes gegebene Paar von Objekten, so dass jeder Scheitelpunkt des einen Objekts in genau eine Ecke des anderen Objekts (. Dh Objekte mit Eins-zu-Eins-Entsprechung zwischen den Scheitelpunkten) entspricht, ist unkompliziert Morphing 17,18,27-29: Darin Dabei werden glatte Variationen (oder "morphs ') zwischen den zwei Objekten durch reibungslos Interpolieren zwischen den entsprechenden Scheitelpunkten und Normalen (Abbildung 5) hergestellt. Abhängig von dem Paar von Objekten gewählt, Morphing in neue Kategorien oder zusätzliche Kinder innerhalb einer Kategorie führen.
    1. Die Objekte in 5 gezeigt wurden mit linearen Morphing 27-29. Die Objekte können verwandelt (oder verzogen) durch eine Vielzahl von anderen zur Verfügung Umformtechniken 17,18 werden.
    2. Um eine gewünschte Verteilung der morphed Formen zu erstellen, wählen Sie die Stützpunkte entsprechend.

    4. Weitere Methoden für das Erstellen Form Variation: Principal Components

    1. Um Hauptkomponenten verwenden, um Formvarianten erzeugen, muss man zuerst die Hauptkomponenten 15. Hauptkomponenten sind spezifisch für die gegebene Menge von Objekten zur Ermittlung sie 26 verwendet. Für gute Ergebnisse, verwenden Sie mindestens 30 Objekte mit einer Eins-zu-eins-Entsprechung zwischen den Knoten 26.
    2. Generieren Sie eine durchschnittliche Objekt aus einer gewünschten Menge von n Eingangs-Objekte, durch getrenntes Mittelung die Koordinaten und die Normalen jeder Ecke über alle Objekte. Somit wird der x einer gegebenen Knoten k von Koordinatenwerten sollte der Mittelwert der x-Koordinaten der Knoten k aller n Objekte, und so weiter.
    3. Verwenden Sie die Matlab-Funktion princompauf Hauptkomponenten der n Objekte zu bestimmen. Dies erzeugt n-1 nicht null Eigenvektoren, zusammen mit dem entsprechenden n-1 Eigenwerte 26.
    4. Um ein neues Objekt zu erzeugen A j aus einer gegebenen Hauptbestandteil P i, multiplizieren P i durch den Eigenwert λ i und eine gewünschte Gewicht w j und fügen Sie den durchschnittlichen Objekt:
      A j = + w j λ i P i
    5. Jeder einzigartige w j erzeugt ein einzigartiges Objekt. Durch eine sanfte Variation w kann man erstellen glatte Form Variationen entlang eines vorgegebenen Hauptkomponente.
    6. Gestalt Variationen entlang einer unabhängigen Form Dimension zu erstellen, wiederholen Sie Schritt 4,4 mit einem anderen Hauptkomponente.
    7. Um eine gewünschte Verteilung der Formen entlang einer vorgegebenen Hauptbestandteil erstellen, verwenden Sie die gewünschte Verteilung der w. </ Li>
    8. Um ein mehrdimensionales Gitter von Formen zu erstellen, verwenden Sie einen Satz von Gewichten für jeden von mehreren Hauptkomponenten:
      Gleichung 2

    5. Erstellen Haptic Versionen von 3-D Objekte

    1. 'Print-out "3-D-Objekte mit Hilfe eines 3-D Prototypist (oder 3-D" Drucker "). Falls erforderlich, die Größe des Objekts und glätten die Oberfläche des Objekts vor dem Druck.

    6. Ein Exemplar Anwendung: Bayesian Inference of Image Kategorie

    1. Eine wichtige Aufgabe in der visuellen Verarbeitung abzuleiten, zu welcher Kategorie eine bestimmte beobachtete Objekt gehört. Obwohl der genaue Mechanismus dieser Folgerung ist unbekannt, es ist sowohl Rechen-und physiologischen Beweise 9,12,13,30-32 dass es unter Verwendung der Information über bekannte Merkmale des Objekts in dem gegebenen Bild, um die Kategorie des Objektes umfasst ableiten. Hier werden wir ILLUSTRAte, wie diese Schlussfolgerungen Prozess kann in einem Bayes-Rahmen zu arbeiten, und wie digitale Embryonen kann nützlich sein für die Forschung in diesem Bereich.
    2. Der Einfachheit halber gehen wir davon aus, dass die Kategorisierung Aufgabe binär ist und beinhaltet Unterscheidungsmerkmal Kategorie K aus der Kategorie L (Abbildung 3). Sei C die Kategorie Variable sein. Wir folgern, dass C = K oder C = L je nachdem, ob der beobachtete Bild I gehört zur Kategorie K oder L. Ein typischer Ansatz zur Kategorisierung umfasst:
      1. Berechnen der Wahrscheinlichkeit, dass die Kategorie K ist angesichts der Information in das Bild, bezeichnet p (C = K | I);
      2. Berechnen der Wahrscheinlichkeit, dass die Kategorie L aufgrund von Angaben in dem Bild ist, bezeichnet p (C = L | I), und
      3. Die Auswahl der Kategorie mit der höheren Wahrscheinlichkeit.
    3. Als nächstes werden wir der Einfachheit halber annehmen,dass es genau eine binäre Funktion F. Diese Funktion kann entweder in dem Bild vorhanden (bezeichnet F = 1) oder außerhalb des Bildes (bezeichnet F = 0). In diesem Beispiel wird die 'informative Fragment "-Funktion in Abbildung 8 dargestellt. Informative Fragmente wurden zuerst von Ullman und Kollegen 33 beschrieben. Im vorliegenden Fall verwenden wir das Bild Vorlage in Abbildung 8 als Funktion dargestellt, und einen Schwellwert von 0,69. Um festzustellen, ob diese Funktion in einem gegebenen Bild (sagen wir, die am weitesten rechts Bild in der Reihe G3 in Abbildung 3) ist, verwenden wir die folgenden Schritte:
      1. Gleiten diese Vorlage über alle möglichen Stellen in dem Bild, und Berechnen, an jedem Ort, den absoluten Wert der normalisierten Kreuzkorrelation zwischen der Schablone und dem darunterliegenden Teilbild.
      2. Wählen Sie die Lage des Bildes mit dem höchsten Wert (0,60 im vorliegenden Fall).
      3. Liegt dieser Wert über der Schwelle, folgerndass die Funktion vorhanden ist, andernfalls schließen, dass es nicht vorhanden ist. In unserem Fall, da die höchste Korrelation 0,60 unter der Schwelle von 0,69 schließen wir, dass das Merkmal fehlt in diesem Bild ist.
      4. Die Begründung der Verwendung solcher Funktionen, und die Mechanismen der Auswahl von Funktionen und die Bestimmung ihrer Schwellenwerte überschreiten den Rahmen dieses Berichts, sondern werden im Detail in Lit. beschrieben. 33, 30.
    4. Im Rahmen der Feature-basierten Inferenz nehmen wir an, dass alle Informationen, die Beobachter Extrakte aus dem Bild des Wertes dieses Merkmals enthalten ist, i. e, daß p (C | I). = p (C | F).
      Daher wird die Aufgabe, die der Bestimmung des Wertes von F in dem gegebenen Bild (anwesend oder abwesend), Berechnung von P (C = K | F) und p (C = L | F) für diesen Wert F, und Auswählen der Kategorie mit je höher Wahrkeit.
    5. In der Bayes-Rahmen,

    Gleichung 3
    Deshalb

    Gleichung 4

    und

    Gleichung 5
    Beachten Sie, dass der Nenner in den beiden Gleichungen die gleiche ist. (| F C = K) und p daher, p Vergleichen (C = L | F), ist es nicht notwendig, um den Nenner zu berechnen, sondern es genügt, um die Mengen zu berechnen

    p (C = K | F) α p (C = K) p (F | C = K)

    und

    p (C = L | F) α p (C = L) p (C | C = L)
    These werden manchmal auch als "normalisierte Wahrscheinlichkeiten". Der Begriff p (C) wird als "Stand" und der Begriff p (F | C) wird als "Wahrscheinlichkeit '.

    1. Der Einfachheit halber nehmen wir an, eine 'flat' vor: p (C = K) = p (C = L) = 0,5.
    2. Die Aufgabe besteht nun darin, p berechnen (F | C), die Wahrscheinlichkeit einer gegebenen Funktion Wert in einem Bild einer gegebenen Kategorie C.
      1. Wir werden die sechs Bilder der Kategorie L (Abbildung 3) als ein Beispiel verwenden, um p zu berechnen (F = 1 | C = L), ist die Wahrscheinlichkeit, dass die Funktion in einem Bild der Kategorie L ist.
      2. Zu berechnen p (F = 1 | C = L), erste treffen alle Trainingsbildern, die L angehören. Ferner werden diese in 3 gezeigt.
      3. Für jedes Bild, ob die Funktion den Wert 1 (anwesend ist) Oder 0 (fehlend), wie in (6.3.1) beschrieben - (6.3.3). In unserem Fall für die sechs Bilder in 3 gezeigt, sind die Werte: [0, 0, 1, 0, 1, 0].
      4. Berechne die Fraktion von Bildern, in denen das Merkmal Wert 1 ist. In unserem Fall ist es 06.02 = 0,33.
      5. Daher p (F = 1 | C = L) = 0,33. Beachten Sie, dass genaue Schätzungen zu erhalten, sollte man mindestens 30 Bilder pro Klasse.
      6. In ähnlicher Weise kann man berechnen, dass p (F = 0 | C = L) = 0,67, p (F = 1 | C = K) = 0,83, p (F = 0 | C = K) = 0,17.
    3. Angesichts dieser Werte kann Inferenz durchgeführt werden. Angenommen, dass wir ein neues Bild (Abbildung 9) gegeben, und die Aufgabe ist es, die Kategorie-Label zu bestimmen. Dies wird wie folgt durchgeführt:
      1. Wir bestimmen, ob das Merkmal F in dem Bild vorhanden ist, wie in (6.3.1) beschrieben - (6.3.3). In unserem Fall ist die featur vorhanden ist, so F = 1.
      2. Unter Verwendung der Gleichungen (1) und (2), und die Werte berechnet in (6.7.5) - (6.7.6) kann man berechnen, dass p (C = K | F = 1) = 0,42 und p (C = L | F = 1) = 0,17.
      3. Mit diesen Informationen ist es rational zu dem Schluss, dass das Bild aus der Kategorie K ist, mit relativ geringem Selbstvertrauen.
    4. Es könnte sein, interessant und nützlich für einen solchen Ansatz in einem biologischen System (sagen wir, psychophysisch) zu testen. In diesem Fall könnte Verhaltensstörungen Vorhersagen und verglichen werden gegen die rechnerischen Ergebnisse wie die in (6.8.2) erhalten. Um genaue Vorhersagen zu machen, gute Schätzungen von p (F | C) erforderlich sind. Solche Schätzungen können jedoch schwierig sein, für bekannte Objekte zu erhalten. Der Grund ist, dass eines Subjekts Schätzung von p (F | C) wird nicht direkt beobachtbar und es ist äußerst schwierig, da es das Motiv berechnen'S vor der Exposition gegenüber natürlichen Bildern ist unkontrollierbar und unbekannt. Wenn hingegen digitale Embryonen für die Experimente verwendet werden, dann ist es möglich, genau steuern, welche Embryonen und Embryo Kategorien Gegenstand ausgesetzt ist. Dies macht es leicht, die Mengen von Interesse aus genau den gleichen Daten der Gegenstand ausgesetzt war berechnen. Die Tatsache, dass Embryonen "Aussehen naturalistischen ist hilfreich, da es es wahrscheinlich, dass sich das Motiv mit der gleichen Kategorisierung Strategie mit natürlichen Kategorien macht.

Representative Results

VM kann verwendet werden, um eine nahezu unbegrenzte Versorgung mit neuartigen 3-D-Formen erzeugen. Einige Vorbild digitalen Embryonen mit Hilfe des VM-Algorithmus werden in der untersten Teil der Abbildung 1 dargestellt. Jedes dieser 16 Embryonen, die durch Verwendung der 'growEmbryos.exe "-Programm in den digitalen Embryo Werkzeuge für Cygwin (siehe Tabelle 1) für 40 Wachstum generiert wurden Zyklen. Alle anderen Wachstumsparameter wurden intern durch das Programm gesetzt. Die meisten dieser Parameter konstant waren (dh, von einer identischen Embryo zum nächsten). Einige Parameter, wie die Position und Stärke des Morphogens Quellen waren Zufallsparameter intern vom Programm unabhängig für jeden Lauf gesetzt. Die Form Variationen unter diesen 16 Embryonen ergaben sich ausschließlich als Folge der Schwankungen in diesen zufälligen Parameter.

Einige Beispiele von Oberflächentexturierung 34,35 Verwendung einiger willkürlich gewählten Texturen sind in 2A gezeigt. Visuelle Szenen einerrbitrary Komplexität kann unter Verwendung eines kommerziell erhältlichen 3-D Rendering-Modellierung und Umwelt, wie in 2B gezeigt.

Ein Vertreter "Stammbaum" von VP mit digitalen Embryonen erzeugt wird in Abbildung 3 gezeigt. Vergleichbare Bäume können auch unter Verwendung digitaler Objekte außer Embryonen werden, wie in Abbildung 4 dargestellt. Beachten Sie, dass in jedem Fall werden die Objekte, die einen gemeinsamen Vorfahren geradehin eine Kategorie, obwohl der Experimentator kann auch wählen, eine Kategorie wie jede andere Gruppe von Objekten definieren. Es ist erwähnenswert, aus Abbildung 4, dass unsere aktuelle Implementierung der VM und VP-Algorithmen, um relativ glatte, gekrümmte Oberflächen, um gezackte oder flache Objekte im Gegensatz zu produzieren tendiert. Es ist auch erwähnenswert, dass dies vermutlich ist die Begrenzung unserer Implementierung dieser Algorithmen und nicht die Algorithmen selbst kann, da biolological Prozesse produzieren Zielts mit flachen Oberflächen und zerklüftete Konturen (zB., Rosenblatt).

Die 5 und 6 veranschaulichen die Ergebnisse von zwei typischen Verfahren, die neben verwendet werden kann, oder anstelle der VP zum Erstellen prinzipiellen Abweichungen in Form und Objekt Objektkategorien.

Der obere Teil der Abbildung 7 zeigt visuelle Darstellungen von zwei digitalen Embryonen und der untere Teil der Abbildung 7 zeigt die entsprechende Ausdrucke von einer handelsüblichen 3-D Prototypist erzeugt.

Die 8 und 9 veranschaulichen die in Abschnitt 6 zur Verwendung Bildfragmente um eine gegebene visuelle Objekt kategorisieren beschrieben.

Abbildung 1
Abbildung 1. Virtuelle Morphogenese. 14. Morphogen-vermittelte Zellteilung, Zellwachstum, Bewegung und den programmierten Zelltod 7,8,36,37: Digital Embryonen können durch die Simulation eines oder mehrere der einige der wichtigsten Prozesse der biologischen Embryogenese erzeugt werden. Jeder Lauf beginnt mit einem Ikosaeder (gezeigt in der oberen Platte), und erzeugt einen eindeutigen Embryo, in Abhängigkeit von den VM Parametereinstellungen (oder der "Genotyp") dieser Embryos. So haben die 16 Embryonen in der Bodenplatte verschiedenen Formen, weil sie alle haben verschiedene Genotypen. Beachten Sie, dass einfachere oder komplexere Formen können nach Bedarf erzeugt werden (zB um optimal zu stimulieren Neuronen auf einem gegebenen Niveau des visuellen Hierarchie) durch Manipulieren des Genotyps des Embryos. Alle vorgenannten embryogenetische Prozesse außer programmierten Zelltod waren Erzeugen die Embryonen gezeigt simuliert. Simulierte programmierten Zelltod ist insbesonderenützlich zum Erstellen gezielte Vertiefungen (nicht dargestellt).

Abbildung 2
Abbildung 2. Erstellen visueller Reize mit digitalen Embryonen. Wie jede virtuelle 3-D-Objekt, digital Embryonen können grafisch manipuliert werden, um visuelle Szenen von beliebiger Komplexität mit allen gängigen 3-D grafisches Toolkit erstellen. Diese Abbildung zeigt einige gemeinsame Manipulationen. (A) Die gleichen digitalen Embryo ist strukturiert mit vielen verschiedenen Texturen und beleuchtet von einer unsichtbaren Lichtquelle oben links. (B) A getarnt Szene durch Größenanpassung und Neuausrichtung der digitalen Embryo und erstellt digital indem sie gegen den gleichen Hintergrund war es gemasert mit. Der digitale Embryo kann in 'plain view' in der rechten unteren Quadranten gefunden werden. Weitere Beispiele von visuellen Reizen creBedienung des Gerätes über digitale Embryonen, siehe Lit.. 9,10,12-14,38.

Abbildung 3
Abbildung 3. Erstellung von digitalen Embryo Kategorien mit VP. Die VP Algorithmus simuliert biologische Evolution, dass in beiden Fällen neue Objekte und Objektgruppen Kategorien vererbbare hervorgehen Varianten reichern sich selektiv. In jeder Generation G i, zeugen ausgewählten Embryonen, was zu Generation G i +1. Die Nachkommen erben die Form Merkmale ihrer Eltern, aber zufließen Formvarianten der eigenen (wie durch kleine Variationen in ihren Genotyp bestimmt) wie sie sich entwickeln. Diese Abbildung zeigt einen "Stammbaum" der drei Generationen von Nachkommen ausgehend von einem einzigen gemeinsamen Vorfahren, ein Ikosaeder. Man beachte, dass in diesem Fall die Form Komplexität steigt von der Ikosaeder zu generierendenIonen-G 1, aber nicht von G 1 weiter. Dies liegt daran Anstieg der Zellzahlen (dh., Zellteilung) von der Ikosaeder zu Generation G 1 erlaubt wurde, aber nicht von G 1 weiter. Im Allgemeinen neigt die Zellteilung Gestalt Komplexität zu erhöhen, während andere Prozesse, wie morphogenetischen Zellbewegung und Zellwachstum Form verändern, ohne die Gesamtkomplexität des Form.

Abbildung 4
Abbildung 4. VP Verwendung virtueller Objekte außer digitalen Embryonen. Diese Figur hilft veranschaulichen die allgemeine Prinzip, dass virtuelle Objekte andere als digitale Embryonen als Eingabe für VP verwendet werden. Der VP-Algorithmus in seiner jetzigen Form kann auf jedem virtuellen 3-D-Objekt, dessen Oberfläche besteht ausschließlich aus Dreiecken zu betreiben. Generation G 1 comprised (von links nach rechts) ein Kürbis, Diamant, Gesichtsmaske, Apfel, Rock und Kakteen. Beachten Sie, dass die Objekte in der Generation G 1 in dieser Figur nicht einen gemeinsamen Vorfahren, weil VP nicht erfordert. Objekte in G 2 und G 3 stellen die Nachfahren der Fels in G 1. Keine Zellteilungen wurden in irgendeiner Generation erlaubt, so dass alle Formabweichungen ausschließlich von der Bewegung und / oder das Wachstum der einzelnen "Zellen" des gegebenen Objekts entstand.

Abbildung 5
Abbildung 5. Verwendung Morphing auf glatten Variationen in Form zu erstellen. Morphing beinhaltet unter zwei vorgegebenen Objekten (ganz links und ganz rechts in dieser Figur Embryo) und die Berechnung der Zwischen-Objekte (intervenierenden Embryonen) durch Interpolieren zwischen den entsprechenden Ecken der beiden designiertend Objekte. Im gezeigten Fall wurden alle Scheitelpunkte mit dem gleichen interpolierten skalaren Faktor, was zu einem linearen Morphing. Es ist jedoch auch möglich, die Gegenstände nichtlinear morphen (nicht dargestellt). Morphing ist rechnerisch einfach, wenn es eine exakte Eins-zu-Eins-Entsprechung zwischen den Scheitelpunkten von zwei Objekten, wie in dem Fall gezeigt. Jedoch ist es möglich, im Prinzip Morph zwischen zwei bestimmten virtuellen Objekte unabhängig davon, ob ihre Ecken entsprechen genau, obwohl es keine eindeutigen prinzipielle Methode dafür 17,18.

Abbildung 6
Abbildung 6. Mit Hauptkomponenten auf glatten Variationen in Form zu erstellen. (A) Durchschnittliche Embryo. Dieser Embryo ist der arithmetische Mittelwert von 400 Embryonen (200 jeweils aus den Kategorien K und L inAbbildung 3). Hauptkomponenten berechnet wurden, wie in Schritt 4.3 beschrieben. Beachten Sie, dass die Hauptkomponenten voneinander unabhängige, abstrakte Form Abmessungen der 400 Embryonen darstellen (nicht dargestellt) 25,26. 400 Embryonen ergeben 399 Nicht-Null-Hauptkomponenten 25,26, die zusammen für alle die Varianz oder die Form Informationen zur Verfügung kollektiv in den Embryonen. Vereinbarungsgemäß werden die Hauptkomponenten in absteigender Reihenfolge ihrer Eigenwerte, oder der Anteil der gesamten Varianz erklären sie 25,26 angeordnet. In diesem Fall werden die ersten beiden Hauptkomponenten jeweils einen Anteil von 73% und 19% der Forminformation in den 400 Embryonen. (B) Embryonen, die unterschiedliche Gewichte (oder genauer gesagt, gewichtete Eigenwerte) der Principal Component 1 repräsentieren. Die Gewichte von +2 (ganz links) bis -2 (ganz rechts) in gleichen Schritten von -0,2 variiert. (C) Embryonen, die verschiedene Gewichte von Principal Compon stellenent 2. Die Gewichte auch von +2 (ganz links) bis -2 (ganz rechts) in gleichen Schritten von -0,2 variiert. Beachten Sie, dass die Manipulation Hauptkomponenten nicht ausschließlich manipulieren beliebige bestimmten Körperteil des Embryos (zB., Die Flügel des Embryos in dem gezeigten Fall). Jedoch, falls erforderlich, Karosserieteilen von virtuellen 3-D-Objekte können in beliebiger benutzerdefinierte Mode unter Verwendung der meisten der im Handel erhältlichen 3-D Modellierungsumgebungen (nicht dargestellt) manipuliert werden.

Abbildung 7
Abbildung 7. Erstellen haptische Objekte. Virtuelle 3-D-Objekte können "gedruckt" werden als haptische Objekte mit einem Standard, kommerziell erhältlichen 3-D 'Drucker' oder Prototypist. Diese Abbildung zeigt digitale Embryonen als visuelle Objekte (obere Reihe) oder wie die entsprechenden haptischen Objekte (untere Reihe) gerendert. Die haptische Objekte shown in dieser Figur wurden gedruckt werden etwa 6 cm breit (Maßstabsbalken = 1 cm), obwohl die Gegenstände in viel kleinere oder größere Größen gedruckt werden kann.

Abbildung 8
Abbildung 8. Eine Vorlage für ein Beispiel informativen Fragment. In diesem Beispiel hat die Schablone einen Schwellenwert von 0,69 zugeordnet.

Abbildung 9
Abbildung 9. Ein neues Bild für die das Objekt Kategorie nicht bekannt ist und bestimmt werden muss.

Discussion

Nützlichkeit der VM und VP in Cognitive Science Research

Wir haben zuvor die Nützlichkeit VM und VP im Detail l9 ,10,12-14 beschrieben. Kurz gesagt, ist VM, insbesondere die digitale Embryo Methodik, nützlich, weil es eine prinzipielle und flexible Methode für die Erstellung von Roman, aber naturalistischen 3-D Objekte 14 zur Verfügung stellt. Ähnlich stellt VP eine prinzipielle Methode zur Erstellung naturalistischen Kategorien 9,10,12,13. Es ist erwähnenswert, dass das Objekt Kategorien von VP teilen viele Eigenschaften mit Objektkategorien in der Natur, einschließlich der Tatsache, dass die Kategorien zu sein in der Natur hierarchische neigen, und die Funktion Schwankungen innerhalb und zwischen den Kategorien entstehen unabhängig von der Experimentator und die Algorithmen zur Klassifizierung generiert sie 39.

Aktuelle Einschränkungen und Future Directions

Drei aktuelle Grenzen unserer Protokoll und die Richtungen für die zukünftige Arbeit, die sie vorschlagen,Besonders hervorzuheben sind: Erstens, simulieren sowohl VM und VP biologische Prozesse. Während wir zeigen, dass nicht-biologische virtuelle Objekte als Substrate für diese Prozesse verwendet werden können, sind die zugrundeliegenden Prozesse noch biologisch motiviert. Allerdings natürliche Objekte - unterziehen Formveränderungen durch nicht-biologische Kräfte - biologischen und nicht-biologischen gleichermaßen. Zum Beispiel kann Felsen in Form durch geologische Prozesse wie Erosion oder Sedimentation ändern. Neue Kategorien von Rock kann von anderen derartigen geologischen Prozessen entstehen. Es sollte relativ einfach sein, diese Prozesse in das Repertoire der verfügbaren Formänderung Algorithmen integrieren.

Der zweite wichtige Einschränkung unseres Protokolls ist, dass seine aktuellen Repertoire der dynamischen Formänderungen eher begrenzt. Es ist wünschenswert, um eine größere Anordnung von Formveränderungen, wie biologische Bewegung oder Bewegungen durch externe Kräfte wie Wind, Wasser oder Schwerkraft zu integrieren. Wir erwarten, dass es will relativ einfach sein, um die bekannten Computer-Animation-Algorithmen tragen solche dynamische Form Änderungen zu implementieren.

Der dritte wichtige Einschränkung unserer Protokolls ist, dass VM derzeit nicht enthalten viele andere bekannte morphogenetischen Prozesse einschließlich, vor allem, Gastrulation 36. Es wird auch nicht einige bekannte Beschränkungen, wie beispielsweise die Tatsache, dass die Morphogenese in Pflanzen vollständig durch Wachstum vermittelt wird, mit wenig oder keiner Zellbewegung möglich, weil der Zellwände 36 einzuarbeiten. Ebenso übernimmt die VP keine anderen bekannten phylogenetischen Prozesse wie genetische Drift 40. Die Bewältigung dieser Einschränkungen würde sehr helfen, erleichtern die Nutzung unseres Protokolls in Entwicklungs-, ökologischen und evolutionären Simulationen.

Disclosures

Keine Interessenskonflikte erklärt.

Acknowledgments

Diese Arbeit wurde zum Teil von der US Army Research Laboratory und dem US Army Research Office Gewährung W911NF1110105 und NSF IOS-1147097to Jay Hegde unterstützt. Unterstützung wurde auch von einem Piloten Zuschuss zu Jay Hegde von der Vision Discovery Institute der Georgia Health Sciences University zur Verfügung gestellt. Daniel Kersten wurde durch Zuschüsse ONR N00014-05-1-0124 und NIH R01 EY015261 und teilweise durch WCU (World Class University) Programms durch das Ministerium für Bildung, Wissenschaft und Technologie durch die National Research Foundation of Korea finanziert (R31-10008 unterstützt ). Karin Hauffen wurde von der Undergraduate Research Apprenticeship Program (Urap) der US-Armee unterstützt.

Materials

Name Company Catalog Number Comments
Digital Embryo Workshop (DEW) Mark Brady and Dan Gu This user-friendly, menu-driven tool can be downloaded free of charge as Download 1 from http://www.hegde.us/DigitalEmbryos. Currently available only for Windows.
Digital embryo tools for Cygwin Jay Hegdé and Karin Hauffen This is a loose collection of not-so-user-friendly programs. They are designed to be run from the command-line interface of the Cygwin Linux emulator for Windows. These programs can be downloaded as Download 2 from http://www.hegde.us/DigitalEmbryos. The Cygwin interface itself can be downloaded free of charge from www.cygwin.com.
Autodesk 3ds Max, Montreal, Quebec, Canada Autodesk Media and Entertainment 3DS Max This is a 3-D modeling, animation and rendering toolkit with a flexible plugin architecture and a built-in scripting language. Available for most of the current operating systems.
MATLAB Mathworks Inc., Natick, MA, USA MATLAB This is a numerical computing environment and programming language with many useful add-on features. Available for most of the current operating systems.
R statistical toolkit R Project for Statistical Computing R Can be downloaded free of charge from http://www.r-project.org/. Available for most of the current operating systems.
OpenGL Khronos Group OpenGL This cross-language, cross-platform graphical toolkit can be downloaded free of charge from www.opengl.org.
V-Flash Personal Printer 3D Systems Inc., Rock Hill, SC, USA V-Flash This is a good value for all 3-D printing applications described in this report. The print materials are also vended by 3D Systems, Inc. Less expensive models are available in open source form from RepRap (rapmanusa.com) and MakerGear. More expensive models (> $30 K) are available from Objet Geometries, 3DS Systems, Z-Corp, Dimension Printing etc.
TurboSquid.com TurboSquid Inc., New York, LA (various objects) Various virtual 3-D objects can be downloaded from this site free of charge or for a fee.
Table 1. Table Of Specific Toolkits And Equipment.

DOWNLOAD MATERIALS LIST

References

  1. Palmeri, T. J., Gauthier, I. Visual object understanding. Nat. Rev. Neurosci. 5, 291-303 (2004).
  2. Seger, C. A., Miller, E. K. Category learning in the brain. Annu. Rev. Neurosci. 33, 203-219 (2010).
  3. Perceptual Learning. Fahle, M., Poggio, T. , MIT Press. (2002).
  4. Ashby, F. G., Maddox, W. T. Human category learning. Annu. Rev. Psychol. 56, 149-178 (2005).
  5. Gauthier, I., Tarr, M. J. Becoming a "Greeble" expert: exploring mechanisms for face recognition. Vision Res. 37, 1673-1682 (1997).
  6. Op de Beeck, H. P., Baker, C. I., DiCarlo, J. J., Kanwisher, N. G. Discrimination training alters object representations in human extrastriate cortex. J. Neurosci. 26, 13025-13036 (2006).
  7. Cui, M. L., Copsey, L., Green, A. A., Bangham, J. A., Coen, E. Quantitative control of organ shape by combinatorial gene activity. PLoS Biol. 8, e1000538 (2010).
  8. Green, A. A., Kennaway, J. R., Hanna, A. I., Bangham, J. A., Coen, E. Genetic control of organ shape and tissue polarity. PLoS Biol. 8, e1000537 (2010).
  9. Hegdé, J., Bart, E., Kersten, D. Fragment-based learning of visual object categories. Curr. Biol. 18, 597-601 (2008).
  10. Fragment-based learning of visual categories. Bart, E., Hegdé, J., Kersten, D. Cosyne 2008 Conference, 2008 Feb 28-Mar 2, Salt Lake City, , Cosyne. Salt Lake City. 121-12 (2008).
  11. Ball, P. Nature's patterns : a tapestry in three parts. , Oxford University Press. (2009).
  12. Vuong, Q. C. Visual categorization: when categories fall to pieces. Curr. Biol. 18, 427-429 (2008).
  13. Kromrey, S., Maestri, M., Hauffen, K., Bart, E., Hegde, J. Fragment-based learning of visual object categories in non-human primates. PLoS One. 5, e15444 (2010).
  14. Brady, M. J., Kersten, D. Bootstrapped learning of novel objects. J. Vis. 3, 413-422 (2003).
  15. Blanz, V., Vetter, T. A morphable model for the synthesis of 3D faces. SIGGAPH. 26, 187-194 (1999).
  16. Freedman, D. J., Riesenhuber, M., Poggio, T., Miller, E. K. Categorical representation of visual stimuli in the primate prefrontal cortex. Science. 291, 312-316 (2001).
  17. Lerios, A., Garfinkle, C. D., Levoy, M. Feature-based volume metamorphosis. SIGGRAPH. , 449-456 (1995).
  18. Bronstein, A. M., Bronstein, M. M., Kimmel, R. Numerical geometry of non-rigid shapes. , Springer. (2008).
  19. Lotka, A. J. Natural Selection as a Physical Principle. Proc. Natl. Acad. Sci. U.S.A. 8, 151-154 (1922).
  20. Duda, R. O., Hart, P. E., Stork, D. G. Pattern classification. , 2nd edn, Wiley. (2001).
  21. Bishop, C. M. Pattern recognition and machine learning. , Springer. (2006).
  22. Theodoridis, S., Koutroumbas, K. Pattern recognition. , 3rd edn, Academic Press. (2006).
  23. Sokal, R. R. Biometry : The principles and practice of statistics in biological research. , 4th edn, W.H. Freeman and Co. (2011).
  24. Tuffery, S. Data mining and statistics for decision making. , Wiley. (2011).
  25. Crawley, M. J. Statistical Computing: An Introduction to Data Analysis using S-Plus. , Wiley. (2002).
  26. Venables, W. N., Ripley, B. D. Modern Applied Statistics with S. , Springer. (2003).
  27. Beier, T., Neely, S. Feature-based image metamorphosis. SIGGRAPH. 26, 35-42 (1992).
  28. Kent, J. R., Carlson, W. E., Parent, R. E. Shape transformation for polyhedral objects. SIGGRAPH. 26, 47-54 (1992).
  29. Gomes, J. Warping and morphing of graphical objects. , Morgan Kaufmann Publishers. (1999).
  30. Ullman, S. Object recognition and segmentation by a fragment-based hierarchy. Trends Cogn. Sci. 11, 58-64 (2007).
  31. Kobatake, E., Tanaka, K. Neuronal selectivities to complex object features in the ventral visual pathway of the macaque cerebral cortex. J. Neurophysiol. 71, 856-867 (1994).
  32. Serre, T., Wolf, L., Poggio, T. Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). , IEEE Computer Society Press. (2005).
  33. Ullman, S., Vidal-Naquet, M., Sali, E. Visual features of intermediate complexity and their use in classification. Nat. Neurosci. 5, 682-687 (2002).
  34. Davis, M. J. Computer graphics. , Nova Science Publishers. (2011).
  35. Lengyel, E. Mathematics for 3D game programming and computer graphics, third edition. , 3rd Ed, Cengage Learning. (2011).
  36. Gilbert, S. F. Developmental biology. , 9th edn, Sinauer Associates. (2010).
  37. Gilbert, S. F., Epel, D. Ecological developmental biology : integrating epigenetics, medicine, and evolution. , Sinauer Associates. (2009).
  38. Hegdé, J., Thompson, S. K., Brady, M. J., Kersten, D. Object Recognition in Clutter: Cortical Responses Depend on the Type of Learning. Frontiers in Human Neuroscience. 6, 170 (2012).
  39. Mervis, C. B., Rosch, E. Categorization of natural objects. Annual Review of Psychology. 32, 89-115 (1981).
  40. Futuyma, D. J. Evolution. , 2nd edn, Sinauer Associates. (2009).

Tags

Neuroscience Ausgabe 69 maschinelles Lernen Gehirn Klassifizierung Kategorie Lernen cross-modale Wahrnehmung 3-D-Prototyping Inferenz
Erstellen von Objekten und Objekt Kategorien für Studium Wahrnehmung und Perceptual Learning
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Hauffen, K., Bart, E., Brady, M.,More

Hauffen, K., Bart, E., Brady, M., Kersten, D., Hegdé, J. Creating Objects and Object Categories for Studying Perception and Perceptual Learning. J. Vis. Exp. (69), e3358, doi:10.3791/3358 (2012).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter