Name: 创建对象和对象类别学习的认知与知觉学习 (视频) | JoVE Journal
Uploaded: 2012-11-02T15:00:00.000+00:00
Duration: 14 min 38 s
Description: 学习虚拟形态发生与系统发育模拟技术，创建自然主义三维数字胚胎对象及类别。该方法结合贝叶斯推理与主成分分析，为视觉触觉感知、知觉学习及视觉康复训练提供精确可控的研究工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究部分得到了美国陆军研究实验室和美国陆军研究办公室基金项目 W911NF1110105 以及美国国家科学基金会基金项目 IOS-1147097 对 Jay Hegdé 的资助。此外，佐治亚健康科学大学视觉发现研究所向 Jay Hegdé 提供了试点基金支持。Daniel Kersten 获得了美国海军研究办公室基金项目 N00014-05-1-0124 和美国国立卫生研究院基金项目 R01 EY015261 的资助，并部分得到了韩国国家研究基金会通过教育科技部资助的世界一流大学（WCU）项目（R31-10008）的支持。Karin Hauffen 获得了美国陆军本科生科研学徒计划（URAP）的资助。

1. 使用虚拟显微镜（VM）创建自然逼真的三维虚拟物体
<ol>
 <li>要创建数字胚胎，请使用数字胚胎工作坊（DEW；参见 表1）。每次运行产生一个胚胎14，其形状对于该次运行所使用的特定设置（或“基因型”）是唯一的图1）。胚胎的“细胞”以三角形表示14.
 <ol>
 <li>根据需要多次运行程序，以生成所需数量的胚胎。</li>
 <li>若需获得更复杂的形状，可增加生长循环次数， 即 胚胎细胞分裂的次数。请注意，这也会减缓程序运行速度。如果需要创建除数字胚胎以外的虚拟物体，可使用 commercially available 3-D 建模工具，或从商业供应商处获取虚拟物体（表1).</li>
 </ol>
 </li>
 <li>通常建议将虚拟对象保存为常用文件格式（如OBJ格式），以便能够方便地导入商业3D建模工具包中。为此，DEW默认以OBJ格式写入对象。</li>
 <li>可以使用一个或多个数字胚胎，在三维建模与渲染环境中生成视觉刺激表1）。使用标准的图形操作，例如改变方向、大小、光照、表面纹理和背景，以创建所需的刺激（参见 图2).</li>
</ol>
2. 使用 VP 创建自然主义物体类别
<ol>
 <li>为生成物体类别，使用上述步骤1.1中所述的若干过程的特定组合，生成指定祖先（或“父级”）物体的后代（或“子级”）物体。图3)9,10,12,13.
 <ol>
 <li>以下所述的某些创建平滑形状变化的方法（如变形或主成分分析，见下文步骤3和步骤4）在所有输入对象具有相同数量的单元且对象之间的顶点具有一一对应关系时效果更佳。为创建此类对象，应仅使用那些不会改变单元数量且能保持对象间顶点一一对应关系的VM处理方法（参见， 例如，世代 G2 至 G3 在 图3）。例如，细胞分裂和程序性细胞死亡会改变细胞数量，使得准确计数变得困难得多（尽管并非不可能17,18) 以确定给定对象对之间顶点的一一对应关系。 
 请注意，改变特定对象中细胞数量的过程也会改变其形状复杂性。通常情况下，细胞数量越多，对象的形状复杂性越高，表面也越光滑。</li>
 <li>如有需要，可使用数字胚胎以外的虚拟物体作为VP的输入 （图 4）.</li>
 </ol>
 </li>
 <li>给定类别中的对象可进一步选择，以实现特定的特征分布19例如，可以选择性地消除某一类别中中等尺寸的物体，以生成物体尺寸的双峰分布。</li>
 <li>目前尚无一种方法能普遍适用于测量所有类别的可用形状信息，也不存在一种方法能最优地对所有物体进行分类20-22因此，实验人员必须根据当前的研究类别和计算目标选择这些方法20-22第4步描述了一种常用于操控可用形态信息各个方面的常用方法。</li>
 <li>使用现有的系统发育方法可以客观地衡量任意两个类别之间的相似性23,24例如，通过 R 统计工具包中的层次聚类方法所测量的任意两类目之间的垂直（或“进化”）距离，是衡量类目相似性的客观指标25,26.</li>
</ol>
3. 产生形态变异的其他方法：数字变形
<ol>
 <li>给定任意两个对象，使得其中一个对象的每个顶点恰好对应另一个对象的唯一一个顶点即，顶点间具有一一对应关系的物体，其形变过程是直接的17,18,27-29：在此情况下，通过在对应的顶点和法线之间进行平滑插值，生成两个物体之间的平滑变化（或称“形态过渡”）图5）。根据所选的对象对，形态转换将生成新的类别或在现有类别下生成额外的子项。
 <ol>
 <li>所示对象 图5 使用线性形态变换生成27-29物体可通过大量其他可用的变形技术进行形态变换（或扭曲）。17,18.</li>
 </ol>
 </li>
 <li>为了获得理想的形态变化形状分布，应相应地选择插值点。</li>
</ol>
4. 产生形状变异的其他方法：主成分分析
<ol>
 <li>为了使用主成分生成形状变化，首先需要确定主成分15。主成分是针对用于确定它们的特定对象集合而特有的26。为获得良好结果，应使用至少30个具有顶点一一对应关系的对象26。</li>
 <li>通过分别对所有输入对象中每个顶点的坐标和法向量取平均值，从一组期望的 n 个输入对象生成一个平均对象 。因此， 中某一顶点 k 的 x 坐标应为所有 n 个对象中顶点 k 的 x 坐标的平均值，其余坐标依此类推。</li>
 <li>使用 Matlab 函数 princomp 来确定 n 个对象的主成分。该函数将生成 n-1 个非零特征向量以及对应的 n-1 个特征值26。</li>
 <li>为了从给定的主成分 Pi 生成一个新的对象 Aj，将 Pi 乘以对应的特征值 λi 和一个期望的权重 wj，然后加到平均对象上： 
 Aj= +wjλiPi</li>
 <li>每一个唯一的 wj 将生成一个唯一的对象。通过平滑地改变 w，可以在给定的主成分方向上创建平滑的形状变化。</li>
 <li>为了沿一个独立的形状维度创建形状变化，使用不同的主成分重复步骤4.4。</li>
 <li>为了在给定主成分上生成特定分布的形状，使用期望的 w 分布。</li>
 <li>为了创建一个多维形状网格，对多个主成分中的每一个使用一组权重： 
 <img alt="数学公式，光谱拟合方程，瞬态吸收分析应用。" fo:src="/files/ftp_upload/3358/3358eq2highres.jpg" src="/files/ftp_upload/3358/3358eq2.jpg" data-altupdatedat="1788235205000" data-alt="方程 2"></li>
</ol>
5. 创建三维物体的触觉版本
<ol>
 <li>使用 3-D 原型机制作（或 3-D “打印”）三维实体。如有必要，在打印前调整物体尺寸并平滑物体表面。</li>
</ol>
6. 一个示范性应用：图像类别的贝叶斯推断
<ol>
 <li>视觉处理中的一项重要任务是推断所观察到的特定物体所属的类别。尽管这种推断的确切机制尚不明确，但已有计算模型和生理学证据支持 9,12,13,30-32 即利用给定图像中物体已知特征的信息来推断该物体的类别。本文将阐述这一推断过程如何在贝叶斯框架下进行，以及数字胚胎如何有助于该领域的研究。</li>
 <li>为简化起见，我们假设该分类任务为二分类，即涉及区分两个类别 K 来自类别 L (图3）。让 C 为分类变量。我们将推断 C = K 或 C = L 根据所观察到的图像 I 属于类别 K 或 L一种典型的分类方法包括：
 <ol>
 <li>计算该类别概率的方法 K 根据图中所示信息，记为 p(C = K |I)；</li>
 <li>计算在给定图像信息的情况下该类别为 L 的概率，记作 p(C = L | I）；以及</li>
 <li>选择概率更高的类别。</li>
 </ol>
 </li>
 <li>接下来，为简化起见，我们假设恰好存在一个二元特征 F。该特征可能存在于图像中（记为 F = 1）或在图像中缺失（记为 F = 0）。本示例将使用所示的“信息片段”功能 图8. 信息片段最初由 Ullman 及其同事描述33. 在本例中，我们将使用如下所示的图像模板 图8 作为特征，阈值设为0.69。用于判断该特征是否存在于某一给定图像中（例如，G3行最右侧的图像） 图3），我们将采用以下步骤：
 <ol>
 <li>将该模板在图像中所有可能的位置上滑动，并在每个位置计算模板与对应子图像之间归一化互相关系数的绝对值。</li>
 <li>选择数值最高的图像位置（本例中为 0.60）。</li>
 <li>如果该值高于阈值，则判定该特征存在；否则判定该特征不存在。在本例中，由于最高相关性值0.60低于0.69的阈值，因此我们得出结论：该特征在此图像中不存在。</li>
 <li>使用此类特征的原理，以及特征选择和阈值确定的机制不在本报告的讨论范围内，但已在参考文献33和30中进行了详细描述。</li>
 </ol>
 </li>
 <li>在基于特征推断的框架内，我们假设观察者从图像中提取的所有信息都包含于该特征的取值之中。 即，那 p(C | I) = p(C | F). 
 因此，任务就变为确定以下值： F 在给定图像中（存在或不存在），计算 p(C = K | F）和 p(C = L | F该数值的） F，选择概率较高的类别。</li>
 <li>在贝叶斯框架中，</li>
</ol>
<img alt="贝叶斯定理公式；条件概率方程；统计分析方法" fo:src="/files/ftp_upload/3358/3358eq3highres.jpg" src="/files/ftp_upload/3358/3358eq3.jpg" data-altupdatedat="1788235205000" data-alt="Equation 3"> 
因此，
<img alt="贝叶斯定理公式，概率，统计分析概念，研究背景中的方程。" fo:src="/files/ftp_upload/3358/3358eq4highres.jpg" src="/files/ftp_upload/3358/3358eq4.jpg" data-altupdatedat="1788235205000" data-alt="方程 4">
和
<img alt="贝叶斯定理方程，统计概率，条件概率分析示意图" fo:src="/files/ftp_upload/3358/3358eq5highres.jpg" src="/files/ftp_upload/3358/3358eq5.jpg" data-altupdatedat="1788235205000" data-alt="方程 5"> 
请注意，这两个方程中的分母是相同的。因此，在比较 p(C = K | F) 与 p(C = L | F) 时，无需计算分母；只需计算以下两个量即可
p(C=K|F) ∝ p(C=K)p(F|C=K)
和
p(C=L|F) ∝ p(C=L)p(F|C=L) 
这些有时被称为“未归一化的概率”。其中，p(C) 被称为“先验概率”，而 p(F | C) 被称为“似然”。
<ol start="6">
 <li>为简化起见，我们假设采用一个“平坦”的先验概率：p(C = K) = p(C = L) = 0.5。</li>
 <li>现在需要计算 p(F|C)，即在给定类别 C 的图像中出现某一特征值的概率。
 <ol>
 <li>以类别 L 的六幅图像（图3）为例，计算 p(F = 1|C = L)，即在类别 L 的图像中该特征存在的概率。</li>
 <li>为计算 p(F = 1|C = L)，首先选取所有属于类别 L 的训练图像。这些图像再次如 图3 所示。</li>
 <li>对每幅图像，根据步骤 (6.3.1)-(6.3.3) 的描述，判断其特征值为 1（存在）还是 0（不存在）。在本例中，图3 中六幅图像的特征值为：[0, 0, 1, 0, 1, 0]。</li>
 <li>计算特征值为 1 的图像所占比例。在本例中，该比例为 2/6 = 0.33。</li>
 <li>因此，p(F = 1|C = L) = 0.33。需要注意的是，为获得准确的估计值，每个类别应至少使用 30 幅图像。</li>
 <li>类似地，可计算得：p(F = 0|C = L) = 0.67，p(F = 1|C = K) = 0.83，p(F = 0|C = K) = 0.17。</li>
 </ol>
 </li>
 <li>基于上述数值，可进行推断。假设我们获得一幅新图像（图9），任务是确定其类别标签。具体步骤如下：
 <ol>
 <li>根据步骤 (6.3.1)-(6.3.3) 的描述，判断该图像中特征 F 是否存在。在本例中，特征存在，因此 F = 1。</li>
 <li>利用公式 (1) 和 (2)，以及步骤 (6.7.5)-(6.7.6) 中计算出的数值，可得：p(C = K | F = 1) = 0.42，p(C = L | F = 1) = 0.17。</li>
 <li>根据该结果，可以合理推断该图像属于类别 K，但置信度相对较低。</li>
 </ol>
 </li>
 <li>在生物系统中（例如通过心理物理学实验）测试此类方法可能具有重要意义和实用价值。在这种情况下，可以做出行为预测，并将其与计算结果（如步骤 (6.8.2) 所得结果）进行比较。为做出准确预测，必须获得对 p(F |C) 的良好估计。然而，对于常见物体而言，这类估计可能难以获得，原因是受试者对 p(F |C) 的估计无法直接观测，且由于受试者先前接触自然图像的经历无法控制且未知，因此极难准确计算。相比之下，若实验中使用数字胚胎，则可以精确控制受试者所接触的胚胎及其类别，从而能够基于受试者实际接触的数据准确计算出感兴趣的参数。此外，由于胚胎的外观具有自然逼真性，这有助于确保受试者采用的分类策略与处理自然类别时的策略一致。</li>
</ol>

<ol><li>Palmeri, T. J., Gauthier, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visual+object+understanding%5BTitle%5D)+AND+%22Nat.+Rev.+Neurosci%22%5BJournal%5D)">Visual object understanding.</a> Nat. Rev. Neurosci. 5, 291-303 (2004).</li>
<li>Seger, C. A., Miller, E. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Category+learning+in+the+brain%5BTitle%5D)+AND+%22Annu.+Rev.+Neurosci%22%5BJournal%5D)">Category learning in the brain.</a> Annu. Rev. Neurosci. 33, 203-219 (2010).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Perceptual+Learning%22">Perceptual Learning</a>. Fahle, M., Poggio, T. , MIT Press. (2002).</li>
<li>Ashby, F. G., Maddox, W. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+category+learning%5BTitle%5D)+AND+%22Annu.+Rev.+Psychol%22%5BJournal%5D)">Human category learning.</a> Annu. Rev. Psychol. 56, 149-178 (2005).</li>
<li>Gauthier, I., Tarr, M. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Becoming+a+%22Greeble%22+expert%3A+exploring+mechanisms+for+face+recognition%5BTitle%5D)+AND+%22Vision+Res%22%5BJournal%5D)">Becoming a "Greeble" expert: exploring mechanisms for face recognition.</a> Vision Res. 37, 1673-1682 (1997).</li>
<li>Op de Beeck, H. P., Baker, C. I., DiCarlo, J. J., Kanwisher, N. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Discrimination+training+alters+object+representations+in+human+extrastriate+cortex%5BTitle%5D)+AND+%22J.+Neurosci%22%5BJournal%5D)">Discrimination training alters object representations in human extrastriate cortex.</a> J. Neurosci. 26, 13025-13036 (2006).</li>
<li>Cui, M. L., Copsey, L., Green, A. A., Bangham, J. A., Coen, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Quantitative+control+of+organ+shape+by+combinatorial+gene+activity%5BTitle%5D)+AND+%22PLoS+Biol%22%5BJournal%5D)">Quantitative control of organ shape by combinatorial gene activity.</a> PLoS Biol. 8, e1000538(2010).</li>
<li>Green, A. A., Kennaway, J. R., Hanna, A. I., Bangham, J. A., Coen, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Genetic+control+of+organ+shape+and+tissue+polarity%5BTitle%5D)+AND+%22PLoS+Biol%22%5BJournal%5D)">Genetic control of organ shape and tissue polarity.</a> PLoS Biol. 8, e1000537(2010).</li>
<li>Hegdé, J., Bart, E., Kersten, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fragment-based+learning+of+visual+object+categories%5BTitle%5D)+AND+%22Curr.+Biol%22%5BJournal%5D)">Fragment-based learning of visual object categories.</a> Curr. Biol. 18, 597-601 (2008).</li>
<li>Fragment-based learning of visual categories. Bart, E., Hegdé, J., Kersten, D. Cosyne 2008 Conference, 2008 Feb 28-Mar 2, Salt Lake City, , Cosyne. Salt Lake City. 121-12 (2008).</li>
<li>Ball, P. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBall%2C+P+%22Nature%27s+patterns+%3A+a+tapestry+in+three+parts%22">Nature's patterns : a tapestry in three parts</a>. , Oxford University Press. (2009).</li>
<li>Vuong, Q. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visual+categorization%3A+when+categories+fall+to+pieces%5BTitle%5D)+AND+%22Curr.+Biol%22%5BJournal%5D)">Visual categorization: when categories fall to pieces.</a> Curr. Biol. 18, 427-429 (2008).</li>
<li>Kromrey, S., Maestri, M., Hauffen, K., Bart, E., Hegde, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fragment-based+learning+of+visual+object+categories+in+non-human+primates%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Fragment-based learning of visual object categories in non-human primates.</a> PLoS One. 5, e15444(2010).</li>
<li>Brady, M. J., Kersten, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bootstrapped+learning+of+novel+objects%5BTitle%5D)+AND+%22J.+Vis%22%5BJournal%5D)">Bootstrapped learning of novel objects.</a> J. Vis. 3, 413-422 (2003).</li>
<li>Blanz, V., Vetter, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+morphable+model+for+the+synthesis+of+3D+faces%5BTitle%5D)+AND+%22SIGGAPH%22%5BJournal%5D)">A morphable model for the synthesis of 3D faces.</a> SIGGAPH. 26, 187-194 (1999).</li>
<li>Freedman, D. J., Riesenhuber, M., Poggio, T., Miller, E. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Categorical+representation+of+visual+stimuli+in+the+primate+prefrontal+cortex%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Categorical representation of visual stimuli in the primate prefrontal cortex.</a> Science. 291, 312-316 (2001).</li>
<li>Lerios, A., Garfinkle, C. D., Levoy, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Feature-based+volume+metamorphosis%5BTitle%5D)+AND+%22SIGGRAPH%22%5BJournal%5D)">Feature-based volume metamorphosis.</a> SIGGRAPH. , 449-456 (1995).</li>
<li>Bronstein, A. M., Bronstein, M. M., Kimmel, R. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBronstein%2C+AM+%22Numerical+geometry+of+non-rigid+shapes%22">Numerical geometry of non-rigid shapes</a>. , Springer. (2008).</li>
<li>Lotka, A. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Natural+Selection+as+a+Physical+Principle%5BTitle%5D)+AND+%22Proc.+Natl.+Acad.+Sci.+U.S.A%22%5BJournal%5D)">Natural Selection as a Physical Principle.</a> Proc. Natl. Acad. Sci. U.S.A. 8, 151-154 (1922).</li>
<li>Duda, R. O., Hart, P. E., Stork, D. G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuda%2C+RO+%22Pattern+classification%22">Pattern classification</a>. , 2nd edn, Wiley. (2001).</li>
<li>Bishop, C. M. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBishop%2C+CM+%22Pattern+recognition+and+machine+learning%22">Pattern recognition and machine learning</a>. , Springer. (2006).</li>
<li>Theodoridis, S., Koutroumbas, K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTheodoridis%2C+S+%22Pattern+recognition%22">Pattern recognition</a>. , 3rd edn, Academic Press. (2006).</li>
<li>Sokal, R. R. Biometry : The principles and practice of statistics in biological research. , 4th edn, W.H. Freeman and Co. (2011).</li>
<li>Tuffery, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTuffery%2C+S+%22Data+mining+and+statistics+for+decision+making%22">Data mining and statistics for decision making</a>. , Wiley. (2011).</li>
<li>Crawley, M. J. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCrawley%2C+MJ+%22Statistical+Computing%3A+An+Introduction+to+Data+Analysis+using+S-Plus%22">Statistical Computing: An Introduction to Data Analysis using S-Plus</a>. , Wiley. (2002).</li>
<li>Venables, W. N., Ripley, B. D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aVenables%2C+WN+%22Modern+Applied+Statistics+with+S%22">Modern Applied Statistics with S</a>. , Springer. (2003).</li>
<li>Beier, T., Neely, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Feature-based+image+metamorphosis%5BTitle%5D)+AND+%22SIGGRAPH%22%5BJournal%5D)">Feature-based image metamorphosis.</a> SIGGRAPH. 26, 35-42 (1992).</li>
<li>Kent, J. R., Carlson, W. E., Parent, R. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Shape+transformation+for+polyhedral+objects%5BTitle%5D)+AND+%22SIGGRAPH%22%5BJournal%5D)">Shape transformation for polyhedral objects.</a> SIGGRAPH. 26, 47-54 (1992).</li>
<li>Gomes, J. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGomes%2C+J+%22Warping+and+morphing+of+graphical+objects%22">Warping and morphing of graphical objects</a>. , Morgan Kaufmann Publishers. (1999).</li>
<li>Ullman, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Object+recognition+and+segmentation+by+a+fragment-based+hierarchy%5BTitle%5D)+AND+%22Trends+Cogn.+Sci%22%5BJournal%5D)">Object recognition and segmentation by a fragment-based hierarchy.</a> Trends Cogn. Sci. 11, 58-64 (2007).</li>
<li>Kobatake, E., Tanaka, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuronal+selectivities+to+complex+object+features+in+the+ventral+visual+pathway+of+the+macaque+cerebral+cortex%5BTitle%5D)+AND+%22J.+Neurophysiol%22%5BJournal%5D)">Neuronal selectivities to complex object features in the ventral visual pathway of the macaque cerebral cortex.</a> J. Neurophysiol. 71, 856-867 (1994).</li>
<li>Serre, T., Wolf, L., Poggio, T. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSerre%2C+T+%22Proceedings+of+2005+IEEE+Computer+Society+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22">Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)</a>. , IEEE Computer Society Press. (2005).</li>
<li>Ullman, S., Vidal-Naquet, M., Sali, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visual+features+of+intermediate+complexity+and+their+use+in+classification%5BTitle%5D)+AND+%22Nat.+Neurosci%22%5BJournal%5D)">Visual features of intermediate complexity and their use in classification.</a> Nat. Neurosci. 5, 682-687 (2002).</li>
<li>Davis, M. J. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDavis%2C+MJ+%22Computer+graphics%22">Computer graphics</a>. , Nova Science Publishers. (2011).</li>
<li>Lengyel, E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLengyel%2C+E+%22Mathematics+for+3D+game+programming+and+computer+graphics%2C+third+edition%22">Mathematics for 3D game programming and computer graphics, third edition</a>. , 3rd Ed, Cengage Learning. (2011).</li>
<li>Gilbert, S. F. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGilbert%2C+SF+%22Developmental+biology%22">Developmental biology</a>. , 9th edn, Sinauer Associates. (2010).</li>
<li>Gilbert, S. F., Epel, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGilbert%2C+SF+%22Ecological+developmental+biology+%3A+integrating+epigenetics%2C+medicine%2C+and+evolution%22">Ecological developmental biology : integrating epigenetics, medicine, and evolution</a>. , Sinauer Associates. (2009).</li>
<li>Hegdé, J., Thompson, S. K., Brady, M. J., Kersten, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Object+Recognition+in+Clutter%3A+Cortical+Responses+Depend+on+the+Type+of+Learning%5BTitle%5D)+AND+%22Frontiers+in+Human+Neuroscience%22%5BJournal%5D)">Object Recognition in Clutter: Cortical Responses Depend on the Type of Learning.</a> Frontiers in Human Neuroscience. 6, 170(2012).</li>
<li>Mervis, C. B., Rosch, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Categorization+of+natural+objects%5BTitle%5D)+AND+%22Annual+Review+of+Psychology%22%5BJournal%5D)">Categorization of natural objects.</a> Annual Review of Psychology. 32, 89-115 (1981).</li>
<li>Futuyma, D. J. Evolution. , 2nd edn, Sinauer Associates. (2009).</li>
</ol>

未声明任何利益冲突。

虚拟现实与视觉呈现技术在认知科学研究中的应用价值
我们此前已详细描述了虚拟形态学（VM）和虚拟分类学（VP）的实用性l9,10,12-14。简而言之，VM尤其是数字胚胎方法之所以有用，在于它提供了一种有原则且灵活的方法，可用于创建新颖但具有自然特征的三维物体14。类似地，VP提供了一种有原则的方法来构建具有自然特征的类别9,10,12,13。值得注意的是，VP生成的物体类别与自然界中的物体类别具有许多共同特征，包括这些类别通常具有层次结构，并且类别内部及类别之间的特征变异独立于实验者以及用于分类的算法而产生39。
当前的局限性与未来发展方向
我们的方案存在三个当前的局限性，以及由此所提示的未来研究方向，尤其值得关注：首先，虚拟形态发生（VM）和虚拟生理学（VP）均模拟生物学过程。尽管我们已证明非生物的虚拟对象可作为这些过程的基质，但其底层过程仍以生物学为依据。然而，自然界中的物体——无论生物或非生物——均会因非生物力的作用而发生形态变化。例如，岩石可能因风化或沉积等地质过程而改变形状。新的岩石类别也可能由其他此类地质过程产生。将这些过程纳入现有的形态变化算法库中，应是相对直接的。
本方案的第二个主要局限在于其目前所支持的动态形态变化种类仍较为有限。理想情况下，应引入更多类型的形态变化，例如生物运动，或由风、水、重力等外部力引起的运动。我们预计，应用已知的计算机动画算法来实现此类动态形态变化将是相对直接的。
本方案的第三个主要局限性在于，目前的虚拟形态发生模型（VM）尚未包含许多其他已知的形态发生过程，其中最显著的是原肠胚形成36。此外，该模型也未能纳入一些已知的约束条件，例如由于植物细胞具有细胞壁，其形态发生完全由生长介导，几乎不存在或完全不存在细胞运动36。类似地，虚拟进化模型（VP）也未包含其他已知的系统发育过程，例如遗传漂变40。解决这些局限性将极大促进本方案在发育、生态和进化模拟中的应用。

<table><tbody><tr><td>数字胚胎工作坊 (DEW)</td><td>Mark Brady 和 Dan Gu</td><td></td><td>这个用户友好的菜单驱动工具可从 &lt;a href=&quot;http://www.hegde.us/DigitalEmbryos&quot; target=&quot;_blank">http://www.hegde.us/DigitalEmbryos&lt;/a&gt; 免费下载，为下载1。目前仅适用于 Windows 系统。</td></tr><tr><td>适用于 Cygwin 的数字胚胎工具</td><td>Jay Hegd&amp;#233; 和 Karin Hauffen</td><td></td><td>这是一组使用不太方便的程序，设计用于在 Windows 系统的 Cygwin Linux 模拟器命令行界面中运行。这些程序可从 &lt;a href=&quot;http://www.hegde.us/DigitalEmbryos&quot; target=&quot;_blank">http://www.hegde.us/DigitalEmbryos&lt;/a&gt; 免费下载，为下载2。Cygwin 接口本身可从 &lt;a href=&quot;http://www.cygwin.com&quot; target=&quot;_blank">www.cygwin.com&lt;/a&gt; 免费下载。</td></tr><tr><td>Autodesk 3ds Max，加拿大魁北克省蒙特利尔市</td><td>Autodesk 媒体与娱乐公司</td><td>3DS Max</td><td>这是一款具有灵活插件架构和内置脚本语言的三维建模、动画与渲染工具包，适用于大多数当前主流操作系统。</td></tr><tr><td>MATLAB</td><td>Mathworks 公司，美国马萨诸塞州纳蒂克</td><td>MATLAB</td><td>这是一款数值计算环境与编程语言，具备多种实用的附加功能，适用于大多数当前主流操作系统。</td></tr><tr><td>R 统计工具包</td><td>统计计算 R 项目</td><td>R</td><td>可从 &lt;a href=&quot;http://www.r-project.org/&quot; target=&quot;_blank">http://www.r-project.org/&lt;/a&gt; 免费下载，适用于大多数当前主流操作系统。</td></tr><tr><td>OpenGL</td><td>Khronos Group</td><td>OpenGL</td><td>这是一个跨语言、跨平台的图形工具包，可从 &lt;a href=&quot;http://www.opengl.org&quot; target=&quot;_blank">www.opengl.org&lt;/a&gt; 免费下载。</td></tr><tr><td>V-Flash 个人打印机</td><td>3D Systems 公司，美国南卡罗来纳州罗克希尔</td><td>V-Flash</td><td>该设备适用于本报告中描述的所有三维打印应用。打印材料也由 3D Systems 公司提供。更便宜的型号可通过 RepRap（rapmanusa.com）和 MakerGear 以开源形式获得。更昂贵的型号（&amp;gt; 30,000 美元）可从 Objet Geometries、3DS Systems、Z-Corp、Dimension Printing 等公司获得。</td></tr><tr><td>&lt;a href=&quot;http://www.TurboSquid.com&quot; target=&quot;_blank"> TurboSquid.com&lt;/a&gt;</td><td>TurboSquid 公司，纽约，洛杉矶</td><td>（各类对象）</td><td>可从此网站免费或付费下载各种虚拟三维对象。</td></tr><tr><td colspan="4">&lt;strong&gt;表 1. &lt;/strong&gt; 特定工具包与设备列表。</td></tr></tbody></table>

创建物体与物体类别以研究感知及感知学习

Creating Objects and Object Categories for Studying Perception and Perceptual Learning

为了定量研究物体感知（无论是生物系统还是机器的感知），需要创建具有精确定义且尽可能接近自然特性的物体及物体类别1。此外，在感知学习研究中，构建具有此类特性的新颖物体及物体类别（或称物体类别）也十分有用2。
目前存在许多创新且实用的方法，可用于创建新颖的物体和物体类别3-6（另见参考文献7,8）。然而，总体而言，现有方法存在三大类缺陷。
首先，形状的变化通常由实验者人为设定5,9,10，因此可能与自然类别中的变异不同，并且可能针对特定的识别算法进行了优化。理想情况下，这些变化应独立于外部施加的约束条件而自然产生。
其次，现有方法难以捕捉自然物体的形状复杂性11-13。如果研究目标是自然物体感知，则物体及其类别应尽可能接近自然状态，以避免可能的混淆因素和特殊案例。
第三，通常很难对传统方法所创建的刺激材料中包含的信息量进行定量测量。理想的情况是创建那些能够精确测量可用信息、并在必要时对其进行系统性操控（或“调节”）的物体及物体类别。这使得人们能够以定量的方式表述物体识别任务的本质。
本文描述了一组满足上述全部三个标准的算法或方法。虚拟形态发生（VM）通过模拟胚胎发生这一生物学过程14，生成称为“数字胚胎”的新颖且具有自然特征的虚拟三维物体。虚拟系统发生（VP）通过模拟自然选择的进化过程9,12,13，生成新颖且具有自然特征的物体类别。通过这些模拟生成的物体及其类别，还可进一步通过多种形变方法进行操控，以产生形状特征的系统性变化15,16。原则上，VP 和形变方法也可应用于除数字胚胎之外的其他新颖虚拟物体，或现实世界物体的虚拟版本9,13。以此方式生成的虚拟物体可使用常规图形工具包渲染为视觉图像，并对表面纹理、光照、大小、视角和背景进行所需的操作。这些虚拟物体也可通过常规 3-D 原型机制作成触觉物体。
我们还介绍了一些这些计算算法的实现方式，以帮助说明算法的潜在用途。需要明确区分算法与其具体实现。这些实现仅作为对底层算法的“原理验证”而提供。需要注意的是，通常情况下，计算算法的具体实现可能存在一些算法本身所没有的局限性。
这些方法共同构成了一套强大而灵活的工具，可用于研究生物系统和计算系统中的物体识别与感知学习。通过适当的扩展，这些方法在形态发生和系统发育的研究中也可能具有重要应用价值。

虚拟形态发生（VM）可用于生成几乎无限数量的新型三维结构。使用VM算法生成的一些数字胚胎示例显示在图1的下方面板中。这16个胚胎中的每一个均通过在Cygwin数字胚胎工具中运行“growEmbryos.exe”程序（见表1）进行40个生长周期而生成。所有其他生长参数均由程序内部设定。其中大多数参数为常量（即，在不同胚胎之间保持一致）。少数参数（如形态发生素源的位置和强度）则为每次运行时由程序内部独立设定的随机参数。这16个胚胎之间的形态差异完全源于这些随机参数的变化。
使用一些任意选择的纹理进行表面纹理化处理的示例34,35如图2A所示。如图2B所示，可利用 commercially available 的三维建模与渲染环境创建具有任意复杂度的视觉场景。
VP 使用数字胚胎生成的代表性“谱系树”如图3所示。如图4所示，也可使用数字胚胎以外的物体构建类似的谱系树。需要注意的是，在上述任一情况下，具有共同祖先的物体自然构成一个类别，尽管实验者也可根据需要将类别定义为任意其他物体集合。从图4可以看出，我们当前对 VM 和 VP 算法的实现倾向于生成相对平滑、呈曲线形的表面，而非具有锯齿状或平坦结构的物体。还应注意，这可能是我们对这些算法的实现方式的局限性，而非算法本身固有的限制，因为生物过程能够产生具有平坦表面和锯齿状轮廓的物体（例如，玫瑰叶片）。
图5和图6展示了两种方法的典型结果，这些方法可用于创建物体形状和物体类别的系统性变化，可作为视觉呈现（VP）的补充或替代方法。
图7 的上半部分展示了两个数字胚胎的可视化渲染图像，而图7 的下半部分展示了由市售3-D原型机制作生成的相应打印输出结果。
图8和图9展示了第6节中所述的使用图像片段对特定视觉对象进行分类的步骤。
<img alt="从多面体到有机形态的三维形状演化示意图，展示了转化过程。" fo:content-width="4in" fo:src="/files/ftp_upload/3358/3358fig1highres.jpg" src="/files/ftp_upload/3358/3358fig1.jpg" data-altupdatedat="1788235205000" data-alt="图1"> 
 图1. 虚拟形态发生 下方面板展示了一种新型的、具有自然特征的虚拟三维物体，称为“数字胚胎”14数字胚胎可通过模拟生物胚胎发生过程中的一个或多个关键过程来生成：形态发生素介导的细胞分裂、细胞生长、细胞迁移以及程序性细胞死亡。7,8,36,37每次运行均从一个二十面体（如上方面板所示）开始，并根据该胚胎的 VM 参数设置（或称“基因型”）生成一个独特的胚胎。因此，下方面板中的 16 个胚胎具有不同的形态，因为它们各自拥有不同的基因型。需要注意的是，可根据需要生成更简单或更复杂的形态例如通过操控胚胎的基因型，以在视觉层级的特定水平上最优地刺激神经元。除程序性细胞死亡外，上述所有胚胎发生过程均在生成所示胚胎时进行了模拟。模拟的程序性细胞死亡特别适用于创建靶向的凹陷结构（未显示）。
<img alt="伪装图案分析；A：具有不同变化的图案图表，B：在岩石表面上的纹理模拟。" fo:content-width="3.6in" fo:src="/files/ftp_upload/3358/3358fig2highres.jpg" src="/files/ftp_upload/3358/3358fig2.jpg" data-altupdatedat="1788235205000" data-alt="图 2"> 
图 2. 使用数字胚胎创建视觉刺激。 与任何虚拟的三维对象一样，数字胚胎可通过图形化操作，利用任何标准的三维图形工具包生成任意复杂程度的视觉场景。本图展示了一些常见的操作方式。(A) 同一个数字胚胎应用了多种不同的纹理，并由左上方一个不可见的光源进行照明。(B) 通过调整数字胚胎的大小和方向，并将其数字合成到与其纹理来源相同的背景上，从而创建出一个伪装场景。该数字胚胎可在右下象限中以“显眼”的方式找到。有关使用数字胚胎创建视觉刺激的更多示例，请参见参考文献 9,10,12-14,38。
<img alt="二十面体形态发生示意图；三维形状；K、L 类别中的层次分类。" fo:content-width="5in" fo:src="/files/ftp_upload/3358/3358fig3highres.jpg" src="/files/ftp_upload/3358/3358fig3.jpg" data-altupdatedat="1788235205000" data-alt="图 3"> 
 图 3. 利用 VP 创建数字胚胎类别。 VP 算法模拟了生物进化过程，因为在两种情况下，新的对象和对象类别都是随着可遗传变异的选择性积累而出现的。在每一代 Gi 中，被选中的胚胎进行繁殖，产生下一代 Gi+1。后代继承了亲本的形状特征，但在发育过程中会积累自身独特的形状变异（由其基因型的微小变化决定）。本图展示了一个从单一共同祖先——二十面体出发，延续三代的“谱系树”。请注意，在本例中，形状复杂性从二十面体到第 G1 代有所增加，但从 G1 代之后不再增加。这是因为从二十面体到 G1 代允许细胞数量增加（即，细胞分裂），而从 G1 代之后则不再允许。通常情况下，细胞分裂倾向于增加形状复杂性，而其他形态发生过程（如细胞运动和细胞生长）则会改变形状，但不改变形状的整体复杂性。
<img alt="层次聚类过程示意图，展示组别转换及三维物体形状。" fo:content-width="6in" fo:src="/files/ftp_upload/3358/3358fig4highres.jpg" src="/files/ftp_upload/3358/3358fig4.jpg" data-altupdatedat="1788235205000" data-alt="图 4"> 
 图 4. 使用非数字胚胎的虚拟物体进行虚拟谱系发生（VP）。 本图有助于说明一个普遍原则：除数字胚胎外的其他虚拟物体也可作为输入用于虚拟谱系发生（VP）。当前形式的VP算法可作用于任何表面完全由三角形构成的虚拟三维物体。第 G1 代包含（从左至右）葫芦、菱形、面具、苹果、岩石和仙人掌。请注意，本图中 G1 代的物体并无共同祖先，因为VP并不要求存在共同祖先。G2 和 G3 代中的物体代表 G1 代中岩石的后代。所有世代均不允许发生细胞分裂，因此所有形状变化 solely 源于给定物体各个“细胞”的移动和/或生长。
<img alt="显示耳蜗三维旋转的示意图，用于解剖学研究和教育分析的连续视图。" fo:content-width="6.5in" fo:src="/files/ftp_upload/3358/3358fig5highres.jpg" src="/files/ftp_upload/3358/3358fig5.jpg" data-altupdatedat="1788235205000" data-alt="图 5"> 
 图 5. 利用形变技术生成形状上的平滑过渡。 形变是指对两个给定对象（本图中最左侧和最右侧的胚胎）进行处理，通过在两个指定对象的对应顶点之间进行插值，计算出中间对象（中间的胚胎）。在所示示例中，所有顶点均使用相同的标量因子进行插值，从而实现线性形变。然而，也可以实现非线性的对象形变（未展示）。当两个对象的顶点之间存在精确的一一对应关系时，形变在计算上是直接可行的，如本例所示。但原则上，即使两个虚拟对象的顶点之间不存在精确对应关系，也可以实现它们之间的形变，尽管目前尚无唯一且具有理论依据的方法来实现此类形变17,18。
<img alt="植物形态演化示意图；三维形态变化比较；发育阶段模型" fo:content-width="6in" fo:src="/files/ftp_upload/3358/3358fig6highres.jpg" src="/files/ftp_upload/3358/3358fig6.jpg" data-altupdatedat="1788235205000" data-alt="图6"> 
 图6. 利用主成分生成形状的平滑变化。（A） 平均胚胎。该胚胎代表了400个胚胎的算术平均值（其中200个来自K类，200个来自L类） 图3）。主成分的计算方法如步骤4.3所述。请注意，主成分代表400个胚胎相互独立的抽象形态维度（未显示）25,26400个胚胎产生399个非零主成分25,26，这些共同构成了胚胎中所有可用的变异或形态信息。按照惯例，主成分按其特征值降序排列，即按其所解释的总变异比例从高到低排序。25,26在此情况下，前两个主成分分别解释了400个胚胎中可用形态信息的73%和19%。 （B） 代表主成分1不同权重（或更准确地说，加权特征值）的胚胎。权重以-0.2为等差，从+2（最左侧）到-2（最右侧）变化。 (C) 代表主成分2不同权重的胚胎。权重以-0.2为等差，从+2（最左侧）到-2（最右侧）变化。需注意，操纵主成分并不单独操控胚胎的某一特定身体部位例如（如本案例中所示的胚胎翅膀）然而，如有必要，可使用大多数市售的3D建模环境（未展示）以任意用户自定义的方式对虚拟3D对象的各个身体部分进行操作。
<img alt="3D 模型与触觉打印对比；视觉渲染与用于触觉反馈的“触觉输出”" fo:content-width="4in" fo:src="/files/ftp_upload/3358/3358fig7highres.jpg" src="/files/ftp_upload/3358/3358fig7.jpg" data-altupdatedat="1788235205000" data-alt="图 7"> 
 图 7. 创建触觉物体。 虚拟的三维物体可通过标准的商用三维“打印机”或原型机制作成触觉物体。本图展示了以视觉对象形式呈现的数字胚胎（上排）和对应的触觉物体（下排）。本图所示的触觉物体打印尺寸约为 6 cm 宽（比例尺 = 1 cm），但这些物体也可按更小或更大的尺寸进行打印。
<img alt="抽象几何形状；尖锐的锯齿图案；灰度设计；艺术研究。" src="/files/ftp_upload/3358/3358fig8.jpg" data-altupdatedat="1788235205000" data-alt="图8"> 
 图8. 一个示例性信息片段的模板。 在本示例中，该模板对应的阈值为0.69。
<img alt="抽象分子结构渲染、可视化、三维图解、科学分析。" fo:content-width="2.5in" fo:src="/files/ftp_upload/3358/3358fig9highres.jpg" src="/files/ftp_upload/3358/3358fig9.jpg" data-altupdatedat="1788235205000" data-alt="图9"> 
 图9. 一幅新图像，其对象类别未知，需要确定。

我们描述了一种用于创建具有精确特征变异的自然化三维物体及物体类别的新方法。我们利用形态发生和系统发育等生物过程的模拟，生成新颖且自然化的虚拟三维物体及物体类别，这些物体可进一步渲染为视觉图像或触觉物体。

为了定量研究物体感知（无论是生物系统还是机器的感知），需要创建物体和物体……

本实验旨在创建用于研究人类如何通过视觉和/或触觉感知物体以及学习感知物体的物体模型及物体类别。首先，采用虚拟形态发生（VM）模拟早期胚胎发育过程，生成新颖的、具有自然特征的虚拟三维物体，称为数字胚胎。随后，利用虚拟系统发育发生（VP），基于输入的数字胚胎创建具有精确定义统计特性的物体类别。如有需要，可采用主成分分析法，在虚拟形态发生和虚拟系统发育所创建的虚拟物体之间生成额外的形状变异。可通过基于特征的贝叶斯推断精确计算某一给定物体属于特定类别的概率。如有必要，可使用3D打印机生成相应虚拟物体的触觉打印模型。这些方法相较于现有方法将在后文进行更详细的阐述。这些新方法能够产生自然但可精确测量的形态变化，且无需研究者施加限制条件。它们为视觉与触觉感知、知觉学习以及机器视觉领域提供了新颖的研究工具，并有望通过视觉-触觉交叉模态训练应用于多种视觉障碍的康复中。有趣的是，该方法还可用于研究形态发生和进化过程本身。我们最初是在寻找能够生成自然且精确定义的视觉刺激材料的方法时，提出了这一技术，以用于计算视觉研究。由于初学者可能难以掌握该方法中涉及的大量数学和编程内容，本视频演示将展示如何正确地实现和使用该方法。在数字胚胎工作坊中，可通过设定一组参数或基因型来生成单个胚胎，也可用于生成多个胚胎。通过虚拟形态发生重复此过程多次，以生成更复杂的形状。增加生长周期的次数，以指定胚胎细胞分裂的次数。数字胚胎工作坊会自动将每个胚胎保存为 OBJ 文件，以便您后续可在商业 3D 建模工具包中使用该胚胎。通过设置各种标准图形参数（如方向、大小、光照、表面纹理和背景）来生成视觉刺激，从而创建物体类别。以分层方式创建祖先物体的后代物体。还可以在保持物体间顶点一一对应关系的同时，通过形态变换平滑地改变形状。有趣的是，除数字胚胎外，其他虚拟物体也可用作虚拟系统发育生成的输入。可通过选择特定类别的物体，以实现特定的特征分布。例如，若要创建在大小上存在差异的两个类别，可选择性地剔除中等尺寸的物体，从而生成物体尺寸的双峰分布。现在，使用现有的系统发育方法（如共音相关性）客观地衡量给定类别对之间的相似性。这些计算可以使用常见的分析工具包（如 MATLAB 或 R）对任意给定的对象对进行，前提是其中一个对象的每个顶点恰好对应另一个对象的一个顶点，此时形变是直接的。选择插值点，并在两个对象之间使用线性形变，以在对应的顶点之间进行平滑插值。首先，确定主成分作为一组给定对象的特定描述符。主成分可通过 MATLAB 或 R 计算：对所有 N 个输入对象中每个顶点的坐标求平均，生成一个平均对象；将任意主成分 P 乘以其对应的特征值 lambda 和一个期望的权重 wj，然后将其加到平均对象上，以生成一个新的对象 Aj。持续平滑地改变 wj，以沿给定的主成分产生平滑的形状变化。要创建多维形状网格，需为多个主成分中的每一个设置一组权重。使用3D打印机制作3D物体。如有必要，调整物体尺寸并平滑其表面以优化打印效果。视觉处理中的一项重要任务是推断所观察到的特定对象所属的类别。部分通过利用有关该对象已知特征的信息，数字胚胎具有一定的应用价值。在研究这一推理过程时，我们假设该分类任务为二分类问题。即只有两种可能的类别，且我们的任务是区分类别 K 与类别 L。令 C 为类别变量，当观测图像 I 属于类别 K 或 L 时，C 分别等于 K 或 L。假设存在一个确切的二元特征 F，计算在给定图像信息条件下类别为 K 的概率。同样地，计算类别为 L 的概率，并选择概率较高的类别作为判定结果。例如，从这个信息丰富的片段特征开始，设定阈值为 0.69。任务是判断该特征是否存在于某幅给定图像中，如道路 G 三中最右侧的图像。首先将模板在图像所有可能的位置上滑动，并在每个位置计算模板与对应子图像之间归一化互相关系数的绝对值。然后选择具有最高值的图像位置。如果该值高于阈值，则判断该特征存在；否则判断该特征不存在。在基于特征推断的框架下，我们假设观察者从图像中提取的所有信息均包含于该特征的数值之中。因此，该任务转化为在给定图像中确定 F 的取值，计算该 F 值对应的概率，并选择概率较高的类别。这是将所有相关概率整合在一起的贝叶斯框架。注意，两个方程中的分母相同，因此只需关注分子部分。假设一个均匀先验，即两个类别的先验概率相等。现在需要计算似然，也就是在给定类别 C 的图像中出现某一特定特征值的概率。例如，使用类别 L 的六幅图像作为样例，来计算该特征在类别 L 图像中出现的概率。首先，选取所有属于类别 L 的训练图像，对每幅图像判断其特征值为 1（表示特征存在于图像中）或 0（表示特征不存在于图像中）。然后计算特征值为 1 的图像所占的比例。因此，该特征出现在类别 L 图像中的概率为 0.33；为获得准确估计，每个类别应使用至少 30 张图像。在典型实验中，我们需要了解受试者对该概率的内部估计。请注意，使用数字胚胎可使这一过程尤为简便。由于我们能够完全控制受试者接触数字胚胎的过程，因此可以确保受试者内部计算的数值与我们的估计值一致，且不受任何未受控或未知的先前经验影响。以类似方式，计算图像在类别 K 和 L 中存在与不存在的概率。基于这些数值，可进行推断以确定该新图像的类别标签。首先，使用先前确定的非归一化概率公式以及刚刚计算出的数值，判断特征 F 是否存在于图像中，进而计算图像属于类别 K 和 L 的概率。这些数据表明，该图像属于类别 K。尽管置信度相对较低，虚拟形态发生技术仍可提供无限数量的新型三维形状。此处通过模拟生物胚胎发育的关键过程来生成数字胚胎。每次运行均从一个二十面体开始，并生成一个独特的胚胎。根据形态发生素的设置，可利用任何标准图形工具包对数字胚胎进行图形化操作，以创建任意复杂程度的视觉场景。例如，同一个数字胚胎可以根据需要进行不同的纹理处理和光照设置。此外，可以使用商业化的三维建模与渲染环境，创建具有任意复杂度的视觉场景，例如将数字胚胎伪装在纹理相似背景中的场景。虚拟形态发生算法可模拟生物进化过程。虚拟的形态发生算法模拟了生物进化过程。新的物体和物体类别作为可遗传的变异而出现，这些变异被选择性地积累，并在其发育过程中产生自身特有的形态变化。在此特定示例中，一个共同的祖先——二十面体，产生了三代后代。从二十面体到第一代（G1），由于允许细胞数量增加，形状复杂性随之提高；但从第一代（G1）开始，整体形状复杂性保持不变。该谱系树在其他方面具有可比性，但使用了从虚拟物体供应商处下载的非胚胎对象。请注意，具有共同祖先的对象直接构成一个类别。由于任何世代均不允许细胞分裂，所有形状变化完全源于给定对象中单个细胞的移动或生长。在此情况下，形态转换通过在两个指定对象的对应顶点之间进行插值，从而实现形状的平滑变化，即最左侧与最右侧之间的过渡。胚胎主成分也在形态上产生了平滑的变化。该胚胎代表了400个胚胎的算术平均形态。在此特定情况下，前两个主成分分别解释了73%和19%的形态信息。通过调整加权特征值获得胚胎图像。这些数字胚胎可被渲染为虚拟的三维对象，然后使用市面上常见的标准3D打印机或原型机制作成触觉对象，用于研究视觉感知作为一种推断过程，特别是贝叶斯推断。数字胚胎是创建具有可控参数（如先验概率和似然函数）的新类别的重要工具。观看本视频后，您应能充分理解如何创建适用于特定实验的一系列数字胚胎。无论是单个物体还是具有不同变异程度和复杂度的完整类别，均可轻松创建。所得图像可用于物体识别、分类、类别学习及其他多种实验。

creating-objects-object-categories-for-studying-perception-perceptual

Research

科研

JoVE Journal

Neuroscience

神经科学

创建对象和对象类别学习的认知与知觉学习

对……的研究 恐怖谷假说 情感体验需要对假设的理解...

恐怖谷假说中人类相似性维度的感知与范畴化加工：若干方法学问题

在3至4个月大时，聆听人类和非人类灵长类动物的发声能够促进婴儿的认知发展；到6个月大时，只有人类的发声具有这种认知促进作用。我们描述了一种暴露操纵方法，揭示了经验在婴儿选择将哪些声音与认知关联、哪些声音忽略不计的过程中所起的强大塑造作用。...

经验在调节语言与认知之间联系中的关键作用：来自6至7个月大婴儿物体范畴化的证据

本文介绍了一种用于熟悉-测试范式的实验方案，该范式可直接检验婴儿的范畴化能力，并有助于明确语言在早期范畴学习中的作用。...

利用眼动追踪范式界定语言在婴儿物体范畴化中的作用

我们描述了在严格控制的实验条件下呈现真实物体及其匹配图像的方法。这些方法是在决策任务的背景下进行阐述的，但相同的真实物体研究方法可扩展至其他认知领域，如感知、注意和记忆。...

在受控实验室条件下呈现真实世界物体的方法

本文介绍如何设置一项实验，以利用脑磁图（MEG）检测物体感知前的源水平影响。内容涵盖刺激材料、实验设计、MEG记录以及数据分析。...

利用脑磁图检测物体感知中刺激前源水平效应

该方案介绍了一种实验心理物理学范式，用于获取大量相似性判断数据，并提供了相应的分析流程。该范式可探究情境效应，并能够将相似性数据建模为至少五维的欧几里得空间。...

一种用于收集与分析相似性判断的心理物理学范式

本文描述了测试秀丽隐杆线虫（C.

C. elegans 正向丁酮学习、短期和长期关联记忆检测

在脑片电生理实验中，可对表达ChR2的成年新生神经元进行操控，以研究其对嗅觉神经环路功能的贡献。...

使用经济型LED阵列对神经元进行光刺激

利用在吻侧迁移流中注射表达通道视紫红质2的慢病毒，并结合植入式微型LED进行慢性光刺激，可对嗅球中成年新生神经元进行光遗传学操控。...

选择性病毒感染转导成年出生的嗅觉神经元以实现长期研究 体内 光遗传学刺激

本文描述了一种有效的方法，用于深入了解人类在三维空间中进行导航的方式。该方法利用了一种能够以传统模拟器无法实现的方式移动观察者的运动模拟器。实验结果证实，在水平面内的运动被低估，而垂直方向的运动则被高估。...

MPI CyberMotion 模拟器：一种新型运动模拟器的实现及其在三维多感官路径整合研究中的应用

学习虚拟形态发生与系统发育模拟技术，创建自然主义三维数字胚胎对象及类别。该方法结合贝叶斯推理与主成分分析，为视觉触觉感知、知觉学习及视觉康复训练提供精确可控的研究工具。

创建物体与物体类别以研究感知及感知学习

探索更多视频