我们描述了一种用于创建具有精确特征变异的自然化三维物体及物体类别的新方法。我们利用形态发生和系统发育等生物过程的模拟,生成新颖且自然化的虚拟三维物体及物体类别,这些物体可进一步渲染为视觉图像或触觉物体。
我们描述了一种用于创建具有精确特征变异的自然化三维物体及物体类别的新方法。我们利用形态发生和系统发育等生物过程的模拟,生成新颖且自然化的虚拟三维物体及物体类别,这些物体可进一步渲染为视觉图像或触觉物体。
为了定量研究物体感知(无论是生物系统还是机器的感知),需要创建具有精确定义且尽可能接近自然特性的物体及物体类别1。此外,在感知学习研究中,构建具有此类特性的新颖物体及物体类别(或称物体类别)也十分有用2。
目前存在许多创新且实用的方法,可用于创建新颖的物体和物体类别3-6(另见参考文献7,8)。然而,总体而言,现有方法存在三大类缺陷。
首先,形状的变化通常由实验者人为设定5,9,10,因此可能与自然类别中的变异不同,并且可能针对特定的识别算法进行了优化。理想情况下,这些变化应独立于外部施加的约束条件而自然产生。
其次,现有方法难以捕捉自然物体的形状复杂性11-13。如果研究目标是自然物体感知,则物体及其类别应尽可能接近自然状态,以避免可能的混淆因素和特殊案例。
第三,通常很难对传统方法所创建的刺激材料中包含的信息量进行定量测量。理想的情况是创建那些能够精确测量可用信息、并在必要时对其进行系统性操控(或“调节”)的物体及物体类别。这使得人们能够以定量的方式表述物体识别任务的本质。
本文描述了一组满足上述全部三个标准的算法或方法。虚拟形态发生(VM)通过模拟胚胎发生这一生物学过程14,生成称为“数字胚胎”的新颖且具有自然特征的虚拟三维物体。虚拟系统发生(VP)通过模拟自然选择的进化过程9,12,13,生成新颖且具有自然特征的物体类别。通过这些模拟生成的物体及其类别,还可进一步通过多种形变方法进行操控,以产生形状特征的系统性变化15,16。原则上,VP 和形变方法也可应用于除数字胚胎之外的其他新颖虚拟物体,或现实世界物体的虚拟版本9,13。以此方式生成的虚拟物体可使用常规图形工具包渲染为视觉图像,并对表面纹理、光照、大小、视角和背景进行所需的操作。这些虚拟物体也可通过常规 3-D 原型机制作成触觉物体。
我们还介绍了一些这些计算算法的实现方式,以帮助说明算法的潜在用途。需要明确区分算法与其具体实现。这些实现仅作为对底层算法的“原理验证”而提供。需要注意的是,通常情况下,计算算法的具体实现可能存在一些算法本身所没有的局限性。
这些方法共同构成了一套强大而灵活的工具,可用于研究生物系统和计算系统中的物体识别与感知学习。通过适当的扩展,这些方法在形态发生和系统发育的研究中也可能具有重要应用价值。
1. 使用虚拟显微镜(VM)创建自然逼真的三维虚拟物体
2. 使用 VP 创建自然主义物体类别
3. 产生形态变异的其他方法:数字变形
4. 产生形状变异的其他方法:主成分分析

5. 创建三维物体的触觉版本
6. 一个示范性应用:图像类别的贝叶斯推断

因此,

和

请注意,这两个方程中的分母是相同的。因此,在比较 p(C = K | F) 与 p(C = L | F) 时,无需计算分母;只需计算以下两个量即可
p(C=K|F) ∝ p(C=K)p(F|C=K)
和
p(C=L|F) ∝ p(C=L)p(F|C=L)
这些有时被称为“未归一化的概率”。其中,p(C) 被称为“先验概率”,而 p(F | C) 被称为“似然”。
虚拟形态发生(VM)可用于生成几乎无限数量的新型三维结构。使用VM算法生成的一些数字胚胎示例显示在图1的下方面板中。这16个胚胎中的每一个均通过在Cygwin数字胚胎工具中运行“growEmbryos.exe”程序(见表1)进行40个生长周期而生成。所有其他生长参数均由程序内部设定。其中大多数参数为常量(即,在不同胚胎之间保持一致)。少数参数(如形态发生素源的位置和强度)则为每次运行时由程序内部独立设定的随机参数。这16个胚胎之间的形态差异完全源于这些随机参数的变化。
使用一些任意选择的纹理进行表面纹理化处理的示例34,35如图2A所示。如图2B所示,可利用 commercially available 的三维建模与渲染环境创建具有任意复杂度的视觉场景。
VP 使用数字胚胎生成的代表性“谱系树”如图3所示。如图4所示,也可使用数字胚胎以外的物体构建类似的谱系树。需要注意的是,在上述任一情况下,具有共同祖先的物体自然构成一个类别,尽管实验者也可根据需要将类别定义为任意其他物体集合。从图4可以看出,我们当前对 VM 和 VP 算法的实现倾向于生成相对平滑、呈曲线形的表面,而非具有锯齿状或平坦结构的物体。还应注意,这可能是我们对这些算法的实现方式的局限性,而非算法本身固有的限制,因为生物过程能够产生具有平坦表面和锯齿状轮廓的物体(例如,玫瑰叶片)。
图5和图6展示了两种方法的典型结果,这些方法可用于创建物体形状和物体类别的系统性变化,可作为视觉呈现(VP)的补充或替代方法。
图7 的上半部分展示了两个数字胚胎的可视化渲染图像,而图7 的下半部分展示了由市售3-D原型机制作生成的相应打印输出结果。
图8和图9展示了第6节中所述的使用图像片段对特定视觉对象进行分类的步骤。

图1. 虚拟形态发生 下方面板展示了一种新型的、具有自然特征的虚拟三维物体,称为“数字胚胎”14数字胚胎可通过模拟生物胚胎发生过程中的一个或多个关键过程来生成:形态发生素介导的细胞分裂、细胞生长、细胞迁移以及程序性细胞死亡。7,8,36,37每次运行均从一个二十面体(如上方面板所示)开始,并根据该胚胎的 VM 参数设置(或称“基因型”)生成一个独特的胚胎。因此,下方面板中的 16 个胚胎具有不同的形态,因为它们各自拥有不同的基因型。需要注意的是,可根据需要生成更简单或更复杂的形态例如通过操控胚胎的基因型,以在视觉层级的特定水平上最优地刺激神经元。除程序性细胞死亡外,上述所有胚胎发生过程均在生成所示胚胎时进行了模拟。模拟的程序性细胞死亡特别适用于创建靶向的凹陷结构(未显示)。

图 2. 使用数字胚胎创建视觉刺激。 与任何虚拟的三维对象一样,数字胚胎可通过图形化操作,利用任何标准的三维图形工具包生成任意复杂程度的视觉场景。本图展示了一些常见的操作方式。(A) 同一个数字胚胎应用了多种不同的纹理,并由左上方一个不可见的光源进行照明。(B) 通过调整数字胚胎的大小和方向,并将其数字合成到与其纹理来源相同的背景上,从而创建出一个伪装场景。该数字胚胎可在右下象限中以“显眼”的方式找到。有关使用数字胚胎创建视觉刺激的更多示例,请参见参考文献 9,10,12-14,38。

图 3. 利用 VP 创建数字胚胎类别。 VP 算法模拟了生物进化过程,因为在两种情况下,新的对象和对象类别都是随着可遗传变异的选择性积累而出现的。在每一代 Gi 中,被选中的胚胎进行繁殖,产生下一代 Gi+1。后代继承了亲本的形状特征,但在发育过程中会积累自身独特的形状变异(由其基因型的微小变化决定)。本图展示了一个从单一共同祖先——二十面体出发,延续三代的“谱系树”。请注意,在本例中,形状复杂性从二十面体到第 G1 代有所增加,但从 G1 代之后不再增加。这是因为从二十面体到 G1 代允许细胞数量增加(即,细胞分裂),而从 G1 代之后则不再允许。通常情况下,细胞分裂倾向于增加形状复杂性,而其他形态发生过程(如细胞运动和细胞生长)则会改变形状,但不改变形状的整体复杂性。

图 4. 使用非数字胚胎的虚拟物体进行虚拟谱系发生(VP)。 本图有助于说明一个普遍原则:除数字胚胎外的其他虚拟物体也可作为输入用于虚拟谱系发生(VP)。当前形式的VP算法可作用于任何表面完全由三角形构成的虚拟三维物体。第 G1 代包含(从左至右)葫芦、菱形、面具、苹果、岩石和仙人掌。请注意,本图中 G1 代的物体并无共同祖先,因为VP并不要求存在共同祖先。G2 和 G3 代中的物体代表 G1 代中岩石的后代。所有世代均不允许发生细胞分裂,因此所有形状变化 solely 源于给定物体各个“细胞”的移动和/或生长。

图 5. 利用形变技术生成形状上的平滑过渡。 形变是指对两个给定对象(本图中最左侧和最右侧的胚胎)进行处理,通过在两个指定对象的对应顶点之间进行插值,计算出中间对象(中间的胚胎)。在所示示例中,所有顶点均使用相同的标量因子进行插值,从而实现线性形变。然而,也可以实现非线性的对象形变(未展示)。当两个对象的顶点之间存在精确的一一对应关系时,形变在计算上是直接可行的,如本例所示。但原则上,即使两个虚拟对象的顶点之间不存在精确对应关系,也可以实现它们之间的形变,尽管目前尚无唯一且具有理论依据的方法来实现此类形变17,18。

图6. 利用主成分生成形状的平滑变化。(A) 平均胚胎。该胚胎代表了400个胚胎的算术平均值(其中200个来自K类,200个来自L类) 图3)。主成分的计算方法如步骤4.3所述。请注意,主成分代表400个胚胎相互独立的抽象形态维度(未显示)25,26400个胚胎产生399个非零主成分25,26,这些共同构成了胚胎中所有可用的变异或形态信息。按照惯例,主成分按其特征值降序排列,即按其所解释的总变异比例从高到低排序。25,26在此情况下,前两个主成分分别解释了400个胚胎中可用形态信息的73%和19%。 (B) 代表主成分1不同权重(或更准确地说,加权特征值)的胚胎。权重以-0.2为等差,从+2(最左侧)到-2(最右侧)变化。 (C) 代表主成分2不同权重的胚胎。权重以-0.2为等差,从+2(最左侧)到-2(最右侧)变化。需注意,操纵主成分并不单独操控胚胎的某一特定身体部位例如(如本案例中所示的胚胎翅膀)然而,如有必要,可使用大多数市售的3D建模环境(未展示)以任意用户自定义的方式对虚拟3D对象的各个身体部分进行操作。

图 7. 创建触觉物体。 虚拟的三维物体可通过标准的商用三维“打印机”或原型机制作成触觉物体。本图展示了以视觉对象形式呈现的数字胚胎(上排)和对应的触觉物体(下排)。本图所示的触觉物体打印尺寸约为 6 cm 宽(比例尺 = 1 cm),但这些物体也可按更小或更大的尺寸进行打印。

图8. 一个示例性信息片段的模板。 在本示例中,该模板对应的阈值为0.69。

图9. 一幅新图像,其对象类别未知,需要确定。
虚拟现实与视觉呈现技术在认知科学研究中的应用价值
我们此前已详细描述了虚拟形态学(VM)和虚拟分类学(VP)的实用性l9,10,12-14。简而言之,VM尤其是数字胚胎方法之所以有用,在于它提供了一种有原则且灵活的方法,可用于创建新颖但具有自然特征的三维物体14。类似地,VP提供了一种有原则的方法来构建具有自然特征的类别9,10,12,13。值得注意的是,VP生成的物体类别与自然界中的物体类别具有许多共同特征,包括这些类别通常具有层次结构,并且类别内部及类别之间的特征变异独立于实验者以及用于分类的算法而产生39。
当前的局限性与未来发展方向
我们的方案存在三个当前的局限性,以及由此所提示的未来研究方向,尤其值得关注:首先,虚拟形态发生(VM)和虚拟生理学(VP)均模拟生物学过程。尽管我们已证明非生物的虚拟对象可作为这些过程的基质,但其底层过程仍以生物学为依据。然而,自然界中的物体——无论生物或非生物——均会因非生物力的作用而发生形态变化。例如,岩石可能因风化或沉积等地质过程而改变形状。新的岩石类别也可能由其他此类地质过程产生。将这些过程纳入现有的形态变化算法库中,应是相对直接的。
本方案的第二个主要局限在于其目前所支持的动态形态变化种类仍较为有限。理想情况下,应引入更多类型的形态变化,例如生物运动,或由风、水、重力等外部力引起的运动。我们预计,应用已知的计算机动画算法来实现此类动态形态变化将是相对直接的。
本方案的第三个主要局限性在于,目前的虚拟形态发生模型(VM)尚未包含许多其他已知的形态发生过程,其中最显著的是原肠胚形成36。此外,该模型也未能纳入一些已知的约束条件,例如由于植物细胞具有细胞壁,其形态发生完全由生长介导,几乎不存在或完全不存在细胞运动36。类似地,虚拟进化模型(VP)也未包含其他已知的系统发育过程,例如遗传漂变40。解决这些局限性将极大促进本方案在发育、生态和进化模拟中的应用。
未声明任何利益冲突。
本研究部分得到了美国陆军研究实验室和美国陆军研究办公室基金项目 W911NF1110105 以及美国国家科学基金会基金项目 IOS-1147097 对 Jay Hegdé 的资助。此外,佐治亚健康科学大学视觉发现研究所向 Jay Hegdé 提供了试点基金支持。Daniel Kersten 获得了美国海军研究办公室基金项目 N00014-05-1-0124 和美国国立卫生研究院基金项目 R01 EY015261 的资助,并部分得到了韩国国家研究基金会通过教育科技部资助的世界一流大学(WCU)项目(R31-10008)的支持。Karin Hauffen 获得了美国陆军本科生科研学徒计划(URAP)的资助。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 数字胚胎工作坊 (DEW) | Mark Brady 和 Dan Gu | 这个用户友好的菜单驱动工具可从 http://www.hegde.us/DigitalEmbryos 免费下载,为下载1。目前仅适用于 Windows 系统。 | |
| 适用于 Cygwin 的数字胚胎工具 | Jay Hegdé 和 Karin Hauffen | 这是一组使用不太方便的程序,设计用于在 Windows 系统的 Cygwin Linux 模拟器命令行界面中运行。这些程序可从 http://www.hegde.us/DigitalEmbryos 免费下载,为下载2。Cygwin 接口本身可从 www.cygwin.com 免费下载。 | |
| Autodesk 3ds Max,加拿大魁北克省蒙特利尔市 | Autodesk 媒体与娱乐公司 | 3DS Max | 这是一款具有灵活插件架构和内置脚本语言的三维建模、动画与渲染工具包,适用于大多数当前主流操作系统。 |
| MATLAB | Mathworks 公司,美国马萨诸塞州纳蒂克 | MATLAB | 这是一款数值计算环境与编程语言,具备多种实用的附加功能,适用于大多数当前主流操作系统。 |
| R 统计工具包 | 统计计算 R 项目 | R | 可从 http://www.r-project.org/ 免费下载,适用于大多数当前主流操作系统。 |
| OpenGL | Khronos Group | OpenGL | 这是一个跨语言、跨平台的图形工具包,可从 www.opengl.org 免费下载。 |
| V-Flash 个人打印机 | 3D Systems 公司,美国南卡罗来纳州罗克希尔 | V-Flash | 该设备适用于本报告中描述的所有三维打印应用。打印材料也由 3D Systems 公司提供。更便宜的型号可通过 RepRap(rapmanusa.com)和 MakerGear 以开源形式获得。更昂贵的型号(> 30,000 美元)可从 Objet Geometries、3DS Systems、Z-Corp、Dimension Printing 等公司获得。 |
| TurboSquid.com | TurboSquid 公司,纽约,洛杉矶 | (各类对象) | 可从此网站免费或付费下载各种虚拟三维对象。 |
| 表 1. 特定工具包与设备列表。 |