创建物体与物体类别以研究感知及感知学习

本实验旨在创建用于研究人类如何通过视觉和/或触觉感知物体以及学习感知物体的物体模型及物体类别。首先，采用虚拟形态发生（VM）模拟早期胚胎发育过程，生成新颖的、具有自然特征的虚拟三维物体，称为数字胚胎。随后，利用虚拟系统发育发生（VP），基于输入的数字胚胎创建具有精确定义统计特性的物体类别。

如有需要，可采用主成分分析法，在虚拟形态发生和虚拟系统发育所创建的虚拟物体之间生成额外的形状变异。可通过基于特征的贝叶斯推断精确计算某一给定物体属于特定类别的概率。如有必要，可使用3D打印机生成相应虚拟物体的触觉打印模型。

这些方法相较于现有方法将在后文进行更详细的阐述。这些新方法能够产生自然但可精确测量的形态变化，且无需研究者施加限制条件。它们为视觉与触觉感知、知觉学习以及机器视觉领域提供了新颖的研究工具，并有望通过视觉-触觉交叉模态训练应用于多种视觉障碍的康复中。

有趣的是，该方法还可用于研究形态发生和进化过程本身。我们最初是在寻找能够生成自然且精确定义的视觉刺激材料的方法时，提出了这一技术，以用于计算视觉研究。由于初学者可能难以掌握该方法中涉及的大量数学和编程内容，本视频演示将展示如何正确地实现和使用该方法。在数字胚胎工作坊中，可通过设定一组参数或基因型来生成单个胚胎，也可用于生成多个胚胎。

通过虚拟形态发生重复此过程多次，以生成更复杂的形状。增加生长周期的次数，以指定胚胎细胞分裂的次数。数字胚胎工作坊会自动将每个胚胎保存为 OBJ 文件，以便您后续可在商业 3D 建模工具包中使用该胚胎。

通过设置各种标准图形参数（如方向、大小、光照、表面纹理和背景）来生成视觉刺激，从而创建物体类别。以分层方式创建祖先物体的后代物体。还可以在保持物体间顶点一一对应关系的同时，通过形态变换平滑地改变形状。

有趣的是，除数字胚胎外，其他虚拟物体也可用作虚拟系统发育生成的输入。可通过选择特定类别的物体，以实现特定的特征分布。例如，若要创建在大小上存在差异的两个类别，可选择性地剔除中等尺寸的物体，从而生成物体尺寸的双峰分布。

现在，使用现有的系统发育方法（如共音相关性）客观地衡量给定类别对之间的相似性。这些计算可以使用常见的分析工具包（如 MATLAB 或 R）对任意给定的对象对进行，前提是其中一个对象的每个顶点恰好对应另一个对象的一个顶点，此时形变是直接的。选择插值点，并在两个对象之间使用线性形变，以在对应的顶点之间进行平滑插值。

首先，确定主成分作为一组给定对象的特定描述符。主成分可通过 MATLAB 或 R 计算：对所有 N 个输入对象中每个顶点的坐标求平均，生成一个平均对象；将任意主成分 P 乘以其对应的特征值 lambda 和一个期望的权重 wj，然后将其加到平均对象上，以生成一个新的对象 Aj。持续平滑地改变 wj，以沿给定的主成分产生平滑的形状变化。

要创建多维形状网格，需为多个主成分中的每一个设置一组权重。使用3D打印机制作3D物体。如有必要，调整物体尺寸并平滑其表面以优化打印效果。

视觉处理中的一项重要任务是推断所观察到的特定对象所属的类别。部分通过利用有关该对象已知特征的信息，数字胚胎具有一定的应用价值。在研究这一推理过程时，我们假设该分类任务为二分类问题。

即只有两种可能的类别，且我们的任务是区分类别 K 与类别 L。令 C 为类别变量，当观测图像 I 属于类别 K 或 L 时，C 分别等于 K 或 L。假设存在一个确切的二元特征 F，计算在给定图像信息条件下类别为 K 的概率。同样地，计算类别为 L 的概率，并选择概率较高的类别作为判定结果。

例如，从这个信息丰富的片段特征开始，设定阈值为 0.69。任务是判断该特征是否存在于某幅给定图像中，如道路 G 三中最右侧的图像。首先将模板在图像所有可能的位置上滑动，并在每个位置计算模板与对应子图像之间归一化互相关系数的绝对值。

然后选择具有最高值的图像位置。如果该值高于阈值，则判断该特征存在；否则判断该特征不存在。在基于特征推断的框架下，我们假设观察者从图像中提取的所有信息均包含于该特征的数值之中。

因此，该任务转化为在给定图像中确定 F 的取值，计算该 F 值对应的概率，并选择概率较高的类别。这是将所有相关概率整合在一起的贝叶斯框架。注意，两个方程中的分母相同，因此只需关注分子部分。

假设一个均匀先验，即两个类别的先验概率相等。现在需要计算似然，也就是在给定类别 C 的图像中出现某一特定特征值的概率。例如，使用类别 L 的六幅图像作为样例，来计算该特征在类别 L 图像中出现的概率。首先，选取所有属于类别 L 的训练图像，对每幅图像判断其特征值为 1（表示特征存在于图像中）或 0（表示特征不存在于图像中）。然后计算特征值为 1 的图像所占的比例。

因此，该特征出现在类别 L 图像中的概率为 0.33；为获得准确估计，每个类别应使用至少 30 张图像。在典型实验中，我们需要了解受试者对该概率的内部估计。请注意，使用数字胚胎可使这一过程尤为简便。

由于我们能够完全控制受试者接触数字胚胎的过程，因此可以确保受试者内部计算的数值与我们的估计值一致，且不受任何未受控或未知的先前经验影响。以类似方式，计算图像在类别 K 和 L 中存在与不存在的概率。基于这些数值，可进行推断以确定该新图像的类别标签。首先，使用先前确定的非归一化概率公式以及刚刚计算出的数值，判断特征 F 是否存在于图像中，进而计算图像属于类别 K 和 L 的概率。这些数据表明，该图像属于类别 K。尽管置信度相对较低，虚拟形态发生技术仍可提供无限数量的新型三维形状。

此处通过模拟生物胚胎发育的关键过程来生成数字胚胎。每次运行均从一个二十面体开始，并生成一个独特的胚胎。根据形态发生素的设置，可利用任何标准图形工具包对数字胚胎进行图形化操作，以创建任意复杂程度的视觉场景。

例如，同一个数字胚胎可以根据需要进行不同的纹理处理和光照设置。此外，可以使用商业化的三维建模与渲染环境，创建具有任意复杂度的视觉场景，例如将数字胚胎伪装在纹理相似背景中的场景。虚拟形态发生算法可模拟生物进化过程。

虚拟的形态发生算法模拟了生物进化过程。新的物体和物体类别作为可遗传的变异而出现，这些变异被选择性地积累，并在其发育过程中产生自身特有的形态变化。在此特定示例中，一个共同的祖先——二十面体，产生了三代后代。

从二十面体到第一代（G1），由于允许细胞数量增加，形状复杂性随之提高；但从第一代（G1）开始，整体形状复杂性保持不变。该谱系树在其他方面具有可比性，但使用了从虚拟物体供应商处下载的非胚胎对象。请注意，具有共同祖先的对象直接构成一个类别。

由于任何世代均不允许细胞分裂，所有形状变化完全源于给定对象中单个细胞的移动或生长。在此情况下，形态转换通过在两个指定对象的对应顶点之间进行插值，从而实现形状的平滑变化，即最左侧与最右侧之间的过渡。

胚胎主成分也在形态上产生了平滑的变化。该胚胎代表了400个胚胎的算术平均形态。在此特定情况下，前两个主成分分别解释了73%和19%的形态信息。

通过调整加权特征值获得胚胎图像。这些数字胚胎可被渲染为虚拟的三维对象，然后使用市面上常见的标准3D打印机或原型机制作成触觉对象，用于研究视觉感知作为一种推断过程，特别是贝叶斯推断。数字胚胎是创建具有可控参数（如先验概率和似然函数）的新类别的重要工具。

观看本视频后，您应能充分理解如何创建适用于特定实验的一系列数字胚胎。无论是单个物体还是具有不同变异程度和复杂度的完整类别，均可轻松创建。所得图像可用于物体识别、分类、类别学习及其他多种实验。