创建对象和对象类别学习的认知与知觉学习
November 2nd, 2012
我们描述了一种新的方法，创造自然的3-D对象和对象类的精确定义的功能变化。我们用模拟的生物过程的形态和系统发育创造新颖，自然的3-D虚拟对象和对象类别，然后将其呈现为视觉图像或触觉对象。
此过程旨在创建对象和对象类别，以研究我们如何通过视觉和/或触觉感知和学习感知对象。首先，虚拟形态发生或 VM 用于模拟早期胚胎发育的过程，并创建称为数字胚胎的新型自然虚拟 3D 对象。然后使用虚拟 phy agenesis 或 VP 对象类别，根据输入的数字胚胎创建具有精确定义的统计属性。
如果需要，可以使用主成分分析在虚拟形态发生和虚拟物理发育创建的虚拟对象之间创建额外的形状变化。给定对象属于给定类别的可能性可以使用基于特征的贝叶斯推理精确计算。如有必要，可以使用 3D 打印机生成生成的虚拟对象的触觉打印。
与现有方法相比，这些方法中的每一种将在后面更详细地说明。这些新方法创造了自然但可精确测量的形状变化，这些变化的出现不需要研究者施加的限制。它们在视觉和触觉感知、感知学习和机器视觉领域提供了新颖的工具，并通过视觉触觉交叉金属训练在多种类型的视觉障碍康复方面具有潜在应用。
有趣的是，这种方法也可以应用于研究形态发生和进化过程本身，当我们在寻找为研究和计算视觉产生自然但可精确定义的视觉刺激的方法时，我们第一次想到了这种方法。最初，通过这种方法知道的人可能会在其数学和编程密集型方面遇到困难，因此此视觉演示将说明如何正确实施和使用此方法。在数字胚胎研讨会中，指定一组设置或基因型以生成单个胚胎以生成多个胚胎。
多次重复此过程，通过虚拟形态发生生成更复杂的形状。增加生长周期数以指定胚胎细胞将分裂的次数。Digital Embryo Workshop 会自动将每个胚胎保存为 OBJ 文件，以便您以后可以将胚胎与商用 3D 建模工具包一起使用。
通过设置各种标准图形参数 （如方向、大小、照明、表面纹理和背景） 来生成视觉刺激，以生成对象类别。以分层方式创建上级对象的后代。您还可以使用变形平滑地改变形状，同时保留对象之间顶点的一一对应关系。
有趣的是，数字胚胎以外的虚拟对象也可以用作虚拟物理发育的输入。选择给定类别中的对象以实现给定的特征分布。例如，如果要创建两个大小不同的类别，请选择性地消除中等大小的对象，以生成对象大小的双峰分布。
现在，使用可用的系统发育方法（例如共音相关）客观地测量给定类别对之间的相似性。对于任何给定的对象对，可以使用常用的分析工具（如 MATLAB 或 R）进行这些计算，其中一个对象的每个顶点恰好对应于另一个对象的一个顶点，变形非常简单。选择插值点，并在两个对象之间使用线性变形，以便在相应的顶点之间平滑插值。
首先，将主要组件确定为给定对象集的特定描述符。可以使用 MATLAB 或 R 平均值计算主分量，所有 N 个输入对象上每个顶点的坐标以生成平均对象，将任何分量 P 乘以相应的 egen 值 lambda 和所需的权重 wj，然后添加到平均对象以生成新对象。Aj 继续平滑地改变 WJ，以沿给定的主组件创建平滑的形状变化。
要创建形状的多维网格，请为几个主要组件中的每个组件使用一组权重。使用 3D 原型制作器打印出 3D 对象。如有必要，调整对象的大小并平滑对象的表面以优化打印。
视觉处理中的一项重要任务是推断给定观察对象所属的类别。在某种程度上，通过使用有关对象已知特征的信息，数字胚胎非常有用。在研究这个推理过程时，我们假设分类任务是二进制的。
也就是说只有两个可能的类别，我们的任务涉及区分类别 K 和类别 L，设 C 为类别变量，根据观察到的图像 I 分别属于类别 K 还是 L，C 等于 K 或 C 等于 L。假设只有一个二进制特征 F，根据图像中的信息计算类别为 K 的概率。同样，对于类别为 L 的概率，请选择概率较高的类别。
例如，从此信息片段特征和阈值 0.69 开始。任务是确定给定图像中是否存在此特征，例如道路 G 3 中最右侧的图像。首先，将模板滑动到图像计算中每个位置的所有可能位置，即模板和底层子图像之间归一化互相关的绝对值。
然后选择值最高的图像位置。如果此值高于阈值，则断定该特征存在，否则断定该特征不存在。在基于特征的推理框架内，我们假设观察者从图像中提取的所有信息都包含在这个特征的值中。
因此，任务变成了确定该值 F 的给定图像计算概率中 F 的值，并选择概率较高的类别。这是将所有相关概率放在一起的贝叶斯框架。请注意，两个方程中的分母是相同的，因此请将注意力限制在分子上。
假设一个平坦的先验，即两个类别都是先验的。同样可能的现在是计算给定类别 C 的图像中给定特征值的概率。例如，以类别 L 的六张图像为例，计算该特征出现在类别 L 的图像中的概率。首先，为每张图像获取属于 L 的所有训练图像， 确定特征值是图像中存在特征的 1，还是 0 表示特征不存在。然后计算特征值为 1 的图像的比例。
因此，对于准确估计，该特征出现在类别 L 的图像中的概率为 0.33，每个类别至少使用 30 张图像。在典型的实验中，我们需要知道此概率的受试者内部估计值。请注意，使用数字胚胎如何使这变得特别容易。
由于我们可以完全控制受试者对数字胚胎的暴露，因此我们可以确保受试者内部计算的值与我们的估计一致，并且不受任何不受控制和未知的先前经验的影响。以类似的方式，计算类别 K 和 L 中图像不存在和存在的概率，给定这些值，可以执行推理来识别此新图像的类别标签。首先，使用前面为非正规概率确定的公式和刚刚计算的值来确定图像中是否存在特征 F，计算类别 K 和 L 的图像中存在的概率。这些数据表明图像来自类别 K.尽管置信度相对较低，但虚拟形态发生提供了无限的新颖 3D 形状。
在这里，数字胚胎是通过模拟生物胚胎发生的关键过程生成的。每次运行都从一个二十面体开始，并产生一个独特的胚胎。根据形态发生素设置，可以使用任何标准图形工具包以图形方式作数字胚胎以创建任意复杂度的视觉场景。
例如，同一个数字胚胎可以有不同的纹理，并根据需要进行照明。此外，可以使用市售的 3D 建模和渲染环境创建任意复杂性的视觉场景，例如这个场景，其中数字胚胎伪装在类似纹理的背景上。虚拟 phy agenesis 算法模拟生物进化。
虚拟 phy agenesis 算法模拟生物进化。新对象和对象类别以可遗传的变体形式出现，这些变体选择性地积累，但随着发展而积累自己的形状变化。在这个特定示例中，单个共同祖先二十面体产生三代后代。
形状复杂度从二十面体到 G 代 1 会增加，因为我们允许单元数量增加，但从 G 代 1 开始，整体形状复杂度保持不变。此家谱在其他方面具有可比性，但它使用从虚拟对象供应商下载的非 embryo 对象。请注意，共享共同祖先的对象直接构成一个类别。
由于在任何一代中都不允许细胞分裂，因此所有形状变化完全是由给定物体的单个细胞的运动和/或生长引起的。在这种情况下，变形通过在两个指定对象的相应顶点之间进行插值来创建平滑的形状变化。最左翼和最右翼。
胚胎主要成分还可以产生平滑的形状变化。这个胚胎代表 400 个胚胎的算术平均值。在这个特殊情况下，前两个主成分分别占形状信息的 73% 和 19%。
通过改变加权特征值获得胚胎。这些数字胚胎可以渲染为虚拟 3D 对象，然后使用标准的市售 3D 打印机或原型制作器打印为触觉对象，用于研究作为推理的视觉感知，特别是贝叶斯推理。数字胚胎是一种非常有价值的工具，用于创建具有受控参数（如先验和可能性）的新类别。
观看此视频后，您应该对如何创建一组适合您的特定实验的数字胚胎有很好的了解。具有不同可变性和复杂性程度的单个对象或整个类别都可以轻松创建。生成的图像可用于对象识别、分类、类别学习等实验。
概述
本研究提出了一种通过模拟生物过程创建自然主义3D对象和类别的新方法。该方法利用虚拟形态发生和进化发生来生成可以视觉渲染或作为触觉印刷的虚拟对象。
关键研究组成部分
科学领域
- 神经科学
- 生物模拟
- 视觉和触觉感知
背景
- 研究探索我们如何通过视觉和触觉来感知和学习感知对象。
- 虚拟形态发生模拟胚胎发育以创建数字胚胎。
- 虚拟进化发生生成具有定义的统计特性的对象类别。
- 这些方法旨在提供可测量的形状变化而无需研究者的约束。
研究目的
- 开发用于研究视觉和触觉感知的工具。
- 探索在视力障碍康复中的应用。
- 通过生成的刺激研究形态发生和进化。
使用的方法
- 虚拟形态发生模拟以创建3D对象。
- 使用主成分分析进行形状变化。
- 基于特征的贝叶斯推理用于对象分类。
- 3D打印虚拟对象的触觉表示。
主要结果
- 创建具有可测量特征的自然主义虚拟对象。
- 能够通过迭代过程生成复杂形状。
- 方法允许对对象类别的可能性进行精确计算。
- 展示了在感知学习和机器视觉中的应用潜力。
结论
- 该方法为研究感知提供了新的框架。
- 它比传统方法提供了显著的优势。
- 未来的应用可能会增强对视觉处理和康复技术的理解。
常见问题
Executive Industry Relevance
Creating naturalistic, quantifiable 3D object stimuli enables rigorous study of perception and perceptual learning in biological and machine systems. This approach supports target validation by providing controlled, measurable inputs for hypothesis testing in sensory neuroscience and computational vision. The methodology enhances predictive confidence in preclinical models by reducing stimulus confounds and enabling systematic manipulation of shape complexity.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses through precise control over object shape and category statistics.
- Operational Value: Supports biological de-risking by generating novel stimuli with naturalistic variability independent of investigator bias.
- Scientific Value: Facilitates mechanistic de-risking by allowing quantitative measurement of available information in stimuli for modeling object recognition tasks.
Screening & Assay Development
- Scientific Value: Prepares validated biological and computational systems for downstream workflows via reproducible generation of digital embryos and object categories.
- Operational Value: Addresses assay standardization and scalability through principled components analysis and morphing methods that preserve vertex correspondence.
- Scientific Value: Enhances screening readiness by enabling haptic printing of virtual objects for cross-modal visual-haptic training applications.
Translational & Preclinical Research
- Scientific Value: Supports translational biomarker alignment by linking perceptual learning outcomes to controlled stimulus parameters such as priors and likelihoods.
- Operational Value: Ensures continuity from discovery through preclinical validation by simulating embryogenesis and evolution to generate phylogenetically structured object categories.
- Scientific Value: Enables risk-adjusted advancement decisions by allowing objective measurement of category similarity using phylogenetic methods like cophenetic correlation.
Pipeline & Workflow Integration
The method integrates into the discovery continuum from hypothesis testing through lead identification by providing naturalistic, measurable stimuli for perception-based assays.
- Discovery Biology: Supports hypothesis testing and pathway clarification by simulating biological processes to generate stimuli with definable, naturalistic properties.
- Screening: Ensures assay readiness and quantitative outputs via principal components analysis and morphing that generate systematic shape variations.
- Analytics: Highlights feature-based Bayesian inference as a statistical output enabling precise likelihood calculations for object categorization.
- Translational Research: Connects to preclinical continuity by simulating morphogenesis and phylogenesis, offering insights into biological shape evolution.
- Enterprise Reuse: Positions the virtual morphogenesis and phylogenesis framework as a reusable platform for generating stimuli across visual, haptic, and machine vision applications.
Operational & Enterprise Impact
- Scientific Value: Predictive confidence in target validation through reduction of mechanistic ambiguity in stimulus design.
- Operational Value: Standardization, reproducibility, and scalability of stimulus generation across laboratories and modalities.
- Strategic Value: Better go/no-go decisions in early discovery by enabling quantitative assessment of perceptual learning trajectories.
- Portfolio Impact: Risk-adjusted prioritization of sensory neuroscience and neurorehabilitation projects based on measurable stimulus parameters.
Implementation Considerations
- Requires expertise in computational biology, 3D modeling, and statistical inference for effective deployment.
- Depends on instrumentation capable of running simulations in MATLAB or R and rendering via graphical toolkits or 3D printers.
- Necessitates cross-team standardization of stimulus parameters such as growth cycles, morphogen settings, and principal component weights.
- Involves adaptation considerations when applying the method to non-embryonic virtual objects or real-world virtual replicas.
- Includes practical limitations related to computational intensity and the need for validation that simulated naturalism aligns with biological variability.
Biopharma FAQs
Chapters in this video
0:05
Title
2:12
Creating Naturalistic Virtual 3-D Objects using VM
3:16
Creating Naturalistic Object Categories using VP
4:25
Digital Morphing
4:50
Principal Components
5:53
Creating Haptic Versions of 3-D Objects
6:10
An Exemplar Application: Bayesian Inference of Image Category
14:05
Conclusion
