需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

可视化视觉适应

8.7K 次观看

⸱

DOI：

10.3791/54038

⸱

2017年4月24日

 , 
1Department of Psychology, University of Nevada, Reno

本文内容

摘要

本文介绍了一种用于模拟和研究视觉系统适应性的新方法。

摘要

人们已开发出多种技术，用于可视化一幅图像在具有不同视觉敏感性的个体眼中的呈现效果：例如，由于光学差异或年龄因素，或存在色觉缺陷或眼部疾病。本实验方案描述了一种将感觉适应纳入模拟过程的技术。虽然本方案以彩色视觉为例进行说明，但其原理普遍适用于任何形式的视觉适应。该方案基于人类彩色视觉的简化模型，该模型建立在关于视网膜和皮层编码颜色机制的标准且合理的假设之上，并描述了这些机制如何根据当前刺激的平均颜色和颜色范围调整其敏感性。通过调整各机制的增益，使其在一种视觉环境下的平均响应与另一种环境下的响应相等。此类模拟有助于揭示适应能力的理论极限，并生成与特定环境或观察者最匹配的"适应后图像"。此外，该方法还提供了一个通用度量标准，用于探究不同观察者之间或不同环境条件下适应效应的影响。利用这些图像对视觉感知和视觉表现进行表征，为研究视觉或其他感觉系统中长期适应的功能与后果提供了一种新颖的工具。

引言

他人眼中的世界，或我们自身在变化过程中所感知的世界会是什么样子？这些问题的答案对于理解感知的本质与机制，以及正常和临床条件下感觉编码差异所带来的影响具有根本性的重要意义。目前已有多种技术和方法被开发出来，用于模拟图像在具有不同视觉敏感度的个体眼中的呈现方式。例如，这些方法包括模拟不同类型色觉缺陷者能够分辨的颜色1,2,3,4，婴儿或老年观察者可分辨的空间与颜色差异5,6,7,8,9，图像在周边视野中的表现10，以及光学误差或疾病造成的影响11,12,13,14。这些技术还被用于可视化其他物种可能实现的分辨能力15,16,17。通常，此类模拟利用对不同人群敏感度损失的测量数据对图像进行滤波处理，从而降低或消除他们难以察觉的图像结构。例如，常见的色盲类型表现为对中波长或长波长敏感的两种感光细胞之一的功能缺失，经过滤波去除相应信号的图像通常会显得缺乏"红绿色调"1。类似地，婴儿的视力敏锐度较低，因此根据其空间敏感性降低而处理过的图像看起来较为模糊5。这些技术为展示一个人能看到而另一个人可能无法看到的内容提供了极为宝贵的图示。然而，它们并不——也通常无意——准确描绘观察者真实的主观感知体验，在某些情况下甚至可能歪曲观察者实际可获取的信息量和信息类型。

本文介绍了一种用于模拟视觉经验差异的新型技术，该技术整合了视觉编码的一个基本特征——适应18,19所有感觉和运动系统都会持续地根据所处环境进行调整。房间中的刺鼻气味会迅速消散，而视觉则会适应环境的明暗程度。重要的是，这类调整几乎会针对任何刺激属性发生，包括 "高水平" 对面部特征的感知20,21 或他们的声音22,23，以及校准眼球运动或伸手抓取物体时产生的运动指令24,25事实上，适应性很可能是几乎所有神经处理的基本特性。本文通过以下方法说明如何将这些适应效应纳入图像外观的模拟中，基本上 "调整图像" 预测在特定适应状态下其对某一特定观察者的呈现方式26,27,28,29许多因素会改变观察者的敏感度，但适应机制通常能够补偿这些变化中的重要方面，从而使敏感度的损失比假设系统不发生适应时所预测的结果更为不明显。相反，由于适应会根据当前的刺激环境来调整敏感度，因此在预测环境变化时感知可能发生多大程度的改变，也必须将这些调整因素纳入考虑。

以下方案通过调整图像的颜色内容来演示该技术。颜色视觉的优势在于，颜色编码的初始神经阶段以及适应模式均已被相对深入地理解。30。实际的机制和调节过程复杂且多样，但适应的主要后果可以通过一个简单且常规的两阶段模型来概括图1a）。在第一阶段，颜色信号由三种对短、中或长波长光最敏感的视锥感光细胞（S、M 和 L 视锥细胞）进行初始编码。在第二阶段，不同视锥细胞的信号在感光后细胞内整合，形成 "颜色拮抗" 接收来自不同视锥细胞的拮抗性输入的通道（从而传递 "颜色" 信息），以及 "非对抗性" 将视锥细胞输入信号相加的通道（从而编码） "亮度" 信息）。适应在这两个阶段都会发生，并分别调整颜色的两个不同方面——均值（在视锥细胞中）和方差（在感受器后通道中）30,31仿真的目标是将这些调整应用于模型机制，然后根据其调整后的输出结果生成图像。

图像适应过程包含六个主要组成部分：1）选择图像；2）选择图像光谱的格式；3）定义环境颜色的变化；4）定义观察者敏感度的变化；5）使用程序生成适应后的图像；以及6）利用图像评估适应效果。下文将详细讨论这些步骤。基本模型及机制响应如图1所示，而图2 - 5展示了使用该模型渲染的图像示例。

访问受限。请登录或开始试用以查看此内容。

方案

注意：本方案所展示的程序允许用户选择图像，然后通过不同下拉菜单中的选项对图像进行调整。

1. 选择要调整的图像

  1. 点击图像并浏览以选择要处理的图像文件名。在左上角窗格中观察原始图像。

2. 指定刺激与观察者

  1. 点击 "格式" 菜单，选择如何表示图像和观察者。
  2. 点击 "标准观察者" 选项，以模拟一个标准或平均观察者对特定颜色分布的适应情况。在此情况下，使用标准方程将图像的 RGB 值转换为视锥细胞敏感性32。
  3. 点击 "个体观察者" 选项，以模拟特定观察者的光谱敏感性。由于这些敏感性依赖于波长，程序会利用显示器的标准或实测发射光谱，将图像的 RGB 值转换为电子枪光谱。
  4. 点击 "自然光谱" 选项，以近似现实世界中的实际光谱。此选项通过使用标准基函数33 或高斯光谱34 等方法，将 RGB 值转换为光谱，从而逼近图像颜色对应的光谱。

3. 选择适应条件

  1. 可将同一观察者适应于不同环境（例如，森林环境与城市景观的颜色），或将不同观察者适应于同一环境（例如，正常色觉观察者与色觉缺陷观察者）。
    1. 在前一种情况下，使用菜单选择不同环境；在后一种情况下，使用菜单定义观察者的敏感度。
  2. 设置环境时，从下拉菜单中选择"参考"和"测试"环境。这些选项通过加载不同环境下的机制响应来控制两种不同的适应状态。
    1. 选择"参考"菜单以控制起始环境。这是受试者在观看原始图像时所适应的环境。
      注：所显示的选项已针对不同环境预先计算得出，其数据来源于对不同图像集合色域的测量。例如，有研究通过在同一地点不同时间拍摄的校准图像，考察了颜色感知如何随季节变化而变化27；另一项研究则通过采样不同场景类别的图像来代表不同地理位置，探讨适应过程如何影响跨地域的颜色感知29。
    2. 选择"用户自定义"环境以加载自定义环境的数值。此时将弹出窗口供浏览并选择特定文件。要为独立图像创建此类文件，请先显示每个需包含的图像（如步骤1所示），然后点击"保存图像响应"按钮。
      注：此操作将弹出一个窗口，允许创建或追加存储各图像响应的 Excel 文件。若要创建新文件，请输入文件名，或浏览已有文件。对于已有文件，当前图像的响应将被添加，并自动对所有图像的响应进行平均。当选择带有"用户自定义"选项的文件时，这些平均值将作为参考环境的输入。
    3. 选择"测试"菜单以访问待调整图像的环境列表。选择"当前图像"选项，以使用所显示图像的机制响应。
      注：此选项假设受试者正在适应当前所查看图像中的颜色。否则，请选择一个预计算的环境，或选择"用户自定义"选项以加载测试环境。

4. 选择观察者的光谱灵敏度

注意：对于不同环境的适应效应，观察者通常保持不变，并设置为具有平均光谱敏感性的默认"标准观察者"。有3个菜单可用于设置个体的光谱敏感性，这些菜单控制观察者的屏蔽色素含量或光谱敏感性。

  1. 点击 "lens" 菜单以选择晶状体色素的密度。不同选项可对应不同年龄特征的密度。
  2. 点击 "macular" 菜单，类似地选择黄斑色素的密度。根据色素的最大密度来观察这些选项。
  3. 点击 "cones" 菜单，选择具有正常三色视觉或不同类型异常三色视觉的观察者。
    注意：程序根据所选选项定义观察者的视锥细胞光谱敏感性，以及一组由视锥信号线性组合而成的26个后感受器通道，以大致均匀地采样不同的颜色和亮度组合。

5. 调整图像

  1. 点击 "adapt" 按钮。
    注意：此操作将执行代码，用于计算视锥细胞及感受器后机制对图像中每个像素的响应。响应经过缩放处理，使得对适应色分布的平均响应等于对参考分布的平均响应，或使得个体观察者或参考观察者的平均响应相同。该缩放为乘法性缩放，用以模拟 von Kries 适应35。随后通过叠加各机制的响应，并将其转换回用于显示的 RGB 值来渲染新图像。算法的详细信息见文献26,27,28,29。
  2. 观察屏幕上出现的三幅新图像。它们分别标注为：1）"unadapted" —— 表示测试图像在参考环境下完全适应后的观察者所看到的效果；2）"cone adaptation" —— 仅对感受器层面的适应进行调整后的图像；3）"full adaptation" —— 表示在环境变化或观察者变化下完全适应后所预测的图像。
  3. 点击 "save images" 按钮以保存计算得到的三幅图像。此时屏幕上将弹出新窗口，供您浏览并选择保存文件夹及文件名。

6. 评估适应的结果

注意：原始参考图像和调整后的图像是模拟同一图像在两种建模适应状态下的呈现效果，重要的是，它们之间的差异仅源于适应状态的不同。因此，图像间的差异可揭示适应所带来的影响。

  1. 通过视觉观察图像之间的差异。
    注意：简单地检查图像有助于展示在不同色彩环境中生活时色觉可能产生多大差异，或观察者在敏感性发生变化时，适应机制可能在多大程度上予以补偿。
  2. 通过使用图像进行分析或行为测量，量化这些适应效应，以实证方式评估适应所导致的结果29。
    1. 测量颜色外观的变化。例如，比较两幅图像中的颜色，以评估颜色类别或感知显著性在不同环境或观察者之间如何发生偏移。例如，利用对适应后颜色变化的分析，计算由于观察者所处色彩环境的差异，独特色调（例如，纯黄色或纯蓝色）在理论上可能发生多大程度的变化29。
    2. 探究适应如何影响视觉敏感性或视觉表现。例如，使用经过适应处理的图像，比较当观察者首先适应背景颜色后，对新异颜色的视觉搜索是否更快。可通过在图像上叠加一组目标刺激和不同颜色的干扰刺激（这些刺激也随图像一同进行了适应处理），并测量定位异常目标的反应时间，来实施该实验29。

访问受限。请登录或开始试用以查看此内容。

结果

图2 - 4 说明观察者或环境变化的适应性模拟。 图2 比较塞尚作品预测外观的 静物与苹果 仅在晶状体色素密度上存在差异的年轻与年长观察者28. 年轻眼睛所见的原始图像（图2a）通过色素更密集的晶状体观察时，显得更黄且更暗图2b）。(平均颜色和色度反应的相应变化如图所示 图1c然而，对平均光谱变化的适应几乎消除了全部的颜色外观变化（图 2c). 视锥细胞的适应使原始的颜色反应几乎完全恢复，因此后续的对比度变化影响甚微。

图3 显示梵高的 鸢尾属植物 过滤以模拟在绿视异常观察者中的颜色外观，其正常的M视锥色素的峰值敏感度偏移至与L视锥色素...

访问受限。请登录或开始试用以查看此内容。

讨论

本图示方案展示了如何在图像中呈现适应环境或观察者变化所产生的效应。这种呈现形式取决于模型所采用的假设——例如颜色的编码方式，以及编码机制如何响应和适应变化。因此，最关键的步骤是确定颜色视觉模型——例如假设的通道具有哪些特性，以及这些通道被假定如何适应。其他重要步骤是为所要适应的两种环境或两种观察者敏感性特性设置适当的参数。

所示模型非常简单，根据具体应用，该模型在许多方面并不完善，尚有多种扩展可能。例如，颜色信息并未独立于形状进行编码，且所示模拟未考虑图像的空间结构、神经感受野，或诸如对比度归一化等机制间的已知相互作用38。同样，图像中所有像素被赋予相同权重，因此模拟未包含诸如眼动过程中场景采样方式等空间因素。模型中的适应过程也被假定为简单的乘法性缩放，这适用于某些类型的色觉适应，但可能无法准确描述感受器后水平的响应变化。类似地，模型中的对比度响应函数为线性函数，因而无法模拟神经元的实际响应函数。另一个重要局限是，所示模拟未包含噪声。若噪声出现在适应位点或其上游，则适应可能同时调节信号与噪声，从而对视觉外观和视觉表现产生截然不同的影响...

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

由美国国立卫生研究院（NIH）资助项目 EY-10834 支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
计算机
用于适配的图像
编程语言（例如，Visual Basic 或 Matlab）
用于处理图像的程序
观察者的光谱敏感性（适用于与观察者相关的适配应用）
设备发射光谱（适用于依赖设备的应用）

参考文献

  1. Vienot, F., Brettel, H., Ott, L., Ben M'Barek, A., Mollon, J. D. What do colour-blind people see? Nature. 376, 127-128 (1995).
  2. Brettel, H., Vienot, F., Mollon, J. D. Computerized simulation of color appearance for dichromats. J Opt Soc Am A Opt Image Sci Vis. 14, 2647-2655 (1997).
  3. Flatla, D. R., Gutwin, C. So that's what you see: building understanding with personalized simulations of colour vision deficiency. Proceedings of the 14th international ACM SIGACCESS conference on Computers and accessibility. , 167-174 (2012).
  4. Machado, G. M., Oliveira, M. M., Fernandes, L. A. A physiologically-based model for simulation of color vision deficiency. IEEE Trans. Vis. Comput. Graphics. 15, 1291-1298 (2009).
  5. Teller, D. Y. First glances: the vision of infants. the Friedenwald lecture. Invest. Ophthalmol. Vis. Sci. 38, 2183-2203 (1997).
  6. Wade, A., Dougherty, R., Jagoe, I. Tiny eyes. , Available from: http://www.tinyeyes.com/ (2016).
  7. Ball, L. J., Pollack, R. H. Simulated aged performance on the embedded figures test. Exp. Aging Res. 15, 27-32 (1989).
  8. Sjostrom, K. P., Pollack, R. H. The effect of simulated receptor aging on two types of visual illusions. Psychon Sci. 23, 147-148 (1971).
  9. Lindsey, D. T., Brown, A. M. Color naming and the phototoxic effects of sunlight on the eye. Psychol Sci. 13, 506-512 (2002).
  10. Raj, A., Rosenholtz, R. What your design looks like to peripheral vision. Proceedings of the 7th Symposium on Applied Perception in Graphics and Visualization. , 88-92 (2010).
  11. Perry, J. S., Geisler, W. S. Gaze-contingent real-time simulation of arbitrary visual fields. International Society for Optics and Photonics: Electronic Imaging. , 57-69 (2002).
  12. Vinnikov, M., Allison, R. S., Swierad, D. Real-time simulation of visual defects with gaze-contingent display. Proceedings of the 2008 symposium on Eye tracking research. , 127-130 (2008).
  13. Hogervorst, M. A., van Damme, W. J. M. Visualizing visual impairments. Gerontechnol. 5, 208-221 (2006).
  14. Aguilar, C., Castet, E. Gaze-contingent simulation of retinopathy: some potential pitfalls and remedies. Vision res. 51, 997-1012 (2011).
  15. Rowe, M. P., Jacobs, G. H. Cone pigment polymorphism in New World monkeys: are all pigments created equal? Visual neurosci. 21, 217-222 (2004).
  16. Rowe, M. P., Baube, C. L., Loew, E. R., Phillips, J. B. Optimal mechanisms for finding and selecting mates: how threespine stickleback (Gasterosteus aculeatus) should encode male throat colors. J. Comp. Physiol. A Neuroethol. Sens. Neural. Behav. Physiol. 190, 241-256 (2004).
  17. Melin, A. D., Kline, D. W., Hickey, C. M., Fedigan, L. M. Food search through the eyes of a monkey: a functional substitution approach for assessing the ecology of primate color vision. Vision Res. 86, 87-96 (2013).
  18. Webster, M. A. Adaptation and visual coding. J vision. 11 (5), 1-23 (2011).
  19. Webster, M. A. Visual adaptation. Annu Rev Vision Sci. 1, 547-567 (2015).
  20. Webster, M. A., Kaping, D., Mizokami, Y., Duhamel, P. Adaptation to natural facial categories. Nature. 428, 557-561 (2004).
  21. Webster, M. A., MacLeod, D. I. A. Visual adaptation and face perception. Philos. Trans. R. Soc. Lond., B, Biol. Sci. 366, 1702-1725 (2011).
  22. Schweinberger, S. R., et al. Auditory adaptation in voice perception. Curr Biol. 18, 684-688 (2008).
  23. Yovel, G., Belin, P. A unified coding strategy for processing faces and voices. Trends cognit sci. 17, 263-271 (2013).
  24. Shadmehr, R., Smith, M. A., Krakauer, J. W. Error correction, sensory prediction, and adaptation in motor control. Annu rev neurosci. 33, 89-108 (2010).
  25. Wolpert, D. M., Diedrichsen, J., Flanagan, J. R. Principles of sensorimotor learning. Nat rev Neurosci. 12, 739-751 (2011).
  26. McDermott, K., Juricevic, I., Bebis, G., Webster, M. A. Human Vision and Electronic Imaging. SPIE. Rogowitz, B. E., Pappas, T. N. 68060, V-1-10 (2008).
  27. Juricevic, I., Webster, M. A. Variations in normal color vision. V. Simulations of adaptation to natural color environments. Visual neurosci. 26, 133-145 (2009).
  28. Webster, M. A., Juricevic, I., McDermott, K. C. Simulations of adaptation and color appearance in observers with varying spectral sensitivity. Ophthalmic Physiol Opt. 30, 602-610 (2010).
  29. Webster, M. A. Probing the functions of contextual modulation by adapting images rather than observers. Vision res. , (2014).
  30. Webster, M. A. Human colour perception and its adaptation. Network: Computation in Neural Systems. 7, 587-634 (1996).
  31. Webster, M. A., Mollon, J. D. Colour constancy influenced by contrast adaptation. Nature. 373, 694-698 (1995).
  32. Brainard, D. H., Stockman, A. OSA Handbook of Optics. Bass, M. , 10-11 (2010).
  33. Maloney, L. T. Evaluation of linear models of surface spectral reflectance with small numbers of parameters. J Opt Soc Am A Opt Image Sci Vis. 3, 1673-1683 (1986).
  34. Mizokami, Y., Webster, M. A. Are Gaussian spectra a viable perceptual assumption in color appearance? J Opt Soc Am A Opt Image Sci Vis. 29, A10-A18 (2012).
  35. Chichilnisky, E. J., Wandell, B. A. Photoreceptor sensitivity changes explain color appearance shifts induced by large uniform backgrounds in dichoptic matching. Vision res. 35, 239-254 (1995).
  36. Boehm, A. E., MacLeod, D. I., Bosten, J. M. Compensation for red-green contrast loss in anomalous trichromats. J vision. 14, (2014).
  37. Regan, B. C., Mollon, J. D. Colour Vision Deficiencies. Vol. XIII. Cavonius, C. R. , Springer. Dordrecht. 261-270 (1997).
  38. Carandini, M., Heeger, D. J. Normalization as a canonical neural computation. Nature reviews. Neurosci. 13, 51-62 (2011).
  39. Rieke, F., Rudd, M. E. The challenges natural images pose for visual adaptation. Neuron. 64, 605-616 (2009).
  40. Hardy, J. L., Frederick, C. M., Kay, P., Werner, J. S. Color naming, lens aging, and grue: what the optics of the aging eye can teach us about color language. Psychol sci. 16, 321-327 (2005).
  41. Webster, M. A., Mollon, J. D. Adaptation and the color statistics of natural images. Vision res. 37, 3283-3298 (1997).
  42. Webster, M. A., Mizokami, Y., Webster, S. M. Seasonal variations in the color statistics of natural images. Network. 18, 213-233 (2007).
  43. Sagi, D. Perceptual learning in Vision Research. Vision res. , (2011).
  44. Lu, Z. L., Yu, C., Watanabe, T., Sagi, D., Levi, D. Perceptual learning: functions, mechanisms, and applications. Vision res. 50, 365-367 (2009).
  45. Bavelier, D., Green, C. S., Pouget, A., Schrater, P. Brain plasticity through the life span: learning to learn and action video games. Annu rev neurosci. 35, 391-416 (2012).
  46. Kompaniez, E., Abbey, C. K., Boone, J. M., Webster, M. A. Adaptation aftereffects in the perception of radiological images. PloS one. 8, e76175(2013).
  47. Ross, H. Behavior and Perception in Strange Environments. , George Allen & Unwin. (1974).
  48. Armann, R., Jeffery, L., Calder, A. J., Rhodes, G. Race-specific norms for coding face identity and a functional role for norms. J vision. 11, 9(2011).
  49. Oruc, I., Barton, J. J. Adaptation improves discrimination of face identity. Proc. R. Soc. A. 278, 2591-2597 (2011).
  50. Kording, K. P., Tenenbaum, J. B., Shadmehr, R. The dynamics of memory as a consequence of optimal adaptation to a changing body. Nature neurosci. 10, 779-786 (2007).
  51. Neitz, J., Carroll, J., Yamauchi, Y., Neitz, M., Williams, D. R. Color perception is mediated by a plastic neural mechanism that is adjustable in adults. Neuron. 35, 783-792 (2002).
  52. Delahunt, P. B., Webster, M. A., Ma, L., Werner, J. S. Long-term renormalization of chromatic mechanisms following cataract surgery. Visual neurosci. 21, 301-307 (2004).
  53. Bao, M., Engel, S. A. Distinct mechanism for long-term contrast adaptation. Proc Natl Acad Sci USA. 109, 5898-5903 (2012).
  54. Kwon, M., Legge, G. E., Fang, F., Cheong, A. M., He, S. Adaptive changes in visual cortex following prolonged contrast reduction. J vision. 9 (2), 1-16 (2009).
  55. Webster, M. A. Handbook of Color Psychology. Elliott, A., Fairchild, M. D., Franklin, A. , Cambridge University Press. 197-215 (2015).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

颜色视觉模拟感觉适应视锥细胞适应对比度适应光谱敏感性晶状体色素黄斑色素观察者建模环境适应
可视化视觉适应
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。