本文介绍了一种由人工监督的计算工作流程,用于分析433幅清代外销画中女性形象的重复性表征。七个由人工确定的参考类别及反复出现的视觉线索揭示了该语料库中的模式,但研究结果仅限于所采样的图像,无法衡量清代的社会现实或历史接受情况。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文介绍了一种由人工监督的计算工作流程,用于分析433幅清代外销画中女性形象的重复性表征。七个由人工确定的参考类别及反复出现的视觉线索揭示了该语料库中的模式,但研究结果仅限于所采样的图像,无法衡量清代的社会现实或历史接受情况。
本研究分析了433幅1757–1911年间中国清代外销画中女性身份的重复性表征及与社会阶层相关的视觉线索。研究流程结合了CLIP ViT-B/32模型进行初步标注、借助Segment Anything Model(SAM)实现目标定位、降维与聚类分析,以及由两名独立编码员进行的人工图像志编码。CLIP标签用于初步分类,SAM作为定位辅助工具,经仲裁后的人工编码则提供参考分类标准。综合结果识别出七类与人物相关的类别:仕女/美人(n = 112)、劳作(n = 72)、家居(n = 64)、侍从(n = 58)、礼仪/婚嫁(n = 45)、市井(n = 43)和表演(n = 39)。在433幅画作中,初步计算标注与人工参考标注一致的样本达356幅(82.2%),各类别的召回率介于73.3%至88.4%之间。通过服饰、空间场景、物品、姿态及所描绘的社会关系的重复组合,刻画了这些类别的视觉特征。对433个样本层级的AI–人工标签配对进行评估,获得了全面的类别级精确率、召回率与F1分数,并生成了详述分类模式的混淆矩阵。聚类验证支持所选聚类方案,并表明所生成的聚类与人工定义的参考类别具有一致性。总体而言,服饰、空间场景、物品、姿态与社会关系的重复组合,表明在所采样的画作语料库中存在规律性的图像类型学。这些发现刻画了清代中国外销画中的视觉表征,但不应将其解读为对法律地位、实际生活经验、市场需求或历史上外国受众接受度的直接度量。
18世纪末以来,清代外销画成为连接广州与其他收藏中心和欧美买家之间的商业与文化网络的组成部分1,2,3,4,5。商人、旅行者、外交官、传教士和收藏家将这些画作作为便携商品、纪念品、视觉信息来源,以及对地域、职业、生产活动、风俗习惯和社会类型的形象呈现而加以购藏。因此,这些画作的流传既反映了中国本地作坊的制作实践,也体现了外部市场需求的期待。
海外市场的需求倾向于选择具有辨识度的主题、系列化形式、重复出现的图案以及便于收藏和比较的场景。作坊为销售目的调整了媒介、尺幅、构图和题材,而买家通常偏爱对行业贸易、仪式活动、室内陈设、园林景观、街道风貌以及富有画面感的社会人物形象的清晰描绘。广州作坊反复制作同类场景的作品,进一步表明艺术家及其助手如何针对海外 patrons 调整图像程式与西方绘画技法1,2,3,4,5。尽管市场需求可能影响了作品的创作与留存,但现有文献资料并不能直接反映个体买家的具体偏好或实际反馈。
因此,这些画作应被视为经过选择和中介的资料,而非对日常生活的全面记录。画中的场景可能通过作坊惯例、市场选择、博物馆收藏、编目和数字化等过程,对社会习俗进行理想化、简化、标准化或改编1,2,3,4,5。历史解读必须区分画作中可直接观察到的特征,以及关于所描绘个体、创作背景和后世观者赋予作品意义等方面的推论。
女性形象为考察这一区别提供了集中的途径。服饰、发型、姿态、空间场景、物品、活动以及与其他人物的关系,可将女性组织成视觉上反复出现的角色类型,包括精英/美人、家庭、仆人、劳作、市集、表演以及仪式/婚礼等类别。这些类别是对图像模式的分析性描述,其本身并不能确立法律地位、财富、职业、民族、旗籍或汉族归属、道德品质或实际身份。
数字艺术史与计算机视觉不仅能够促进对数字化视觉藏品的大规模比较,还能对计算模型中隐含的假设进行批判性审视6,7。视觉–语言模型有助于识别和整理反复出现的视觉母题,但当使用当代模型词汇处理历史性的非西方图像时,文化偏见仍是一个重要局限8。有关中国传统绘画的同类计算研究同样表明,将定量的模式检测与基于历史背景的阐释相结合具有重要价值9。
本研究探讨三个问题:(1)语料库中呈现了哪些经裁决的人工编码女性身份类别?(2)这些类别的特征由哪些服装、空间场景、物品、姿势和社会关系组合构成?(3)总体精确匹配准确率和类别级别的召回率在七个类别之间有何差异?该工作流程借鉴了中国传统绘画的计算分析方法9,同时将其历史主张限定于所采样的图像及已有记录的分析范围之内。
本研究的贡献兼具史学方法与技术层面。通过语料库规模的比较,可识别出反复出现的图像程式,进而通过深入的历史分析对其进行语境化阐释。该方法有助于推动关于性别、等级制度、日常生活表征以及跨文化交流的研究,而无需将图像出现频率视为社会普遍性的证据,或将视觉相似性当作历史同一性的证明。
访问受限。请登录或开始试用以查看此内容。
研究设计与分析单位
每幅绘画作品或目录记录被视为一个独立的分析单位。本研究采用基于语料库的观察性设计,结合元数据审查、初步计算组织、独立人工编码以及艺术史解释。研究时段界定为1757年至1911年,在此时间范围内应用了纳入与排除标准。对历史艺术作品及其相关目录元数据进行了分析。在比较不等时间区间的分布时,数据量按区间时长进行了归一化处理,同时在结果解释中考虑了可能存在的存世偏差与收藏偏差。
语料库构建与筛选
候选记录从所引用的博物馆目录、数字档案和已发表的目录中获取。针对每条候选记录,保留了机构、标题、日期或日期范围、媒介、入藏号或目录编号、稳定的来源网址、检索日期以及权利声明。即使相应图像文件因法律原因无法再分发,仍保留了来源链接。报告的筛选流程始于612幅候选图像。其中,85幅因超出1757–1911年的时间范围或不属于外销画传统而被排除;58幅因属于现代复制品、图像模糊或主题错误而被排除;29幅因缺乏可识别的女性人物或图像分辨率不足而被排除;7幅因元数据不充分而被排除。最终的分析语料库包含433条记录。
元数据标准化与图像预处理
最终分析语料库中的每幅画作均被分配一个稳定的QEP标识符,范围从QEP_001至QEP_433。保留了相关的博物馆元数据,包括机构、藏品编号、标题、年代、媒介或材料、原产地、来源链接以及可获得的目录描述。用于视觉分析的信息包括:初步的AI标签、经人工判定的类别、女性人物数量、年龄组、姿势、服饰、空间场景、相关物品及社会关系。每幅画作被归类为七个主要类别之一:仕女/美人、家庭生活、侍女、劳作、市井、表演或仪式/婚礼。对于包含多个女性人物的场景,根据视觉显著性和叙事中心性确定主要人物。当无单一女性人物占主导地位时,则依据画面中主要描绘的活动和整体场景背景确定主类别。在类别重叠的情况下,优先依据所描绘的活动和场景背景进行判断,而非仅凭服饰或外貌。存在歧义的情况由两位编码员独立复核,并通过协商达成一致。源图像以JPEG或PNG格式保存。仅裁剪网页边框、目录框架或非图像边距部分。未对画作内容进行重构、重着色、增强或修复。
基于CLIP的初步标记
采用 CLIP ViT-B/32 图像编码器进行初步的图像–文本相似性分析9。候选身份术语包括 elite woman、domestic woman、female servant、working woman、market woman、female performer、bride 和 ritual woman。场景术语包括 Chinese interior、garden、street market、workshop、tea production、textile work 和 ceremonial scene。针对每幅图像,均保留完整的提示模板集合、模板顺序、任何提示集成方法、文本归一化流程、决策规则、置信度评分及并列情况。
使用 Python 3.10 和 PyTorch 2.0.1 实现的 OpenAI CLIP ViT-B/32 模型,将完整的提示词列表一致地应用于所有图像。推理过程在支持 CUDA 的 GPU 上进行,批量大小为 32,采用 FP32 精度。每幅图像均被调整大小并中心裁剪至 224 × 224 像素,并使用与 ViT-B/32 模型相关的预处理变换对 RGB 通道进行归一化。文本提示词由上述定义的身份和场景描述符构建,并通过 CLIP 文本编码器进行编码。计算归一化后的图像嵌入与文本嵌入之间的余弦相似度,并将相似度得分最高的提示词指定为初步的人工智能标签。所有候选标签的相似度得分均被保留,以供后续人工审核。实验中使用固定的随机种子 42,并对全部 433 幅画作应用相同的预处理流程、提示词模板和决策规则。
基于 SAM 的辅助定位
Segment Anything Model(SAM)仅被严格用于对人物、服装、家具、工具、仪式用品以及建筑区域进行定位,以供人工视觉检查。必须强调的是,SAM 并未参与分类流程;其生成的掩膜、裁剪区域及衍生特征均与 CLIP 的标注和聚类过程相互隔离,从而确保 SAM 的应用仅提供定位辅助,而不会影响或夸大分类性能。
必要时采用手动点提示或边界框来优化视觉元素的定位。对女性形象、服饰、家具、工具、仪式物品以及建筑元素生成 SAM 掩膜,并对每次分割结果进行目视检查,以确保区域覆盖恰当。生成的掩膜有助于识别和审查相关图像学特征,但未用于 CLIP 标注或类别分配。
降维与聚类
计算了CLIP图像嵌入,并使用余弦距离的UMAP进行二维可视化10。记录了用于聚类的表示方法及其预处理流程、维度和距离定义。
对图像特征表示应用了K均值聚类和层次聚类,以识别语料库中反复出现的视觉组合模式11。使用轮廓系数和戴维斯-布尔丁指数评估了k = 5–9的候选K均值聚类方案。K均值++初始化采用以下参数:n_init = 10,max_iter = 300,tol = 1 × 10⁻4,random_state = 42。层次聚类采用平均连接和余弦距离的凝聚聚类方法进行。通过定量验证指数、聚类稳定性以及艺术史可解释性对候选聚类方案进行比较,最终选择能够最连贯地表征反复出现视觉模式的聚类方案。每幅画作(共433幅)的最终聚类分配结果被保留下来,用于后续与人工编码类别的比较。
人工编码、培训与裁决
两名编码员使用一份版本化的编码手册,独立审查全部433幅图像,编码内容包括主要类别、图像数量、年龄组、姿势、服装、空间场景、物体及社会关系。在进行裁决前,保留了每位编码员的独立记录。编码员具备艺术史与视觉分析相关背景,并通过标准化编码手册及绘画语料库中的代表性样例接受了培训。在正式编码开始前,他们完成了一项包含30幅绘画的校准练习,以促进对七个身份类别和五个视觉线索维度的一致理解。
在正式编码过程中,两名编码员在相互盲态下独立评估所有符合条件的画作,且对初步的AI标签和聚类分配均不知情。采用Cohen's kappa系数评估编码员间信度。主要身份类别的kappa值为0.88,各类视觉线索变量的kappa值介于0.79至0.92之间,表明编码员之间具有高度一致性。对于存在分歧的条目,通过讨论达成共识后予以解决,并将裁决后的类别及视觉线索编码记录下来用于后续分析12。预裁决标签得以保留。
人工智能与人类的一致性及性能评估
以仲裁后的人类分类作为参考,与每幅画作的一个初步人工智能标签进行描述性比较。总体完全匹配准确率为 356/433(82.2%)。类别召回率计算为每个类别中人工智能与人类完全匹配的数量除以该类别人类参考样本的支持数。各类别的支持数、完全匹配数、不匹配数及相应的分母均被明确列出。
基于433个病例层面的成对人工智能与人工标注结果,计算了目标类别的假阳性率、各类别的精确率、召回率和F1分数。构建了完整的混淆矩阵,用于分析非对角线上的分类模式,进而指导对不一致结果的审查、错误分类的记录以及裁决规则的制定。
可重复性数据包与材料
计算工作流程及相关研究材料已整理至一个版本控制的代码仓库中。该可重复性数据包包含用于预处理、CLIP 分析、SAM 定位、UMAP 降维、聚类、一致性分析及图表生成的脚本,同时附带人工编码代码本、配置文件、依赖信息、个案层级的衍生结果,以及图像来源与版权信息的机器可读清单。归档的研究材料已分配持久性标识符,以促进研究的可重复性与再利用。
使用 Microsoft Excel 2021 对元数据进行整理和管理。计算分析采用 CLIP ViT-B/32 进行初步的视觉-语言标注,SAM 用于视觉元素定位,UMAP 结合余弦距离进行降维,K 均值聚类和层次聚类用于探索性模式分析。聚类结果通过轮廓系数和戴维斯–布尔丁指数进行评估,编码者间一致性通过 Cohen’s kappa 进行评估。整个工作流程中所使用的软件环境、模型配置、计算设置和随机种子均被详细记录,以支持结果的可重复性。
访问受限。请登录或开始试用以查看此内容。
语料库构建与描述性构成
图1 展示了语料库的四部分概览。图1A 显示了从612条候选记录筛选至433条保留记录的报告过程。图1B 展示了媒介和格式的代表性示例。图1C 呈现了四个时间区间的数量分布,而 图1D 总结了语料库的来源与媒介构成。由于时间区间所涵盖的时间段不相等,这些数量仅描述了采样语料库的构成,不应被解读为历史生产速率。
表1总结了语料库的总体特征。其中博物馆收藏记录为302条,数字档案记录为81条,已出版目录记录为50条。媒体类型分为外销水彩画(n = 176)、通草纸绘画(n = 112)、外销册页(n = 83)、人物画(n = 41)及其他形式(n = 21)。元数据完整性分为完整(n = 2...
访问受限。请登录或开始试用以查看此内容。
在提供的汇总数据中,433 条记录被划分为七个以人类为参照的类别,并通过五种视觉提示家族进行描述。精英/美貌类是最大的类别(112/433),356 个初步标签与报告中的人类参照相符(82.2%)。这些是语料库中的观察结果。它们支持对重复出现的图像模式进行研究,但不足以支持更强的论断,即这些模式忠实地再现了清代社会,或在外国观众中引发了特定反应13。
规范性性别话语、家庭地位、劳作以及清代法律共同塑造了女性的生活,但并未以单一方式决定其命运。关于清盛期女性的研究记录表明,女性在参与家庭规范和贞节制度的同时,也广泛参与劳作、写作、礼仪、宗教及娱乐活动。八旗制度是由法律和行政实践所界定的世袭性、多民族身份群体;因此,旗籍身份不应自动等同于满族血统14,15,16,17。在本研究中,服饰...
访问受限。请登录或开始试用以查看此内容。
作者无任何利益冲突需要披露。
作者感谢维多利亚与阿尔伯特博物馆、大英博物馆、大都会艺术博物馆、史密森尼国立亚洲艺术博物馆、皮博迪·埃塞克斯博物馆、中国香港艺术馆、大英图书馆、盖蒂研究所及其他收藏机构和目录团队,这些机构的在线记录为语料库的发现提供了支持。访问在线记录并不意味着获得其图像再分发的许可;因此,面板级别的权利信息和来源链接将单独记录。作者还感谢支持 CLIP 和 SAM 的开放研究社区,以及来自澳门城市大学和广东技术师范大学的行政支持。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| CLIP ViT-B/32 | OpenAI | OpenAI CLIP, ViT-B/32 | 用于初步图像–文本相似性分析及初步人工智能标签分配的视觉-语言模型。 |
| 计算工作站 | 作者’的计算工作站 | CUDA-enabled GPU;具体硬件配置需报告 | 用于执行CLIP与SAM推理及计算分析的工作站;应从原始运行环境中报告GPU、CPU、内存、操作系统及CUDA的具体参数。 |
| Matplotlib | Matplotlib开发团队 | Python包;具体版本需报告 | 用于计算可视化以及分析图表和曲线图的生成。 |
| Microsoft Excel 2021 | 微软公司 | Microsoft Excel 2021 | 用于元数据整理、筛选记录以及表格化研究数据的管理。 |
| NumPy | NumPy开发者 | Python包;具体版本需报告 | 用于数值计算及图像特征与分析数组的操作。 |
| pandas | pandas开发团队 | Python包;具体版本需报告 | 用于结构化数据处理、元数据加工以及病例级别分析结果的组织。 |
| Python 3.10 | Python软件基金会 | Python 3.10 | 用于实现计算图像分析流程的编程环境。 |
| PyTorch 2.0.1 | PyTorch基金会 | PyTorch 2.0.1 | 深度学习框架,用于基于CLIP的图像与文本编码及GPU推理。 |
| scikit-learn | scikit-learn开发者 | Python包;具体版本需报告 | 用于K均值聚类、凝聚聚类、轮廓系数、戴维斯–博尔丁指数及科恩’s kappa系数的计算。 |
| 通用分割模型(Segment Anything Model, SAM) | Meta AI Research | SAM | 用于定位女性人物、服饰、家具、工具、仪式用品及建筑区域以进行视觉检查的分割模型。 |
| umap-learn | McInnes等 | UMAP的Python实现 | 用于对CLIP图像嵌入向量进行降维,并基于余弦距离实现二维可视化。 |
访问受限。请登录或开始试用以查看此内容。