Conception de l'étude et unité d'analyse
Chaque tableau ou notice de catalogue a été considéré comme une unité d'analyse. Une conception observationnelle fondée sur un corpus a été utilisée, combinant l'examen des métadonnées, une organisation computationnelle préliminaire, un codage manuel indépendant et une interprétation de nature historico-artistique. La période d'étude s'est étendue de 1757 à 1911, et des critères d'inclusion et d'exclusion ont été appliqués dans cet intervalle. Des œuvres d'art historiques ainsi que leurs métadonnées cataloguées associées ont été analysées. Lorsque des distributions sur des intervalles de temps inégaux ont été comparées, les effectifs ont été normalisés par la durée des intervalles, tout en tenant compte, dans l'interprétation, des biais potentiels liés à la conservation et à l'acquisition.
Construction et sélection du corpus
Les notices candidates ont été extraites des catalogues de musées cités, des archives numériques et des catalogues publiés. Pour chaque notice candidate, l'institution, le titre, la date ou la période, le support, le numéro d'inventaire ou de catalogue, l'URL stable de la source, la date de consultation et l'avis sur les droits ont été conservés. Les liens sources ont été préservés même lorsque le fichier image correspondant ne pouvait pas être redistribué légalement. La procédure de tri signalée a débuté avec 612 images candidates. Parmi celles-ci, 85 ont été exclues car elles se situaient en dehors de la période 1757–1911 ou en dehors de la tradition des peintures d'exportation, 58 ont été exclues car il s'agissait de reproductions modernes, de notices floues ou de sujets incorrects, 29 ont été exclues car elles ne présentaient pas de figure féminine identifiable ou une résolution d'image insuffisante, et 7 ont été exclues en raison de métadonnées insuffisantes. Le corpus analytique final comprenait 433 notices.
Standardisation des métadonnées et prétraitement des images
Chaque tableau du corpus analytique final s'est vu attribuer un identifiant QEP stable, allant de QEP_001 à QEP_433. Les métadonnées muséales associées ont été conservées, notamment l'institution, le numéro d'inventaire, le titre, la date, la technique ou les matériaux, le lieu d'origine, le lien source et la description cataloguée disponible. Pour l'analyse visuelle, l'étiquette préliminaire générée par l'IA, la catégorie humaine validée, le nombre de figures féminines, le groupe d'âge, la posture, les vêtements, le cadre spatial, les objets associés et les relations sociales ont été enregistrés. Chaque tableau a été classé dans l'une des sept catégories principales suivantes : élite/belle, domestique, servante, travail, marché, spectacle ou rituel/mariage. Pour les scènes comportant plusieurs figures féminines, la figure centrale a été identifiée en fonction de sa prééminence visuelle et de son importance narrative. Lorsqu'aucune figure féminine n'était dominante, la catégorie principale a été attribuée en fonction de l'activité principale représentée et du contexte général de la scène. Les catégories superposées ont été tranchées en privilégiant l'activité représentée et le contexte de la scène plutôt que les seuls vêtements ou l'apparence. Les cas ambigus ont été examinés indépendamment par les deux codeurs et résolus par consensus. Les images sources ont été sauvegardées au format JPEG ou PNG. Seuls les bordures de page web, les cadres de catalogue ou les marges non liées à l'image ont été rognés. Le contenu pictural n'a pas été reconstruit, recolorié, amélioré ou restauré.
Étiquetage préliminaire basé sur CLIP
L'encodeur d'image CLIP ViT-B/32 a été utilisé pour l'analyse préliminaire de similarité image-texte9. Les termes d'identité candidats comprenaient femme élitée, femme domestique, servante, femme active, femme du marché, femme artiste, mariée et femme rituelle. Les termes relatifs à la scène comprenaient intérieur chinois, jardin, marché de rue, atelier, production de thé, travail textile et scène cérémonielle. L'ensemble complet des modèles de prompts, leur ordre, tout regroupement de prompts, les procédures de normalisation du texte, les règles de décision, les scores de confiance et les ex-aequo ont été conservés pour chaque image.
La liste complète de prompts a été appliquée de manière uniforme à toutes les images à l’aide du modèle OpenAI CLIP ViT-B/32 implémenté en Python 3.10 avec PyTorch 2.0.1 et le package OpenAI CLIP. L’inférence a été réalisée sur un GPU compatible CUDA avec une taille de lot de 32, en utilisant une précision FP32. Chaque image a été redimensionnée puis rognée au centre à 224 × 224 pixels, et les canaux RVB ont été normalisés à l’aide de la transformation de prétraitement associée au modèle ViT-B/32. Les prompts textuels ont été construits à partir descripteurs d’identité et de scène définis précédemment, puis encodés à l’aide de l’encodeur de texte CLIP. La similarité cosinus a été calculée entre les intégrations textuelles et images normalisées, et le prompt présentant le score de similarité le plus élevé a été attribué comme étiquette préliminaire générée par l’IA. Les scores de similarité pour toutes les étiquettes candidates ont été conservés en vue d’un examen ultérieur par un humain. Une graine aléatoire fixe de 42 a été utilisée, et des procédures de prétraitement, des modèles de prompts et des règles de décision identiques ont été appliqués à l’ensemble des 433 peintures.
Localisation assistée par SAM
Le modèle Segment Anything (SAM) a été strictement utilisé pour localiser des figures, des vêtements, des meubles, des outils, des objets rituels et des régions architecturales destinées à l'inspection visuelle humaine. Il convient de souligner que SAM n'a pas participé au pipeline de classification ; ses masques, recadrages et caractéristiques dérivées ont été isolés des processus d'étiquetage et de regroupement par CLIP, garantissant ainsi que l'application de SAM fournisse des aides à la localisation sans influencer ni amplifier les performances de classification.
Des points manuels ou des cadres englobants ont été appliqués selon les besoins afin d'affiner la localisation des éléments visuels. Des masques SAM ont été générés pour les figures féminines, les vêtements, les meubles, les outils, les objets rituels et les éléments architecturaux, et chaque résultat de segmentation a été inspecté visuellement afin de s'assurer d'une couverture régionale adéquate. Les masques obtenus ont permis l'identification et l'examen des caractéristiques iconographiques pertinentes, mais n'ont pas été utilisés pour l'étiquetage CLIP ou l'attribution de catégories.
Réduction de la dimensionnalité et regroupement en clusters
Les intégrations d'images CLIP ont été calculées, et l'UMAP avec distance cosinus a été utilisée pour la visualisation en deux dimensions10. La représentation utilisée pour le regroupement en clusters, ainsi que sa procédure de prétraitement, sa dimensionnalité et la définition de la distance, ont été enregistrées.
Les méthodes des K-moyennes et de regroupement hiérarchique ont été appliquées aux représentations des caractéristiques d'image afin d'identifier des regroupements visuels récurrents au sein du corpus11. Les solutions candidates des K-moyennes pour k = 5–9 ont été évaluées à l'aide du coefficient de silhouette et de l'indice de Davies–Bouldin. L'initialisation K-moyennes++ a été utilisée avec n_init = 10, max_iter = 300, tol = 1 × 10⁻4, et random_state = 42. Le regroupement hiérarchique a été réalisé à l'aide d'un regroupement agglomératif avec une liaison moyenne et une distance cosinus. Les solutions candidates ont été comparées à l'aide d'indices de validation quantitative, de la stabilité des groupes et de l'interprétabilité du point de vue de l'histoire de l'art, et la solution finale de regroupement a été retenue pour sa représentation la plus cohérente des motifs visuels récurrents. L'attribution finale des groupes pour chacune des 433 peintures a été conservée afin d'être comparée ultérieurement aux catégories codées par l'humain.
Codage manuel, formation et arbitrage
Deux codeurs ont examiné indépendamment les 433 images à l’aide d’un manuel de codage versionné couvrant la catégorie principale, le nombre de personnages, le groupe d’âge, la posture, les vêtements, le cadre spatial, les objets et les relations sociales. Les enregistrements propres à chaque codeur ont été conservés avant l’arbitrage. Les codeurs possédaient des formations pertinentes en histoire de l’art et en analyse visuelle, et ont été formés à l’aide du manuel de codage normalisé ainsi qu’à partir d’exemples représentatifs du corpus de peintures. Avant le codage formel, ils ont réalisé un exercice d’étalonnage portant sur 30 peintures afin de favoriser une interprétation cohérente des sept catégories d’identité et des cinq dimensions des indices visuels.
Lors du codage formel, les deux codeurs ont évalué indépendamment toutes les peintures éligibles en étant aveugles aux décisions de codage de l'autre, aux étiquettes préliminaires de l'IA et aux attributions de groupes. La fiabilité entre codeurs a été évaluée à l'aide du kappa de Cohen. La valeur de kappa observée pour la catégorie d'identité principale était de 0,88, et les variables catégorielles des indices visuels variaient entre 0,79 et 0,92, démontrant un fort accord entre les codeurs. Les désaccords ont été résolus par discussion et consensus, et les codes catégoriels et des indices visuels arbitrés ont été enregistrés pour les analyses ultérieures12. Les étiquettes préalables à l'arbitrage ont été conservées.
Concordance entre l'IA et les humains et estimation des performances
La catégorie humaine arbitrée a été utilisée comme référence pour une comparaison descriptive avec une étiquette préliminaire de l'IA par tableau. La précision globale par correspondance exacte a été calculée à 356/433 (82,2 %). Le rappel par catégorie a été déterminé en divisant le nombre de correspondances exactes entre l'IA et les humains par le nombre d'éléments de référence humaine pour chaque catégorie. Le soutien par catégorie, les correspondances exactes, les discordances et les dénominateurs correspondants ont été indiqués explicitement.
À partir des 433 étiquettes appariées au niveau des cas, issues de l'IA et humaines, les faux positifs de la classe cible, ainsi que la précision, le rappel et les scores F1 par catégorie ont été calculés. Une matrice de confusion complète a été établie afin d'analyser les schémas de classification hors diagonale, ce qui a ensuite guidé l'examen des incohérences, la documentation de la taxonomie des erreurs et les règles d'arbitrage.
Paquet de reproductibilité et matériaux
Le flux de travail computationnel et les matériaux de recherche associés ont été organisés dans un dépôt soumis à un contrôle de version. Le paquet de reproductibilité a été conçu pour inclure des scripts destinés au prétraitement, à l'analyse CLIP, à la localisation SAM, à l'UMAP, au regroupement en clusters, à l'analyse d'accord inter-observateurs, et à la génération de figures, ainsi que le cahier des charges du codage manuel, les fichiers de configuration, les informations sur les dépendances, les résultats dérivés au niveau des cas, et un inventaire lisible par machine des sources d'images et des informations sur les droits. Un identifiant persistant a été attribué aux matériaux de recherche archivés afin de faciliter la reproductibilité et la réutilisation.
Microsoft Excel 2021 a été utilisé pour organiser et gérer les métadonnées. Les analyses computationnelles ont utilisé CLIP ViT-B/32 pour l'étiquetage préliminaire vision-langage, SAM pour la localisation des éléments visuels, UMAP avec distance cosinus pour la réduction de dimensionnalité, et les méthodes des k-moyennes et de regroupement hiérarchique pour l'analyse exploratoire de motifs. Les solutions de regroupement ont été évaluées à l'aide du coefficient de silhouette et de l'indice de Davies-Bouldin, et l'accord entre codeurs a été évalué à l'aide du kappa de Cohen. L'environnement logiciel, les configurations des modèles, les paramètres computationnels et les graines aléatoires utilisés tout au long du flux de travail ont été documentés afin d'assurer la reproductibilité.