Studienaufbau und Analyseeinheit
Jedes Gemälde oder Katalogeintrag wurde als eine Analyseeinheit behandelt. Es wurde ein korpusbasierter Beobachtungsaufbau verwendet, der die Überprüfung von Metadaten, eine vorläufige computergestützte Organisation, eine unabhängige manuelle Kodierung und kunsthistorische Interpretation kombinierte. Der Untersuchungszeitraum wurde als 1757–1911 festgelegt, und innerhalb dieses Zeitraums wurden Ein- und Ausschlusskriterien angewandt. Historische Kunstwerke und die damit verbundenen Katalogmetadaten wurden analysiert. Bei Vergleichen von Verteilungen über Zeitintervalle ungleicher Dauer wurden die Häufigkeiten anhand der Intervalllänge normalisiert, während potenzielle Überlebens- und Erwerbsverzerrungen bei der Interpretation berücksichtigt wurden.
Erstellung und Auswahl des Korpus
Kandidatenaufzeichnungen wurden aus den zitierten Museums- und digitalen Archiven sowie aus veröffentlichten Katalogen gewonnen. Für jede Kandidatenaufzeichnung wurden Institution, Titel, Datum oder Datumsbereich, Medium, Inventar- oder Katalognummer, stabile Quell-URL, Abrufdatum und Rechtehinweis erfasst. Quelllinks wurden beibehalten, auch wenn die entsprechende Bilddatei aus rechtlichen Gründen nicht weiterverbreitet werden durfte. Das beschriebene Screening-Verfahren begann mit 612 Kandidatenbildern. Davon wurden 85 Aufzeichnungen ausgeschlossen, da sie außerhalb des Zeitraums 1757–1911 lagen oder nicht der Exportmalerei-Tradition angehörten; 58 weitere wurden ausgeschlossen, weil es sich um moderne Reproduktionen, unscharfe Aufzeichnungen oder falsch dargestellte Motive handelte; 29 wurden ausgeschlossen, da sie keine identifizierbare weibliche Figur enthielten oder eine unzureichende Bildauflösung aufwiesen; und 7 wurden aufgrund ungenügender Metadaten entfernt. Das endgültige analytische Korpus umfasste 433 Aufzeichnungen.
Standardisierung von Metadaten und Bildvorverarbeitung
Jedem Gemälde im endgültigen analytischen Korpus wurde ein stabiler QEP-Identifikator von QEP_001 bis QEP_433 zugewiesen. Die zugehörigen Museums-Metadaten wurden beibehalten, darunter Institution, Inventarnummer, Titel, Datierung, Technik oder Materialien, Herkunftsort, Quelllink und verfügbare Katalogbeschreibung. Für die visuelle Analyse wurden die vorläufige KI-Beschriftung, die überprüfte menschliche Kategorie, die Anzahl weiblicher Figuren, Altersgruppe, Körperhaltung, Kleidung, räumliche Umgebung, zugeordnete Objekte und soziale Beziehungen erfasst. Jedes Gemälde wurde einer von sieben Hauptkategorien zugeordnet: Elite/Schönheit, häuslich, Dienstmagd, arbeitend, Markt, darstellende Kunst oder Ritual/Hochzeit. Bei Szenen mit mehreren weiblichen Figuren wurde die zentrale Figur anhand ihrer visuellen Dominanz und narrativen Bedeutung identifiziert. Wenn keine einzelne weibliche Figur überwiegend war, erfolgte die Zuordnung der Hauptkategorie anhand der hauptsächlich dargestellten Tätigkeit und des Gesamtkontexts der Szene. Überlappende Kategorien wurden gelöst, indem die dargestellte Tätigkeit und der Szenenkontext gegenüber Kleidung oder Erscheinungsbild allein Vorrang hatten. Unklare Fälle wurden unabhängig von beiden Kodierenden überprüft und im Konsens entschieden. Quellbilder wurden im JPEG- oder PNG-Format gespeichert. Lediglich Webseitenränder, Katalograhmen oder nicht-bildliche Ränder wurden zugeschnitten. Der gemalte Inhalt wurde nicht rekonstruiert, umgefärbt, verbessert oder restauriert.
Vorläufige Markierung basierend auf CLIP
Der CLIP ViT-B/32-Bildencoder wurde für die vorläufige Bild-Text-Ähnlichkeitsanalyse verwendet⁹. Zu den Kandidaten-Identitätsbegriffen gehörten elite Frau, häusliche Frau, weibliche Dienstbotin, arbeitende Frau, Marktfrau, weibliche Darstellerin, Braut und rituelle Frau. Szenebegriffe umfassten chinesische Innenräume, Garten, Straßenmarkt, Werkstatt, Teeproduktion, textilgewerbliche Tätigkeit und zeremonielle Szene. Der vollständige Satz an Fragenvorlagen, deren Reihenfolge, jegliche Zusammenstellung von Abfragevorlagen (Prompt Ensembling), Textnormalisierungsverfahren, Entscheidungsregeln, Konfidenzwerte und Gleichstände wurde für jedes Bild beibehalten.
Die vollständige Liste der Textvorgaben wurde einheitlich auf alle Bilder angewandt, wobei das OpenAI CLIP ViT-B/32-Modell in Python 3.10 mit PyTorch 2.0.1 und dem OpenAI CLIP-Paket verwendet wurde. Die Inferenz erfolgte auf einer CUDA-fähigen GPU mit einer Batchgröße von 32 und FP32-Genauigkeit. Jedes Bild wurde auf 224 × 224 Pixel verkleinert und zentriert zugeschnitten, und die RGB-Kanäle wurden mithilfe der mit dem ViT-B/32-Modell verknüpften Vorverarbeitungstransformation normalisiert. Die Textvorgaben wurden unter Verwendung der oben definierten Identitäts- und Szenenbeschreibungen erstellt und mit dem CLIP-Textencoder kodiert. Die Kosinus-Ähnlichkeit zwischen den normalisierten Bild- und Text-Embeddings wurde berechnet, und die Vorgabe mit der höchsten Ähnlichkeitsscore wurde als vorläufiges KI-Etikett zugewiesen. Die Ähnlichkeitsscores für alle in Frage kommenden Etiketten wurden für eine anschließende manuelle Überprüfung gespeichert. Ein fester Zufallsstartwert (Seed) von 42 wurde verwendet, und identische Vorverarbeitungsverfahren, Vorgabenvorlagen und Entscheidungsregeln wurden auf alle 433 Gemälde angewandt.
Lokalisierung mithilfe von SAM
Das Segment Anything Model (SAM) wurde ausschließlich zur Lokalisierung von Figuren, Kleidungsstücken, Möbeln, Werkzeugen, rituellen Objekten und architektonischen Bereichen für die visuelle Überprüfung durch Menschen eingesetzt. Es muss betont werden, dass SAM nicht in der Klassifizierungspipeline verwendet wurde; seine Masken, Ausschnitte und abgeleiteten Merkmale waren von den CLIP-Beschriftungs- und Clustervorgängen getrennt, sodass der Einsatz von SAM lediglich Lokalisierungshilfen bot, ohne die Klassifizierungsleistung zu beeinflussen oder zu verfälschen.
Manuelle Punktanweisungen oder Begrenzungsrahmen wurden bei Bedarf angewendet, um die Lokalisierung visueller Elemente zu verfeinern. SAM-Masken wurden für weibliche Figuren, Kleidungsstücke, Möbel, Werkzeuge, rituelle Objekte und architektonische Elemente erzeugt, und jedes Segmentierungsergebnis wurde visuell auf angemessene regionale Abdeckung überprüft. Die resultierenden Masken unterstützten die Identifizierung und Überprüfung relevanter ikonografischer Merkmale, wurden jedoch nicht für CLIP-Kennzeichnung oder Kategorienzuweisung verwendet.
Dimensionsreduktion und Clustering
CLIP-Bild-Embeddings wurden berechnet, und UMAP mit kosinischem Abstand wurde zur zweidimensionalen Visualisierung verwendet10. Die für das Clustering verwendete Darstellung zusammen mit ihrem Vorverarbeitungsverfahren, der Dimensionalität und der Abstandsdefinition wurde dokumentiert.
K-Means- und hierarchische Clusterung wurden auf die Bildmerkmalsdarstellungen angewendet, um wiederkehrende visuelle Gruppierungen innerhalb des Korpus zu identifizieren11. Kandidatenlösungen für die K-Means-Clusterung mit k = 5–9 wurden mithilfe des Silhouettenkoeffizienten und des Davies-Bouldin-Index bewertet. Zur Initialisierung wurde K-Means++ mit n_init = 10, max_iter = 300, tol = 1 × 10⁻4 und random_state = 42 verwendet. Die hierarchische Clusterung erfolgte mittels agglomerativer Clusterung mit durchschnittlicher Verknüpfung (average linkage) und Kosinusdistanz. Die Kandidatenlösungen wurden anhand quantitativer Validierungsindizes, der Clusterstabilität und der kunsthistorischen Interpretierbarkeit verglichen, und die endgültige Clustering-Lösung wurde aufgrund ihrer kohärentesten Darstellung wiederkehrender visueller Muster ausgewählt. Die resultierende Clusterzuordnung für jedes der 433 Gemälde wurde für den anschließenden Vergleich mit den menschlich kodierten Kategorien beibehalten.
Manuelle Kodierung, Schulung und Schlichtung
Zwei Kodiererinnen bewerteten unabhängig voneinander alle 433 Bilder anhand eines versionierten Kodierhandbuchs, das die Hauptkategorie, die Anzahl der Figuren, Altersgruppe, Körperhaltung, Kleidung, räumliche Umgebung, Objekte und soziale Beziehungen abdeckte. Vor der Schlichtung wurden kodiererspezifische Aufzeichnungen gespeichert. Die Kodiererinnen verfügten über einschlägige Kenntnisse in Kunstgeschichte und visueller Analyse und wurden mithilfe des standardisierten Kodierhandbuchs sowie repräsentativer Beispiele aus dem Gemäldeschatz geschult. Vor der eigentlichen Kodierung absolvierten sie eine Kalibrierungsübung mit 30 Gemälden, um eine konsistente Interpretation der sieben Identitätskategorien und fünf Dimensionen visueller Hinweise zu fördern.
Während der formalen Kodierung bewerteten beide Kodierer unabhängig voneinander alle in Frage kommenden Gemälde, wobei sie jeweils blind gegenüber den Kodierentscheidungen des anderen, vorläufigen KI-Labels und Clusterzuordnungen waren. Die Übereinstimmung zwischen den Kodierern wurde mithilfe Cohens Kappa ermittelt. Der beobachtete Kappa-Wert für die primäre Identitätskategorie betrug 0,88, und die Werte für die kategorialen visuellen Hinweisvariablen lagen zwischen 0,79 und 0,92, was eine starke Übereinstimmung zwischen den Kodierern zeigt. Uneinigkeiten wurden durch Diskussion und Konsens beigelegt, und die endgültigen Kategorien sowie die Codes für visuelle Hinweise wurden für die anschließende Analyse dokumentiert12. Die vor der Schlichtung vergebenen Labels wurden beibehalten.
Übereinstimmung zwischen KI und Mensch sowie Leistungsabschätzung
Zum deskriptiven Vergleich mit einer vorläufigen KI-Bewertung pro Gemälde wurde die adjudizierte menschliche Kategorie als Referenz verwendet. Die gesamte Genauigkeit der exakten Übereinstimmung wurde mit 356/433 (82,2 %) berechnet. Die Kategorierückgewinnungsrate (Recall) wurde als Anzahl der exakten Übereinstimmungen zwischen KI und Mensch geteilt durch die Unterstützung der jeweiligen Kategorie in der menschlichen Referenz berechnet. Kategorieunterstützung, exakte Übereinstimmungen, Nichtübereinstimmungen und die entsprechenden Nenner wurden explizit angegeben.
Basierend auf den 433 Fall-Ebene gepaarten KI- und menschlichen Kennzeichnungen wurden Zielklassen-Falsch-Positiv-Werte, präzisions-, recall- und F1-Scores pro Kategorie berechnet. Eine vollständige Konfusionsmatrix wurde erstellt, um die außerhalb der Diagonalen liegenden Klassifizierungsmuster zu analysieren, was anschließend die Überprüfung von Diskrepanzen, die Dokumentation der Fehlertaxonomie und die Festlegung von Schiedsregeln leitete.
Reproduzierbarkeitspaket und Materialien
Der rechnergestützte Arbeitsablauf und die unterstützenden Forschungsmaterialien wurden in einem versionskontrollierten Repository organisiert. Das Reproduzierbarkeitspaket wurde so konzipiert, dass es Skripte für die Vorverarbeitung, CLIP-Analyse, SAM-Lokalisierung, UMAP, Clusterung, Übereinstimmungsanalyse und die Erstellung von Abbildungen enthält, zusammen mit dem Handcodierungs-Codierbuch, Konfigurationsdateien, Informationen zu Abhängigkeiten, abgeleiteten Ergebnissen auf Fallebene sowie einem maschinenlesbaren Inventar der Bildquellen und Rechteinformationen. Den archivierten Forschungsmaterialien wurde ein dauerhafter Identifikator zugewiesen, um Reproduzierbarkeit und Wiederverwendung zu erleichtern.
Microsoft Excel 2021 wurde zur Organisation und Verwaltung der Metadaten verwendet. Für die computergestützten Analysen kamen CLIP ViT-B/32 für die vorläufige visuell-sprachliche Kennzeichnung, SAM für die Lokalisierung visueller Elemente, UMAP mit Cosinus-Distanz für die Dimensionsreduktion sowie K-Means- und hierarchische Clusterung für die explorative Musteranalyse zum Einsatz. Die Clusterlösungen wurden anhand des Silhouettenkoeffizienten und des Davies-Bouldin-Index bewertet, und die Übereinstimmung zwischen verschiedenen Kodierern wurde mithilfe von Cohens Kappa ermittelt. Die verwendete Softwareumgebung, Modellkonfigurationen, rechnerischen Einstellungen und Zufallszahlen-Startwerte im gesamten Workflow wurden dokumentiert, um die Reproduzierbarkeit zu gewährleisten.