Projekt badania i jednostka analityczna
Każdy obraz lub wpis w katalogu traktowano jako jedną jednostkę analityczną. Zastosowano obserwacyjny projekt oparty na korpusie, łączący przegląd metadanych, wstępną organizację komputerową, niezależne kodowanie ręczne oraz interpretację historii sztuki. Okres badania określono na lata 1757–1911, a kryteria włączenia i wykluczenia stosowano w ramach tego przedziału czasowego. Analizie poddano historyczne dzieła sztuki oraz powiązane z nimi metadane katalogowe. W przypadku porównywania rozkładów w przedziałach czasowych o różnej długości, liczebność znormalizowano względem czasu trwania przedziału, natomiast w interpretacji uwzględniono potencjalne błędy wynikające z przeżywalności i nabytego zbioru.
Konstrukcja i wybór korpusu
Rekordy kandydujące pobrano z cytowanych katalogów muzealnych, archiwów cyfrowych oraz opublikowanych katalogów. Dla każdego rekordu kandydującego zachowano informacje o instytucji, tytule, dacie lub przedziale dat, medium, numerze inwentarzowym lub katalogowym, stałym adresie URL źródła, dacie pobrania oraz oświadczeniu dotyczącym praw. Linki do źródeł zachowano nawet w przypadkach, gdy odpowiadający im plik obrazu nie mógł zostać legalnie redystrybuowany. Opisana procedura selekcji rozpoczęła się od 612 obrazów kandydujących. Z tej liczby wykluczono 85, ponieważ wykraczały one poza okres 1757–1911 lub tradycję malarstwa eksportowego, 58 wykluczono z powodu bycia współczesnymi reprodukcjami, rozmycia obrazu lub przedstawiania niewłaściwych tematów, 29 wykluczono z powodu braku możliwej do zidentyfikowania postaci kobiecej lub niewystarczającej rozdzielczości obrazu, a 7 wykluczono ze względu na niewystarczające metadane. Ostateczny korpus analityczny objął 433 rekordy.
Standaryzacja metadanych i przetwarzanie wstępne obrazów
Każdemu obrazowi w końcowym korpusie analitycznym przypisano stabilny identyfikator QEP w zakresie od QEP_001 do QEP_433. Zachowano powiązane metadane muzealne, w tym instytucję, numer inwentarzowy, tytuł, datę, technikę lub materiały, miejsce pochodzenia, link źródłowy oraz dostępny opis katalogowy. Na potrzeby analizy wizualnej odnotowano wstępną etykietę AI, kategorię zweryfikowaną przez człowieka, liczbę postaci kobiecych, grupę wiekową, posturę, ubiór, otoczenie przestrzenne, powiązane obiekty oraz relacje społeczne. Każdy obraz zaklasyfikowano do jednej z siedmiu głównych kategorii: elita/piękno, domowa, służąca, pracująca, targowa, artystyczna lub rytualna/ślubna. W scenach zawierających wiele postaci kobiecych, postać centralną identyfikowano na podstawie widocznej dominacji i znaczenia dla narracji. W przypadku braku jednej dominującej postaci kobiecej, kategorię główną przypisywano na podstawie przedstawionej aktywności przewodniej i ogólnego kontekstu sceny. Nakładające się kategorie rozstrzygano, nadając priorytet przedstawionej aktywności i kontekstowi sceny nad samym ubiorami lub wyglądem. Przypadki niejednoznaczne były niezależnie recenzowane przez obu koderów i rozstrzygane w drodze konsensusu. Obrazy źródłowe zapisano w formacie JPEG lub PNG. Przycięto wyłącznie obramowania stron internetowych, ramki katalogowe lub marginesy niebędące częścią obrazu. Treść malarska nie była rekonstruowana, przekolorowywana, ulepszana ani odnawiana.
Wstępne etykietowanie oparte na CLIP
Koder obrazów CLIP ViT-B/32 został wykorzystany do wstępnej analizy podobieństwa obraz-tekst9. Do kandydujących terminów tożsamości należały: elite woman, domestic woman, female servant, working woman, market woman, female performer, bride oraz ritual woman. Terminy opisujące scenę obejmowały: Chinese interior, garden, street market, workshop, tea production, textile work oraz ceremonial scene. Dla każdego obrazu zachowano pełny zestaw szablonów promptów, ich kolejność, wszelkie ansamble promptów, procedury normalizacji tekstu, reguły decyzyjne, wyniki ufności oraz przypadki remisów.
Pełna lista promptów została zastosowana spójnie do wszystkich obrazów przy użyciu modelu OpenAI CLIP ViT-B/32 zaimplementowanego w języku Python 3.10 z bibliotekami PyTorch 2.0.1 oraz OpenAI CLIP. Wnioskowanie przeprowadzono na procesorze GPU z obsługą CUDA z rozmiarem partii (batch size) wynoszącym 32 przy zastosowaniu precyzji FP32. Każdy obraz został przeskalowany i przycięty do rozmiaru 224 × 224 pikseli z centrum obrazu, a kanały RGB zostały znormalizowane przy użyciu transformacji wstępnego przetwarzania powiązanej z modelem ViT-B/32. Prompty tekstowe sformułowano w oparciu o zdefiniowane powyżej deskryptory tożsamości i sceny, a następnie zakodowano za pomocą koderów tekstu CLIP. Obliczono podobieństwo cosinusowe między znormalizowanymi osadzeniami (embeddings) obrazów i tekstu, a prompt z najwyższą wartością podobieństwa przypisano jako wstępną etykietę AI. Wartości podobieństwa dla wszystkich kandydatów na etykiety zachowano do późniejszego przeglądu przez człowieka. Zastosowano stałe ziarno losowości (random seed) o wartości 42, a identyczne procedury wstępnego przetwarzania, szablony promptów i reguły decyzyjne zastosowano do wszystkich 433 obrazów.
Lokalizacja wspomagana przez SAM
Model Segment Anything (SAM) został wykorzystany wyłącznie do lokalizacji postaci, odzieży, mebli, narzędzi, przedmiotów rytualnych oraz obszarów architektonicznych w celu przeprowadzenia wizualnej inspekcji przez człowieka. Należy podkreślić, że SAM nie uczestniczył w procesie klasyfikacji; wygenerowane przez niego maski, wycinki i pochodne cechy zostały odseparowane od procesów etykietowania i klastrowania CLIP, co zapewniło, że zastosowanie SAM dostarczyło jedynie pomocy w lokalizacji, nie wpływając i nie zawyżając wyników klasyfikacji.
W razie potrzeby stosowano ręczne podpowiedzi punktowe lub ramki ograniczające, aby doprecyzować lokalizację elementów wizualnych. Maski SAM generowano dla postaci kobiecych, odzieży, mebli, narzędzi, przedmiotów rytualnych oraz elementów architektonicznych, a każdy wynik segmentacji poddawano inspekcji wizualnej w celu sprawdzenia prawidłowości pokrycia obszaru. Powstałe maski wspomagały identyfikację i analizę istotnych cech ikonograficznych, lecz nie były wykorzystywane do etykietowania CLIP ani przypisywania kategorii.
Redukcja wymiarowości i klasteryzacja
Obliczono osadzenia obrazów CLIP, a do wizualizacji dwuwymiarowej wykorzystano UMAP z odległością cosinusową10. Zapisano reprezentację wykorzystaną do klasteryzacji wraz z procedurą wstępnego przetwarzania, wymiarowością i definicją odległości.
W celu zidentyfikowania powtarzających się grup wizualnych w korpusie zastosowano algorytmy K-średnich oraz klasteryzację hierarchiczną do reprezentacji cech obrazów11. Kandydackie rozwiązania K-średnich dla k = 5–9 oceniono przy użyciu współczynnika sylwetki (silhouette coefficient) oraz indeksu Daviesa-Bouldina. Wykorzystano inicjalizację K-means++ z parametrami n_init = 10, max_iter = 300, tol = 1 × 10⁻4 oraz random_state = 42. Klasteryzację hierarchiczną przeprowadzono metodą aglomeracyjną z zastosowaniem średniego wiązania (average linkage) i odległości cosinusowej. Potencjalne rozwiązania porównano pod kątem ilościowych indeksów walidacji, stabilności klastrów oraz interpretowalności z perspektywy historii sztuki, a końcowy podział na klastry wybrano ze względu na najbardziej spójną reprezentację powtarzających się wzorców wizualnych. Wynikowe przypisanie do klastrów dla każdego z 433 obrazów zachowano do późniejszego porównania z kategoriami zakodowanymi przez ludzi.
Kodowanie ręczne, szkolenie i rozstrzyganie rozbieżności
Dwoje koderów niezależnie przeanalizowało wszystkie 433 obrazy, korzystając z ujednoliconego klucza kodowego obejmującego kategorię główną, liczbę postaci, grupę wiekową, postawę, ubiór, otoczenie przestrzenne, przedmioty oraz relacje społeczne. Przed etapem rozstrzygania rozbieżności zachowano osobne zapisy dla każdego kodera. Koderzy posiadali odpowiednie przygotowanie w zakresie historii sztuki i analizy wizualnej, a ich szkolenie oparto na zestandaryzowanym podręczniku kodowania oraz reprezentatywnych przykładach z korpusu malarstwa. Przed rozpoczęciem formalnego kodowania przeprowadzono ćwiczenie kalibracyjne na 30 obrazach, aby zapewnić spójną interpretację siedmiu kategorii tożsamości i pięciu wymiarów wskazówek wizualnych.
Podczas formalnego kodowania obaj koderzy niezależnie oceniali wszystkie kwalifikujące się obrazy, nie mając wglądu w decyzje kodowania drugiej osoby, wstępne etykiety AI oraz przypisania do klastrów. Niezawodność między koderami oceniono za pomocą kappa Cohena. Obserwowana wartość kappa dla głównej kategorii tożsamości wyniosła 0,88, a dla kategorycznych zmiennych wskazówek wizualnych wahała się od 0,79 do 0,92, co wykazało silną zgodność między koderami. Rozbieżności rozstrzygano w drodze dyskusji i konsensusu, a rozstrzygnięte kategorie i kody wskazówek wizualnych zapisywano do późniejszej analizy12. Zachowano etykiety sprzed rozstrzygnięć.
Zgodność AI–człowiek i szacowanie wydajności
Ustalona przez ludzi kategoria posłużyła jako punkt odniesienia do porównania opisowego z jedną wstępną etykietą AI dla każdego obrazu. Ogólna dokładność dopasowania idealnego została obliczona jako 356/433 (82,2%). Czułość kategorii obliczono jako liczbę idealnych dopasowań AI–człowiek podzieloną przez liczbę przypadków w referencyjnej kategorii ludzkiej dla każdej grupy. Wsparcie kategorii, idealne dopasowania, niedopasowania oraz odpowiadające im mianowniki zostały przedstawione w sposób jawny.
Na podstawie 433 sparowanych etykiet przypisanych przez AI i ludzi na poziomie poszczególnych przypadków, obliczono liczbę wyników fałszywie dodatnich dla klasy docelowej oraz precyzję, czułość i wskaźniki F1 dla każdej kategorii. Sporządzono pełną macierz pomyłek w celu analizy wzorców klasyfikacji poza przekątną, co posłużyło następnie jako podstawa do przeglądu niezgodności, opracowania taksonomii błędów oraz ustalenia reguł rozstrzygania.
Pakiet odtwarzalności i materiały
Przepływ obliczeniowy oraz pomocnicze materiały badawcze zostały zorganizowane w repozytorium z kontrolą wersji. Pakiet odtwarzalności został zaprojektowany tak, aby zawierać skrypty do przetwarzania wstępnego, analizy CLIP, lokalizacji SAM, UMAP, klastrowania, analizy zgodności oraz generowania rycin, wraz z księgą kodową do kodowania ręcznego, plikami konfiguracyjnymi, informacjami o zależnościach, wynikami wyprowadzonymi na poziomie poszczególnych przypadków oraz czytelnym dla maszyn wykazem źródeł obrazów i informacji o prawach autorskich. Materiałom badawczym przekazanym do archiwum przypisano trwały identyfikator, aby ułatwić odtwarzalność i ponowne wykorzystanie danych.
Do organizacji i zarządzania metadanymi wykorzystano program Microsoft Excel 2021. W analizach obliczeniowych zastosowano model CLIP ViT-B/32 do wstępnego etykietowania wizualno-językowego, model SAM do lokalizacji elementów wizualnych, metodę UMAP z odległością cosinusową do redukcji wymiarowości oraz algorytmy K-średnich i klastrowanie hierarchiczne do eksploracyjnej analizy wzorców. Rozwiązania klastrowe oceniano za pomocą współczynnika sylwetki (silhouette coefficient) oraz indeksu Daviesa-Bouldina, a zgodność między koderami oceniano przy użyciu statystyki kappa Cohena. W celu zapewnienia odtwarzalności udokumentowano środowisko programistyczne, konfiguracje modeli, ustawienia obliczeniowe oraz ziarna losowe stosowane w całym przebiegu prac.