Desenho do estudo e unidade analítica
Cada pintura ou registro catalográfico foi tratado como uma unidade analítica. Utilizou-se um desenho observacional baseado em corpus, combinando revisão de metadados, organização computacional preliminar, codificação manual independente e interpretação histórico-artística. O período do estudo foi definido como 1757–1911, e os critérios de inclusão e exclusão foram aplicados dentro desse intervalo. Obras de arte históricas e seus metadados catalográficos associados foram analisados. Quando foram comparadas distribuições ao longo de intervalos de datas de duração desigual, as contagens foram normalizadas pela duração do intervalo, considerando-se potenciais vieses de sobrevivência e aquisição na interpretação.
Construção e seleção do corpus
Os registros candidatos foram recuperados dos catálogos de museus citados, arquivos digitais e catálogos publicados. Para cada registro candidato, foram mantidos a instituição, título, data ou período, suporte, número de aquisição ou catálogo, URL estável da fonte, data de recuperação e declaração de direitos. Os links de origem foram preservados mesmo quando o arquivo de imagem correspondente não podia ser redistribuído legalmente. O procedimento de triagem relatado iniciou-se com 612 imagens candidatas. Desses, 85 foram excluídos por estarem fora do período de 1757–1911 ou da tradição das pinturas de exportação, 58 foram excluídos por serem reproduções modernas, registros desfocados ou retratarem temas incorretos, 29 foram excluídos por não apresentarem uma figura feminina identificável ou por terem resolução de imagem inadequada, e 7 foram excluídos por apresentarem metadados insuficientes. O corpus analítico final compreendeu 433 registros.
Padronização de metadados e pré-processamento de imagens
Cada pintura no corpus analítico final recebeu um identificador QEP estável, variando de QEP_001 a QEP_433. Os metadados do museu associados foram mantidos, incluindo instituição, número de registro, título, data, técnica ou materiais, local de origem, link de origem e descrição de catálogo disponível. Para análise visual, foram registrados a classificação preliminar por IA, a categoria humana validada, o número de figuras femininas, grupo etário, postura, vestuário, cenário espacial, objetos associados e relações sociais. Cada pintura foi classificada em uma das sete categorias principais: elite/beleza, doméstica, servidão, trabalho, mercado, atuação ou ritual/casamento. Em cenas com múltiplas figuras femininas, a figura focal foi identificada com base na proeminência visual e centralidade narrativa. Quando nenhuma figura feminina era predominante, a categoria principal foi definida com base na atividade principal retratada e no contexto geral da cena. Categorias sobrepostas foram resolvidas priorizando a atividade retratada e o contexto da cena em vez do vestuário ou aparência isoladamente. Casos ambíguos foram revisados independentemente por ambos os codificadores e resolvidos por consenso. As imagens originais foram salvas nos formatos JPEG ou PNG. Apenas bordas de páginas, molduras de catálogo ou margens sem imagem foram recortadas. O conteúdo pictórico não foi reconstruído, recolorido, melhorado ou restaurado.
Rotulagem preliminar baseada em CLIP
O codificador de imagens CLIP ViT-B/32 foi utilizado para análise preliminar de similaridade entre imagem e texto9. Os termos candidatos de identidade incluíram mulher elite, mulher doméstica, empregada doméstica, mulher trabalhadora, mulher do mercado, mulher artista, noiva e mulher ritualística. Os termos de cena incluíram interior chinês, jardim, mercado de rua, oficina, produção de chá, trabalho têxtil e cena cerimonial. O conjunto completo de modelos de prompts, sua ordem, qualquer agrupamento de prompts, procedimentos de normalização de texto, regras de decisão, pontuações de confiança e empates foram mantidos para cada imagem.
A lista completa de prompts foi aplicada de forma consistente a todas as imagens utilizando o modelo OpenAI CLIP ViT-B/32 implementado em Python 3.10 com PyTorch 2.0.1 e o pacote OpenAI CLIP. A inferência foi realizada em uma GPU com suporte a CUDA, com tamanho de lote de 32, usando precisão FP32. Cada imagem foi redimensionada e recortada no centro para 224 × 224 pixels, e os canais RGB foram normalizados usando a transformação de pré-processamento associada ao modelo ViT-B/32. Os prompts de texto foram construídos utilizando os descritores de identidade e de cena definidos acima e codificados com o codificador de texto do CLIP. A similaridade cosseno foi calculada entre os embeddings normalizados de imagem e texto, e o prompt com a maior pontuação de similaridade foi atribuído como rótulo preliminar de IA. As pontuações de similaridade para todos os rótulos candidatos foram mantidas para revisão humana subsequente. Uma semente aleatória fixa de 42 foi utilizada, e procedimentos idênticos de pré-processamento, modelos de prompts e regras de decisão foram aplicados a todas as 433 pinturas.
Localização assistida por SAM
O Modelo de Segmentação Universal (SAM) foi utilizado estritamente para localizar figuras, vestuários, móveis, ferramentas, objetos rituais e regiões arquitetônicas para inspeção visual humana. É fundamental enfatizar que o SAM não participou do processo de classificação; suas máscaras, recortes e características derivadas foram isolados dos processos de rotulagem e agrupamento do CLIP, garantindo que a aplicação do SAM fornecesse apenas auxílios de localização sem influenciar ou inflar o desempenho da classificação.
Sugestões manuais de pontos ou caixas delimitadoras foram aplicadas quando necessário para refinar a localização de elementos visuais. Máscaras SAM foram geradas para figuras femininas, vestuários, móveis, ferramentas, objetos rituais e elementos arquitetônicos, e cada resultado de segmentação foi inspecionado visualmente quanto à cobertura regional adequada. As máscaras resultantes auxiliaram na identificação e revisão de características iconográficas relevantes, mas não foram utilizadas para rotulagem CLIP ou atribuição de categorias.
Redução de dimensionalidade e agrupamento
Os embeddings de imagens CLIP foram calculados, e o UMAP com distância cosseno foi utilizado para visualização bidimensional10. A representação usada para agrupamento, juntamente com seu procedimento de pré-processamento, dimensionalidade e definição de distância, foi registrada.
Aplicaram-se agrupamentos por K-médias e hierárquico às representações baseadas em características visuais para identificar agrupamentos recorrentes dentro do corpus11. Avaliaram-se soluções candidatas do K-médias para k = 5–9 utilizando o coeficiente de silhueta e o índice de Davies–Bouldin. Utilizou-se inicialização K-médias++ com n_init = 10, max_iter = 300, tol = 1 × 10⁻4 e random_state = 42. Realizou-se o agrupamento hierárquico utilizando agrupamento aglomerativo com ligação média e distância cosseno. Compararam-se as soluções candidatas utilizando índices quantitativos de validação, estabilidade dos agrupamentos e interpretabilidade sob a perspectiva da história da arte, selecionando-se a solução final de agrupamento por apresentar a representação mais coerente dos padrões visuais recorrentes. A atribuição final de agrupamentos para cada uma das 433 pinturas foi mantida para comparações posteriores com as categorias codificadas por humanos.
Codificação manual, treinamento e adjudicação
Dois codificadores revisaram independentemente todas as 433 imagens utilizando um manual de codificação versionado que abrangia categoria principal, quantidade de figuras, grupo etário, postura, vestuário, cenário espacial, objetos e relações sociais. Os registros específicos de cada codificador foram mantidos antes da adjudicação. Os codificadores tinham formações relevantes em história da arte e análise visual e foram treinados com o manual de codificação padronizado e exemplos representativos do corpus de pinturas. Antes da codificação formal, eles realizaram um exercício de calibração envolvendo 30 pinturas para promover a interpretação consistente das sete categorias de identidade e das cinco dimensões de indicadores visuais.
Durante a codificação formal, ambos os codificadores avaliaram independentemente todas as pinturas elegíveis, permanecendo cegos às decisões de codificação um do outro, bem como aos rótulos preliminares da IA e às atribuições de agrupamento. A confiabilidade entre codificadores foi avaliada utilizando o kappa de Cohen. O valor de kappa observado para a categoria principal de identidade foi de 0,88, e as variáveis categóricas de pistas visuais variaram de 0,79 a 0,92, demonstrando forte concordância entre os codificadores. Os desacordos foram resolvidos por meio de discussão e consenso, e as categorias adjudicadas e os códigos de pistas visuais foram registrados para análises posteriores12. Os rótulos pré-adjudicação foram mantidos.
Concordância entre IA e humano e estimativa de desempenho
A categoria humana adjudicada foi usada como referência para comparação descritiva com uma etiqueta preliminar de IA por pintura. A acurácia geral de correspondência exata foi calculada como 356/433 (82,2%). A recordação por categoria foi calculada como o número de correspondências exatas entre IA e humano dividido pelo suporte da referência humana para cada categoria. O suporte por categoria, correspondências exatas, discrepâncias e os respectivos denominadores foram relatados explicitamente.
Com base nas 433 etiquetas pareadas em nível de caso, de IA e humanas, foram calculados os falsos positivos da classe-alvo, além das pontuações de precisão, revocação e F1 por categoria. Uma matriz de confusão completa foi construída para analisar os padrões de classificação fora da diagonal, o que posteriormente orientou a revisão de discrepâncias, a documentação da taxonomia de erros e as regras de arbitragem.
Pacote e materiais de reprodutibilidade
O fluxo de trabalho computacional e os materiais de pesquisa complementares foram organizados em um repositório com controle de versão. O pacote de reprodutibilidade foi projetado para incluir scripts para pré-processamento, análise de CLIP, localização de SAM, UMAP, agrupamento, análise de concordância e geração de figuras, juntamente com o código de codificação manual, arquivos de configuração, informações sobre dependências, resultados derivados por caso e um inventário legível por máquina das fontes de imagens e informações sobre direitos. Um identificador persistente foi atribuído aos materiais de pesquisa arquivados para facilitar a reprodutibilidade e o reuso.
O Microsoft Excel 2021 foi utilizado para organizar e gerenciar os metadados. As análises computacionais utilizaram o CLIP ViT-B/32 para rotulagem preliminar visão-linguagem, o SAM para localização de elementos visuais, o UMAP com distância cosseno para redução de dimensionalidade e os métodos de agrupamento K-médias e agrupamento hierárquico para análise exploratória de padrões. As soluções de agrupamento foram avaliadas utilizando o coeficiente de silhueta e o índice de Davies–Bouldin, e a concordância entre codificadores foi avaliada usando o kappa de Cohen. O ambiente de software, as configurações dos modelos, as configurações computacionais e as sementes aleatórias utilizadas em todo o fluxo de trabalho foram documentadas para apoiar a reprodutibilidade.