Flusso di lavoro di intelligenza artificiale multimodale riproducibile per la scoperta di archivi digitali storici

Sommario

Qui presentiamo un protocollo per migliorare la scoperta negli archivi digitali storici integrando il riconoscimento ottico dei caratteri post-correzione, la classificazione visiva dei documenti, l'arricchimento dei metadati e la valutazione del recupero in un flusso di lavoro auditabile.

Abstract

Gli archivi digitali storici sono sempre più ricercabili, ma la scoperta rimane limitata quando errori di riconoscimento ottico dei caratteri, tipi di documenti visivamente eterogenei e metadati scarsi vengono gestiti separatamente. Questo studio mirava a sviluppare un protocollo riproducibile per valutare se un flusso di lavoro conservativo di intelligenza artificiale multimodale possa migliorare il recupero archivistico senza sostituire la revisione da parte degli archivisti. È stato assemblato un corpus di 1.600 record archivistici digitalizzati da otto classi di documenti e è stato utilizzato un benchmark di 420 query per confrontare cinque condizioni di recupero: indicizzazione di base, correzione del riconoscimento ottico dei caratteri da solo, classificazione visiva sola, arricchimento dei metadati e integrazione multimodale completa. Gli esiti a livello di record includevano il tasso di errore dei caratteri (CER), il tasso di errore delle parole (WER), il richiamo di entità nominate, l'accuratezza della classificazione dei tipi di documento, la fiducia nella previsione, la completezza dei metadati e la corrispondenza tra titoli di argomento. I risultati a livello di query includevano P@10, R@10, nDCG@10, tempo fino al primo risultato rilevante e tasso di ricerca di successo. La correzione per riconoscimento ottico dei caratteri ridusse fortemente la WER per lettere scritte a mano, registri e registri di registro; la regolazione visiva migliorò la precisione della classificazione soprattutto per mappe, manifesti, giornali e libri di registro; e l'arricchimento dei metadati ha aumentato la completezza in tutti i periodi storici. La condizione multimodale completa ha raggiunto la massima prestazione di recupero (P@10 = 0,624, R@10 = 0,492, nDCG@10 = 0,634) e ha ridotto il tempo medio al primo risultato rilevante da 156,079 s a 58,485 s. Questi risultati supportano un flusso di lavoro modulare e auditabile in cui testo, immagine e segnali descrittivi vengono combinati sotto soglie esplicite e revisione umana.

Introduzione

Gli archivi digitali si sono rapidamente espansi e ora supportano la ricerca in storia, patrimonio culturale, amministrazione pubblica e discipline umanistiche digitali. Tuttavia, l'accesso rimane irregolare perché i documenti d'archivio spesso combinano output degradati di riconoscimento ottico dei caratteri, composizioni di pagina visivamente diversificate, pratiche di catalogazione incoerenti e nomi, luoghi e istituzioni storicamente variabili. Queste limitazioni influenzano non solo la qualità della trascrizione ma anche il recupero, il filtraggio e il riutilizzo a valle delle collezioni^{digitalizzate} 1,2,3,4,5,6,7.

Gli studi esistenti sull'intelligenza artificiale documentale e sul recupero archivistico hanno migliorato componenti individuali come il riconoscimento ottico dei caratteri post-correzione, la classificazione delle immagini del documento, la normalizzazione dei metadati, la modellazione dei temi, l'incorporamento delle parole, il recupero neurale e la pratica di gestione dei^dati 8,9,10,11,12,13,14,15. 16,17,18,19,20,21,22,23,24,25. Tuttavia, molti sistemi archivistici valutano ancora questi componenti separatamente, rendendo difficile determinare se un flusso di lavoro combinato migliori la scoperta in condizioni di ricerca realistiche. La lacuna metodologica qui affrontata è la mancanza di un protocollo riproducibile e auditabile che colleghi moduli di testo, immagini e metadati ai risultati del recupero in un unico flusso di lavoro archivistico.

L'obiettivo centrale era testare se la correzione del riconoscimento ottico dei caratteri, la classificazione visiva dei documenti e l'arricchimento dei metadati a vincoli di regole producano miglioramenti complementari quando valutati rispetto allo stesso benchmark di recupero.

Abbiamo ipotizzato che la condizione multimodale completa avrebbe superato ogni condizione a singolo componente perché la scoperta archivistica dipende dall'interazione tra testo leggibile, struttura documentale visivamente interpretabile e metadati descrittivi ricercabili. Il flusso di lavoro è stato progettato in modo conservativo: output automatizzati potevano arricchire gli indici di recupero, ma le previsioni a bassa fiducia venivano segnalate per la revisione invece di essere usate come descrizione archivistica autorevole.

Protocollo

Questo studio ha utilizzato registri archivistici digitalizzati e query di recupero simulate come unità di analisi. I depositi archivistici possono limitare l'accesso a documenti sensibili o culturalmente limitati. Segui le regole di accesso ai repository, le procedure istituzionali di sicurezza dei dati e i requisiti di de-identificazione prima di elaborare o condividere qualsiasi documento. Non sono stati generati rifiuti di laboratorio pericolosi, biologici, taglienti, radioattivi o altri rifiuti di laboratorio regolamentati da questo flusso di lavoro digitale.

Progettazione dello studio e costruzione del corpus

La Figura 1 presenta l'intero flusso di lavoro dello studio, inclusa la costruzione dei corpus, l'etichettatura dei riferimenti, la pre-elaborazione delle immagini, la generazione e la post-correzione OCR, la classificazione visiva, l'arricchimento dei metadati, la costruzione degli indici, la valutazione del recupero, l'analisi statistica e il confezionamento della riproducibilità.

La costruzione del corpus è stata condotta dal 15 gennaio al 30 aprile 2025, seguita dalla progettazione e dal debug del sistema dal 1° maggio al 31 ottobre 2025. Il corpus conteneva 1.600 archivi digitalizzati selezionati da otto depositi che rappresentano sistemi statali, cittadini, religiosi, museali, universitari e bibliotecari. Il fotogramma di campionamento era stratificato per classe di archivio e documento per preservare l'eterogeneità archivistica tra lettere manoscritte, registri, mappe, giornali, fotografie con didascalie, manifesti, libri di registro e corrispondenza dattiloscritta.

Per ogni record candidato, il registro di selezione registrava l'identificatore di repository o collezione, l'identificatore del catalogo, la classe del documento, il periodo storico approssimativo, il contesto della lingua dominante, il formato immagine disponibile, la risoluzione dell'immagine, il numero di pagine e i campi descrittivi di base. L'inclusione richiedeva tutto ciò che segue: un identificatore stabile del catalogo; almeno un'immagine di pagina TIFF, JPEG o PNG; risoluzione dell'immagine sorgente di almeno 150 dpi; contenuto testuale, tabellare o strutturale documentale leggibile; e l'assegnazione a una delle otto classi di documenti predefinite. I criteri di esclusione erano duplicati esatti, pagine inverse bianche, immagini ritagliate al punto che mancava più del 30% dell'area con il testo e registri giudicati illeggibili dopo un'ispezione manuale.

Il benchmark di recupero conteneva 420 brevi query in linguaggio naturale generate tra il 5 e il 20 agosto 2025. La generazione delle query seguiva un modello riproducibile: le esigenze informative dei candidati venivano campionate da persone, istituzioni, luoghi, periodi di data, occupazioni, eventi e temi attuali; ogni query veniva normalizzata a 2–9 parole; e i record rilevanti per il bersaglio venivano identificati prima del confronto del sistema. Ogni query è stata valutata sotto cinque condizioni di recupero, generando 2.100 osservazioni di query e condizione corrispondenti.

Etichettatura di riferimento e controllo qualità

L'etichettatura dei riferimenti è stata effettuata dal 1° maggio al 15 luglio 2025 da tre annotatori: due membri dello staff archivistico esperti in catalogazione descrittiva e un ricercatore digitale in discipline umanistiche esperto nella valutazione di documenti storici. La guida di annotazione definiva classi di documenti, categorie linguistiche-contesto, bin per periodi storici, campi di completezza dei metadati, categorie di entità nominate e regole per la selezione delle regioni di valutazione OCR.

Per la valutazione OCR, gli annotatori selezionavano regioni rappresentative con testo che includevano intestazioni, nomi, date, termini istituzionali, note marginali, voci tabellari e, quando presenti, aree di layout rumorose. Quando una pagina conteneva più regioni di testo, la regione selezionata doveva essere rilevante per il recupero e includere abbastanza caratteri per i calcoli CER e WER. I disaccordi venivano inizialmente risolti attraverso discussioni tra i due annotatori principali; I casi irrisolti sono stati giudicati dal Digital Humanities Researcher.

Il controllo qualità utilizzava un sottoinsieme casuale del 12% dei record. L'accordo tra annotatori per il tipo principale di documento era il kappa di Cohen = 0,86, a sostegno di un accordo sostanziale. Il registro di adjudicazione ha mantenuto le etichette originali e finali, la categoria di disaccordo e la ragione della risoluzione affinché i futuri utenti possano controllare le definizioni di classe e i casi limite.

Preprocessing dell'immagine

Tutte le immagini venivano elaborate a livello di record usando Python 3.11.8 con OpenCV 4.9.0, Pillow 10.3.0 e NumPy 1.26.4. Ogni pagina di input veniva convertita in scala di grigi a 8 bit, a meno che il colore non contenesse informazioni semantiche, come mappe, poster, francobolli o annotazioni codificate a colori. La distorsione è stata stimata utilizzando profili di proiezione e rilevamento delle linee di Hough; Il deskewing veniva applicato solo quando l'angolo di squilibramento assoluto superava 1,5 gradi ed era limitato a 8,0 gradi per evitare distorsione.

Il miglioramento del contrasto ha utilizzato l'equalizzazione adattiva dell'istogramma limitato al contrasto con clipLimit = 2.0 e tileGridSize = 8 × 8. Un filtro mediano con un nucleo di 3 × 10⁻²³ veniva applicato solo quando il rapporto stimato rumore-fondo superava 0,35. Le immagini catturate a 150–299 dpi venivano ricampionate a 300 dpi per il riconoscimento ottico dei caratteri; Le immagini già a 300 DPI o superiore non sono state ingrandite. Non è stata utilizzata alcuna super-risoluzione, restauro generativo o allucinazione di contenuto.

Sono stati mantenuti il flusso di scorta, l'oscuramento dei bordi, la texture irregolare della carta, i francobolli marginali, la calligrafia, le linee a righe e i confini delle tabelle a meno che non impedissero la selezione delle regioni OCR. Questa regola preservava le prove d'archivio standardizzando adeguatamente gli input delle immagini per consentire OCR e classificazione riproducibili.

Generazione di base OCR e post-correzione

L'OCR di base è stato generato con Tesseract OCR 5.3.0. Il pacchetto linguistico principale veniva selezionato dalla lingua del catalogo e dalla scrittura visibile; La decodifica multilingue veniva abilitata quando la lingua del catalogo e lo script di pagina non corrispondevano. Gli output OCR venivano raggruppati a livello di record e memorizzati con identificatori di pagina, fiducia OCR, coordinate della scatola delimitata quando disponibili e testo grezzo prima della correzione.

La correzione post-OCR ha utilizzato una procedura conservativa in tre fasi. Innanzitutto, la normalizzazione a livello di carattere ha corretto frequenti confusioni di riconoscimento storico, inclusi legature, sostituzioni lunga-s/s-breve, punteggiatura frammentata e sostituzioni cifra-lettera. In secondo luogo, la correzione a livello di token utilizzava candidati a distanza di modifica e frequenza classificati da un lessico specifico dell'archivio di nomi personali, toponimi, istituzioni, termini amministrativi e varianti ortografiche storiche. Terzo, i controlli di sequenza basati su regole hanno validato entità e date nominate rispetto a prove di contesto e metadati.

I sostituti dei candidati sono stati accettati solo quando la fiducia nella correzione posteriore superava 0,80; Le sostituzioni di entità nominate richiedevano una fiducia di almeno 0,85. I candidati al di sotto della soglia sono stati mantenuti come testo OCR ma segnalati per la revisione. La CER è stata calcolata come la distanza di montaggio di Levenshtein divisa per il numero di caratteri nella trascrizione di riferimento. WER utilizzava la stessa formula a livello di token. Il richiamo delle entità nominate è stato calcolato come entità di riferimento correttamente riconosciute divise da tutte le entità di riferimento nella regione di valutazione selezionata.

Classificazione visiva dei documenti

Il modulo di classificazione visiva assegnava ogni record a una delle otto classi di documenti d'archivio: lettera scritta a mano, registro, mappa, giornale, fotografia con didascalia, poster, registro e corrispondenza dattiloscritta. Il tipo di documento previsto veniva usato come segnale di recupero e filtraggio, non come sostituto autorevole della catalogazione archivistica.

Il modello è stato implementato in PyTorch 2.2.2 e torchvision 0.17.2 utilizzando una backbone EfficientNet-B3 pre-addestrata con ImageNet. Le miniature a livello di record sono state ridimensionate a 384 x 384 pixel. Per ridurre la perdita, i record venivano suddivisi per classe di repository e documenti in set di addestramento, validazione e test con un rapporto 70:15:15, corrispondente a circa 1.120, 240 e 240 record.

L'addestramento utilizzava AdamW con tasso di apprendimento iniziale = 1 × ^10-4, decadimento del peso = 1 × 10⁻², dimensione del lotto = 16, levigatura dell'etichetta = 0,05 e arresto anticipato quando la perdita di validazione non migliorava per cinque epoche consecutive. Il flipping orizzontale è stato disabilitato perché i layout archivistici speculari non sono realistici. L'aumento era limitato a una rotazione da -3 gradi a +3 gradi e a una variazione di luminosità entro il ±10%.

Le diagnostiche a livello epocale del modello sono riassunte in 20 righe di addestramento, ciascuna contenente perdita di addestramento, perdita di validazione, accuratezza di addestramento, accuratezza di validazione, macro-F1, F1 ponderata, ROC-AUC e PR-AUC.

Flusso di lavoro di arricchimento dei metadati

L'arricchimento dei metadati è stato progettato per migliorare la scopertibilità preservando al contempo il conservatorismo archivistico. I valori esistenti del catalogo venivano mantenuti a meno che non contenessero una contraddizione esplicita, come una data impossibile o un conflitto di tipo documentale confermato sia dall'OCR che da prove visive. I campi di arricchimento dei candidati includevano titolo normalizzato, tipo di documento, data approssimativa, menzioni istituzionali, menzioni geografiche, menzioni dei nomi personali, intestazioni di materia e parole chiave.

La priorità delle prove seguiva un ordine fisso: (1) metadati esistenti del catalogo, (2) output OCR corretto e (3) previsione visiva del tipo di documento. Per i titoli degli argomenti veniva usato un abbinamento controllato del vocabolario, e l'espansione semantica del vicino vicino con i trasformatori di frasi 2.7.0 veniva usata solo quando la somiglianza del coseno era almeno 0,72. La normalizzazione della data richiedeva una fiducia di almeno 0,85 o una concordanza tra OCR e metadati. Ogni campo aggiunto automaticamente manteneva la sua fonte, la fiducia e l'identificatore della regola.

La completezza dei metadati è stata definita come il numero di campi descrittivi core popolati diviso per il numero di campi core applicabili per quel record. La corrispondenza tra titoli di soggetto è stata definita come la presenza di almeno un'etichetta di soggetto con vocabolario controllato, supportata da evidenze di contenuto a livello di record e giudicata rilevante per la categoria di richiesta.

Costruzione del sistema di recupero

Sono stati costruiti cinque indici di recupero per isolare i contributi dei moduli: indicizzazione di base; solo la correzione del riconoscimento ottico dei caratteri; solo classificazione visiva; solo arricchimento dei metadati; e integrazione multimodale completa. Tutti gli indici sono stati costruiti nel software dei motori di ricerca elencato nella Tabella dei Materiali (versione 8.11.1) a livello di record. I parametri BM25 sono stati fissati a k1 = 1,2 e b = 0,75 prima della valutazione.

L'indice di base utilizzava i metadati originali e il testo OCR di base. La condizione OCR sostituiva la OCR di base con la OCR corretta. La condizione visiva ha aggiunto precedenti di tipo documento e miglioramenti di ranking consapevoli della classe. La condizione dei metadati ha aggiunto campi descrittivi arricchiti. La condizione multimodale completa combinava OCR corretto, priors visivi e metadati arricchiti. I pesi dei campi erano fissati prima del test: titolo normalizzato = 3,0, titoli di soggetto = 2,5, menzioni di persone e istituzioni = 2,2, menzioni di luogo = 2,0, tipo di documento = 1,8, testo OCR corretto = 1,0 e testo di base OCR = 0,8, dove applicabile.

Per le query citate è stata abilitata l'abbinamento esatto delle frasi. L'espansione delle query era consentita solo nelle condizioni di arricchimento metadati e multimodale completo ed era limitata a sinonimi accettati con vocabolario controllato e varianti di intestazione di materia. I log di ricerca sono stati generati dal 25 al 28 agosto 2025, nell'ambiente Linux containerizzato indicato nella Tabella dei Materiali, con configurazioni di seed fissi e indici congelati.

Progettazione delle query e misure di risultato

Le 420 query rappresentavano comportamenti comuni di ricerca archivistica piuttosto che prompt benchmark basati solo su parole chiave. Gli argomenti includevano nomi personali, istituzioni, luoghi, date e intervalli di data, occupazioni, eventi e argomenti tematici. Ogni query veniva memorizzata con la formulazione normalizzata, il record set target, la categoria argomento di query e il punteggio di difficoltà.

La difficoltà è stata valutata prima del recupero utilizzando ambiguità del bersaglio, specificità lessicale e frequenza attesa di espressione. I punteggi compositi inferiori a 0,40 sono stati classificati come a bassa difficoltà, da 0,40 a 0,69 come difficoltà moderata e punteggi di 0,70 o superiore come difficoltà alta. I giudizi di rilevanza venivano completati prima del confronto del sistema e poi confrontati con la collezione finale.

Gli esiti del recupero includevano P@10, R@10, nDCG@10, tempo fino al primo risultato rilevante e tasso di ricerca di successo. P@10 era la proporzione dei primi 10 dischi giudicati rilevanti. R@10 era la proporzione di tutti i documenti rilevanti noti recuperati tra i primi 10. nDCG@10 usava rilevanza graduata dove disponibile e rilevanza binaria altrimenti. Il tempo fino al primo risultato rilevante è stato misurato dall'invio della query fino all'apparizione del primo record rilevante nell'output classificato. Una ricerca riuscita è stata definita come almeno un risultato rilevante tra i primi 10 documenti.

Raccolta delle statistiche

Tutte le analisi sono state effettuate utilizzando le versioni software elencate nella Tabella dei Materiali. Gli esiti continui sono stati riassunti come media ± SD quando approssimativamente simmetrici e come mediana con intervallo interquartile in altro caso. Gli esiti categorici sono stati riassunti come conteggi e percentuali.

La normalità delle differenze accoppiate è stata valutata tramite il test di Shapiro-Wilk e i grafici di distribuzione. OCR e risultati pre/post pre/post sono stati confrontati con test T accoppiati quando le differenze accoppiate erano approssimativamente normali e con test Wilcoxon con rango firmato altrimenti. Le prestazioni di classificazione prima e dopo la messa a punto fine venivano confrontate utilizzando il test di McNemar su etichette corrette/sbagliate abbinate. Gli esiti di prelievo multi-braccio abbinati sono stati confrontati con il test di Friedman, seguiti da test Wilcoxon con segno aggiustato a coppie per coppie.

Tutti i test statistici erano a doppia coda e P < 0,05 è stato considerato statisticamente significativo. Gli intervalli di confidenza sono stati stimati utilizzando 2.000 ricampionamenti bootstrap con il seed casuale fissato a 2025. Gli effetti sono stati riportati come differenze medie, odds ratio abbinati o dimensioni degli effetti basate sul ranking in base al tipo di esito.

Riproducibilità, ambito e disponibilità delle risorse

Tutti i parametri della pipeline sono stati fissati prima dei test di recupero. Nessun parametro è stato ottimizzato sul benchmark di recupero tenuto in sospeso. File di configurazione, vocabolari controllati, tabelle lessiche, modelli di query, mappe di campi, linee guida di annotazione, script statistici e script di generazione di figure sono stati mantenuti nel sistema di controllo versione elencato nella Tabella dei Materiali con seed casuale 2025.

Per supportare la validazione indipendente, il workbook dei dati sorgente include una tabella de-identificata di 1.600 record con 17 variabili utilizzate per il riconoscimento ottico dei caratteri, i metadati e le analisi di classificazione visiva. Tabelle derivate Tabella 1, Tabella 2, Tabella 3, Tabella 4 e Tabella 5, riassunti figura-sorgente, definizioni benchmark-interrogazione, riassunti di rilevanza-giudizio, surrogati dei registri di recupero, diagnostiche di addestramento, categorie di lessico, regole di mappatura del vocabolario e campi di indicazioni di annotazione sono forniti come tabelle o file materiali caricabili separati dove applicabile. I materiali che non possono essere condivisi pubblicamente a causa delle restrizioni del repository sono rappresentati da campi di metadati non identificati e campi di campionamento riproducibili.

Questo protocollo valuta la scoperta orientata al recupero piuttosto che la veridicità delle affermazioni storiche. Non sostituisce la valutazione da parte degli archivisti, la valutazione della provenienza, la revisione della privacy o le regole di accesso specifiche per repository.

Risultati

La correzione OCR ha migliorato la trascrizione, specialmente nei record manoscritti e tabellari

La correzione del riconoscimento ottico dei caratteri ha migliorato la qualità della trascrizione in tutte e otto le classi di documenti d'archivio (n = 1.600 record). Il WER medio è diminuito da 0,529 ± 0,172 a 0,384 ± 0,123, con una variazione media accoppiata di −0,144 (IC 95%, −0,149 a −0,139; Wilcoxon firmato - grado P < 0,001). La CER media è diminuita da 0,377 ± 0,126 a 0,258 ± 0,086, con una variazione media accoppiata di −0,119 (IC 95%, −0,123 a −0,116; Wilcoxon firmato - rango P < 0,001). La Tabella 2 mostra che il WER di base era più alto per lettere scritte a mano, registri e registri di registro, indicando che i registri più complessi visivamente avevano anche il maggiore onere iniziale di riconoscimento.

Dopo la correzione, il WER è diminuito in tutte le classi di documenti. Le maggiori riduzioni medie dei WER accoppiati si sono verificate in lettere manoscritte (n = 262; −0,200; IC 95%, −0,213 a −0,188), registri (n = 263; −0,195; IC 95%, −0,206 a −0,183) e registri (n = 194; −0,173; IC 95%, −0,187 a −0,160). Il CER ha seguito lo stesso schema, supportando l'interpretazione secondo cui il modulo post-correzione avvantaggiava principalmente i record difficili scritti a mano, tabellari e a layout misto.

Il richiamo delle entità nominate è migliorato anche su tutti i tipi di documenti, come mostrato nella tabella riassuntiva. I maggiori aumenti si sono verificati nelle lettere manoscritte (0,302–0,440), nei registri (0,336–0,471) e nei libri di registro (0,369–0,504). La corrispondenza digitata ha raggiunto il richiamo più alto post-correzione di entità nominate (0,646), ma il suo guadagno assoluto è stato minore perché il riconoscimento di base era già più forte per questa classe. La Figura 2 riassume la relazione CER-WER a livello di registrazione di base, l'associazione tra intensità di scrittura a mano e beneficio nella correzione, e lo spostamento post-correzione nella scopertibilità a livello di registrazione.

La classificazione dei documenti visivi è migliorata nel complesso, ma i miglioramenti di prestazioni sono stati disomogenei tra le classi

La classificazione dei documenti visivi è migliorata complessivamente nel set di 1.600 record. La precisione top-1 è aumentata da 0,717 a 0,796 (variazione assoluta, 0,079; McNemar chi-quadrato = 27,33; P < 0,001), e la fiducia media nella previsione è aumentata da 0,736 ± 0,131 a 0,800 ± 0,108 (variazione media accoppiata, 0,064; IC 95%, 0,057–0,071; test t accoppiato P < 0,001). Come mostrato nella Tabella 3, sette delle otto classi sono migliorate dopo la rifinitura specifica dell'archivio, con i maggiori incrementi per mappe, manifesti, giornali e libri di registro.

La corrispondenza digitata non migliorò significativamente dopo la fine tuning (0,796–0,791), suggerendo che le sue caratteristiche visive di base fossero già stabili e che la procedura di addestramento aggiungesse poca separazione di classe aggiuntiva per questa categoria.

La Figura 3 riassume le prestazioni visive della classificazione dei documenti prima e dopo la messa a punto specifica per archivio; il workbook dei dati di origine elenca 20 epoche di perdita e accuratezza di train/validation, insieme a riassunti diagnostici macro-F1, ponderato-F1, ROC-AUC e PR-AUC.

L'arricchimento dei metadati ha migliorato la completezza descrittiva in tutti i periodi storici (n = 1.600 record). La completezza media è aumentata da 0,657 ± 0,125 a 0,907 ± 0,070, con una variazione media accoppiata di 0,250 (IC 95%, 0,243–0,257; Wilcoxon firmato - grado P < 0,001). Come mostrato nella Tabella 4, la completezza di base fu la più bassa per il periodo 1850–1879 e aumentò nei periodi successivi prima dell'arricchimento. La Figura 4 riassume il miglioramento della completezza dei metadati, i campi di metadati recentemente realizzati per tipo di documento e i guadagni di corrispondenza delle intestazioni di soggetto attraverso i periodi storici.

Dopo l'arricchimento, la completezza aumentò in ogni periodo storico: 1850–1879 (n = 281; variazione media, 0,207; IC 95%, 0,191–0,223), 1880–1909 (n = 474; variazione media, 0,236; IC 95%, 0,223–0,248), 1910–1939 (n = 549; variazione media, 0,277; IC 95%, 0,265–0,288) e 1940–1969 (n = 296; variazione media, 0,263; IC 95%, 0,247–0,279). Anche i conteggi medi dei campi popolati aumentarono costantemente nei periodi.

La corrispondenza per l'intestazione dei soggetti è migliorata in parallelo. I tassi di corrispondenza di base variavano dal 64,3% al 69,4%, mentre i tassi di corrispondenza post-arricchimento variavano dall'82,1% all'85,4%. Il maggior guadagno assoluto si è verificato nel periodo più antico (Delta = 0,178), supportando il valore dell'arricchimento conservativo per i record con descrizioni iniziali scarse.

Le prestazioni di recupero migliorate in tutti i sistemi potenziati, con i maggiori vantaggi con l'integrazione multimodale completa

L'efficacia del prelievo migliorava sotto ogni condizione di miglioramento rispetto alla base, ma l'entità del miglioramento variava a seconda del braccio del sistema (n = 420 query di benchmark corrispondenti). I risultati complessivi del recupero sono elencati nella Tabella 5. Le prestazioni di base erano basse: P@10 = 0,394, R@10 = 0,238, nDCG@10 = 0,392, tempo medio fino al primo risultato rilevante = 156,079 s e tasso di ricerca di successo = 5,0% (21/420; IC 95%, 3,3%–7,5%). La Figura 5 riassume le prestazioni di recupero nei cinque rami del sistema sperimentale, inclusi metriche complessive di recupero, tassi di successo a livello tematico e strati di difficoltà delle query.

Tutti e tre i sistemi monocomponenti hanno superato complessivamente la linea di base. La correzione del riconoscimento ottico dei caratteri è aumentata P@10 a 0,484, R@10 a 0,346 e nDCG@10 a 0,475, riducendo il tempo fino al primo risultato rilevante a 124,261 s e aumentando il tasso di ricerca di successo al 30,2% (127/420; IC 95%, 26,0%–34,8%). La classificazione visiva ha prodotto P@10 = 0,490, R@10 = 0,302, nDCG@10 = 0,478, tempo medio fino al primo risultato rilevante = 131,985 s e tasso di ricerca di successo = 22,9% (96/420; IC 95%, 19,1%–27,1%). L'arricchimento dei metadati ha raggiunto la migliore performance di recupero a singolo componente, con P@10 = 0,507, R@10 = 0,347, nDCG@10 = 0,513, tempo medio fino al primo risultato rilevante = 117,474 s e un tasso di ricerca di successo del 38,3% (161/420; IC 95%, 33,8%–43,1%).

Il sistema multimodale completo ha ottenuto le migliori prestazioni in tutti gli endpoint di recupero. P@10 aumentato da 0,394 al valore iniziale a 0,624, R@10 da 0,238 a 0,492 e nDCG@10 da 0,392 a 0,634. Il tempo medio fino al primo risultato rilevante è diminuito da 156,079 s a 58,485 s, e il tasso di ricerca di successo è aumentato dal 5,0% al 95,5% (401/420; IC 95%, 93,0%–97,1%). Questi valori corrispondono a guadagni assoluti di 0,230 per P@10, 0,254 per R@10 e 0,242 per nDCG@10.

Anche il recupero specifico per tema è migliorato con l'integrazione multimodale completa. I tassi di ricerca di successo sono aumentati tra persone, istituzioni, luoghi, occupazioni, eventi e temi tematici, con la categoria professionale che ha mostrato il maggior guadagno pratico, poiché il suo tasso di successo di base era dello 0,0% e saliva al 90,0% sotto la condizione multimodale completa. Le query per toponimi avevano le prestazioni di base più forti ma beneficiavano comunque dell'integrazione multimodale.

I guadagni multimodali variavano a seconda degli strati di documento, periodo e lingua

Le analisi dei sottogruppi hanno mostrato che i guadagni multimodali erano ampiamente distribuiti tra tipi di documenti, periodi storici e contesti linguistici, sebbene l'entità del miglioramento variasse. Questa eterogeneità indica che il flusso di lavoro dovrebbe essere valutato all'interno di ogni collezione target piuttosto che presumere che produca guadagni uniformi. La Figura 6 mostra l'eterogeneità dei guadagni di recupero multimodale tra il tipo di documento target, il periodo storico e il contesto linguistico.

A livello di tipo di documento, nDCG@10 migliorato in tutte le classi target. Fotografie con didascalie, lettere manoscritte, mappe, registri e libri di registro mostrarono forti progressi, mentre giornali e corrispondenza dattiloscritta migliorarono più modestamente. Questi modelli suggeriscono che i record con metadati iniziali deboli o una struttura visiva complessa traggano maggior beneficio dalla combinazione di segnali di testo, immagine e metadati.

A livello storico, R@10 aumentato da 0,175 a 0,429 per il 1850–1879 e raggiunse 0,506 per il 1880–1909, 0,501 per il 1910–1939 e 0,519 per il 1940–1969 con l'integrazione multimodale completa. I guadagni sono stati simili in scala assoluta tra periodi, suggerendo che l'arricchimento e il riconoscimento corretto hanno aiutato sia i record scarsi iniziali sia quelli successivi con metadati di base più ricchi.

I risultati del contesto linguistico hanno mostrato un modello simile. P@10 nella piena condizione multimodale raggiunse 0,607 per dischi misti in alfabeto latino, 0,628 per l'inglese, 0,618 per il francese, 0,661 per il tedesco e 0,639 per portoghese e spagnolo. Il maggior guadagno di precisione si è verificato per i record in alfabeto latino misto, che avevano la precisione di base più debole.

Modelli a livello di componente: contributi complementari piuttosto che ridondanti

Insieme, i risultati mostrano che i componenti del protocollo sono complementari piuttosto che ridondanti. La correzione OCR ha migliorato la riconoscibilità del testo, la classificazione visiva ha aggiunto segnali di tipo documentale consapevoli della struttura, e l'arricchimento dei metadati ha ampliato lo strato descrittivo ricercabile. La condizione multimodale completa ha prodotto i guadagni di recupero più forti e costanti, supportando l'obiettivo dello studio di testare un flusso di lavoro auditabile e orientato al recupero per archivi digitali eterogenei.

Questi risultati supportano un modello di protocollo in cui l'intelligenza artificiale multimodale completa la ricerca archivistica preservando la necessità di governance dei repository, provenienza dei dati e validazione degli esperti.

DISPONIBILITÀ DEI DATI:

Il dataset de-identificato di 1.600 record utilizzato per le analisi principali è disponibile su Zenodo come data.xlsx (https://doi.org/10.5281/zenodo.20774456).

Figura 1: Flusso di lavoro riproducibile per la scoperta archivistica multimodale. (A) Costruzione di corpus da record archivistici a livello di repository con screening di inclusione/esclusione. (B) Etichettatura dei riferimenti e controllo qualità, inclusi il tipo di documento, le regioni di riferimento OCR, il contesto linguistico, il periodo storico e la completezza dei metadati. (C) Preprocessing delle immagini, generazione e post-correzione OCR, classificazione visiva dei documenti e arricchimento conservativo dei metadati. (D) Costruzione dell'indice, valutazione del recupero a cinque bracci, analisi statistica e confezionamento delle risorse. Abbreviazioni: OCR, riconoscimento ottico dei caratteri; CER, tasso di errore del carattere; WER, tasso di errore di parola. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Struttura di errore di riconoscimento ottico dei caratteri a livello di record e rilevabilità dopo la correzione. (A) CER di base rispetto al WER di base su 1.600 record d'archivio, colorati per tipo di documento per le classi rappresentative. (B) Associazione tra intensità di scrittura a mano scalata e variazione del WER dopo la correzione; valori negativi indicano un WER più basso dopo la correzione. La linea adattata e la banda grigia mostrano la tendenza lineare e l'intervallo di confidenza del 95%. (C) Punteggio di rilevabilità a livello di record prima e dopo la correzione per tipo di documento, illustrando i cambiamenti post-correzione nelle prove ricercabili. Abbreviazioni: CER, tasso di errore del carattere; WER, tasso di errore di parola. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Classificazione visiva dei documenti prima e dopo la messa a punto specifica per archivio. (A) Accuratezza Top 1 per tipo di documento alla base e dopo la messa a punto. (B) Distribuzioni di fiducia per previsioni corrette e errate in condizioni di base e post-tuning. (C) Matrice di performance a livello di classe che riassume l'accuratezza top-1 e la fiducia media posteriore prima e dopo la messa a punto. I dati diagnostici del modello includono 20 epoche di curve di perdita/precisione, macro-F1, ponderato-F1, ROC-AUC e PR-AUC. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: completezza dei metadati e corrispondenza dei titoli di soggetto dopo arricchimento conservativo. (A) completezza dei metadati a livello di record prima e dopo l'arricchimento. (B) Campi di metadati appena realizzati per tipo di documento. (C) Guadagno nella sfida tra i titoli di argomento attraverso i periodi storici. La completezza è stata calcolata come il numero di core campi popolati applicati diviso per il numero totale di core campi applicabili. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Prestazioni di recupero tra i cinque rami di sistema sperimentale. (A) P@10, R@10, nDCG@10, tempo fino al primo risultato rilevante e tasso di ricerca di successo per la linea di base, la correzione ottica del riconoscimento caratteri, la classificazione visiva, l'arricchimento dei metadati e l'integrazione multimodale completa. (B) Grafico a bolla del tasso di ricerca di successo per argomento di query e braccio di sistema; Il colore indica il braccio di sistema, e la dimensione della bolla indica la percentuale di successo. (C) P@10, R@10 e nDCG@10 tra strati di difficoltà facile, moderata e difficile di interrogazione. (D) Vista alternativa a livello di argomento del tasso di successo che mostra la distribuzione delle ricerche di successo tra argomenti di query e rami di sistema. Abbreviazioni: P@10, precisione a 10; R@10, richiamo alle 10; nDCG@10, guadagno cumulativo scontato normalizzato a 10. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 6: Eterogeneità dei guadagni di recupero multimodale tra i sottogruppi archivistici. (A) nDCG@10 per tipo di documento target e condizione di recupero. (B) R@10 in base al periodo storico e alla condizione di recupero. (C) P@10 in base al contesto della lingua di destinazione e alla condizione di recupero. Le condizioni sono: Baseline, correzione OCR, classificazione visiva, arricchimento dei metadati, integrazione multimodale completa, OCR+Testo, Testo+Visivo+Metadati e Visivo+Metadati. La figura evidenzia che i guadagni multimodali sono diffusi ma non uniformi tra documenti, periodi e lingue. Clicca qui per visualizzare una versione più grande di questa figura.

Tipo di documento	N record	Pagine mediane	Documenti scritti a mano	Base media WER	Base media Metadati completezza	Base media Scopertibilità
			(%)
Lettera scritta a mano	262	2	95	0.729	0.648	68.2
Registro	263	7	63.5	0.679	0.674	72.2
Mappa	102	1	2.9	0.457	0.552	74.1
Giornale	261	8	0.8	0.495	0.66	75.5
Fotografia con didascalia	179	1	1.1	0.374	0.601	73.6
Poster	87	1	0	0.413	0.571	74.8
Registro registro	194	10	18	0.616	0.703	71.3
Corrispondenza dattiloscritta	252	3	4	0.315	0.689	76.4

Tabella 1: Caratteristiche della collezione archivistica per tipo di documento. La tabella riporta il numero di record, il numero mediano di pagine, la percentuale di record contenenti scrittura a mano, il WER medio di base, la completezza media dei metadati di base e il punteggio medio di rilevabilità di base per ciascuna delle otto classi di documenti.

Tipo di documento	Dimensione del campione	CER	CER	WER	WER	Entità nominata Richiamo	Entità nominata Richiamo	ΔWER
	(n)	(Base)	(Post)	(Base)	(Post)	(Base)	(Post)
Lettera scritta a mano	262	0.531	0.363	0.729	0.531	0.302	0.44	−0.198
Registro	263	0.49	0.326	0.679	0.485	0.336	0.471	−0,194
Mappa	102	0.322	0.228	0.457	0.347	0.38	0.503	−0.11
Giornale	261	0.354	0.256	0.495	0.381	0.436	0.558	−0.114
Fotografia con didascalia	179	0.257	0.181	0.374	0.286	0.494	0.616	−0,088
Poster	87	0.287	0.199	0.413	0.316	0.448	0.57	−0,097
Registro registro	194	0.442	0.293	0.616	0.439	0.369	0.504	−0,177
Corrispondenza dattiloscritta	252	0.219	0.155	0.315	0.232	0.524	0.646	−.083

Tabella 2: Prestazioni OCR prima e dopo la correzione per tipo di documento. CER e WER sono stati calcolati rispetto alle trascrizioni di riferimento; Il richiamo delle entità nominate veniva calcolato contro entità di persona, luogo, istituzione e data etichettate manualmente. Il WER delta è il WER post-correzione meno il WER basale.

Tipo di documento	n	Accuratezza, Base	Accuratezza, Post	Fiducia, Base	Fiducia, Post	ΔAccuracy
Lettera scritta a mano	262	0.615	0.645	0.616	0.655	0.03
Registro	263	0.707	0.749	0.725	0.767	0.042
Mappa	102	0.765	0.902	0.801	0.899	0.137
Giornale	261	0.716	0.843	0.728	0.83	0.127
Fotografia con didascalia	179	0.815	0.869	0.824	0.89	0.054
Poster	87	0.771	0.903	0.792	0.889	0.132
Registro registro	194	0.687	0.793	0.701	0.787	0.106
Corrispondenza dattiloscritta	252	0.796	0.791	0.804	0.82	-0.005

Tabella 3: Prestazioni nella classificazione visiva dei documenti prima e dopo la fine tuning specifica per archivio. La tabella riporta la dimensione del campione, l'accuratezza top-1, la fiducia media a posteriori e la variazione dell'accuratezza in base al tipo di documento. I dati diagnostici includono 20 righe a livello epocale con macro-F1, F1 ponderato, ROC-AUC, PR-AUC, perdita di addestramento, perdita di validazione, accuratezza dell'addestramento e accuratezza di validazione.

Completezza	Completezza	Campi Popolati	Campi Popolati	Titolo dell'argomento Partita	Titolo dell'argomento Partita	Δ Completezza	Δ Titolo di argomento Partita
(Base)	(Post)	(Base)	(Post)	(Base)	(Post)
0.534	0.868	4.274	8.584	0.643	0.821	0.334	0.178
0.607	0.898	4.838	8.709	0.672	0.841	0.291	0.169
0.68	0.927	5.426	9.095	0.686	0.849	0.247	0.163
0.686	0.922	5.48	8.953	0.694	0.854	0.236	0.16

Tabella 4: Arricchimento dei metadati per periodo storico. La completezza è la proporzione di campi descrittivi principali applicabili popolati per un record; i campi popolati sono riportati come conteggi medi; La corrispondenza per titoli di soggetto indica se le evidenze a livello di registrazione supportavano almeno un'etichetta di soggetto con vocabolario controllato.

Braccio di sistema	n query	P@10	R@10	nDCG@10	È ora di passare per la prima cosa rilevante Risultato(s)	Tasso di ricerca di successo
						(%)
Base	420	0.394	0.238	0.392	156.079	5
Correzione OCR	420	0.484	0.346	0.475	124.261	30.2
Classificazione visiva	420	0.49	0.302	0.478	131.985	22.9
Arricchimento dei metadati	420	0.507	0.347	0.513	117.474	38.3
Multimodale completo	420	0.624	0.492	0.634	58.485	95.5

Tabella 5: Prestazioni di recupero per i cinque bracci del sistema sperimentale. P@10, R@10, nDCG@10, tempo fino al primo risultato rilevante e tasso di ricerca di successo sono stati calcolati su un benchmark di 420 query sotto condizioni di query abbinata.

Discussione

Questo protocollo dimostra che la scoperta negli archivi digitali storici è migliorata maggiormente quando la correzione OCR, la comprensione visiva del documento e l'arricchimento conservativo dei metadati sono stati valutati come componenti di recupero connessi piuttosto che come aggiornamenti tecnici isolati. I maggiori guadagni di OCR si sono verificati nei materiali scritti a mano, tabulari e di registro, supportando il valore della post-correzione per le classi di documenti in cui il riconoscimento di base è più debole. Allo stesso tempo, l'errore residuo dopo la correzione dimostra che la pulizia dell'OCR non può essere trattata come trascrizione definitiva e deve rimanere verificabile.

Anche i risultati della classificazione visiva richiedono un'interpretazione attenta. La messa a punto ha migliorato classi visivamente distintive come mappe, manifesti, giornali e libri di registro, ma i progressi erano minori per lettere e registri scritti a mano, dove i layout si sovrappongono e i confini delle classi sono meno visivamente separabili. La dimensione relativamente piccola del corpus significa che la performance nella classificazione dovrebbe essere interpretata come prova di protocollo piuttosto che come prova che un modello multimodale di produzione possa essere addestrato da 1.600 record da soli dati. La validazione futura dovrebbe confrontare EfficientNet-B3 con i transformer document, i Transformation Vision, i Transformers Swin, i ConvNeXt e i modelli multimodali di fondazione^documentale 8,11,12,13,14,15,16,17,18.

L'arricchimento dei metadati ha contribuito in modo significativo al recupero espandendo i record descrittivi scarsi in campi ricercabili, mantenendo però le informazioni di fonte e confidenza. Questa scoperta è coerente con la necessità archivistica di punti di accesso più ricchi, ma solleva anche rischi di governance. L'arricchimento automatico può amplificare gli errori OCR, normalizzare nomi storicamente ambigui in modo troppo aggressivo o introdurre bias se i vocabolari controllati sono incompleti. Per questo motivo, il flusso di lavoro utilizza soglie di confidenza, registrazione delle sorgenti e flag di revisione invece della sostituzione completamente automatica dei record di catalogo.

La valutazione del recupero fornisce evidenze degli effetti dei moduli complementari, ma presenta delle limitazioni. Il confronto attuale utilizzava condizioni di ablazione di base e di modulo interno; non si è confrontata con il recupero denso, i ranker di interazione tardiva come ColBERT, il recupero ibrido sparse-dense, il riposizionamento neurale o i sistemi di generazione aumentata con^recupero 22,23,24. Questi approcci dovrebbero essere aggiunti in lavori futuri per determinare se i guadagni multimodali osservati rimangano competitivi rispetto alle attuali architetture di recupero.

L'implementazione richiede anche attenzione a perdite di dati, vincoli computazionali e scalabilità. L'arricchimento utilizzava output di riconoscimento ottico dei caratteri, previsioni visive e metadati esistenti, quindi la divisione train/validazione/test e la valutazione delle query devono essere mantenute separate dalle decisioni di arricchimento. Le future implementazioni dovrebbero riportare hardware, runtime, utilizzo di memoria, dimensione dell'indice e costo per 1.000 record. Gli approcci di restauro dell'imaging derivanti da lavori di visione artificiale adiacenti, inclusi modelli di rimozione dell'occlusione su scala multipla e basati sull'attenzione, potrebbero ispirare futuri esperimenti di pre-elaborazione, ma dovrebbero essere testati attentamente perché i flussi di lavoro archivistici non devono allucinare o alterare il contenuto delle prove^26,27.

Nel complesso, il flusso di lavoro è meglio compreso come un protocollo di accesso riproducibile piuttosto che come un sostituto della descrizione archivistica. L'intelligenza artificiale multimodale può migliorare la scoperta quando i suoi output sono vincolati, registrati e revisionati, ma gli archivisti rimangono essenziali per la valutazione della provenienza, le decisioni di accesso-governance e l'interpretazione di documenti storicamente^{complessi 21,25}.

CONCLUSIONI:
Questo studio ha testato se la correzione del riconoscimento ottico dei caratteri, la classificazione visiva dei documenti e l'arricchimento conservativo dei metadati possano fungere da componenti complementari per il recupero negli archivi digitali storici. Il protocollo migliorò la trascrizione, la classificazione, la completezza dei metadati e le prestazioni aggregate di recupero, mantenendo soglie esplicite, registrazione delle sorgenti e salvaguardie per la revisione umana. Il flusso di lavoro dovrebbe quindi essere utilizzato come protocollo di supporto ad accesso auditabile, non come sostituto del giudizio archivistico o della governance del repository.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Python	Python Software Foundation	v3.11.8; https://www.python.org/	Workflow scripting, data processing, optical character recognition post-correction, and statistical support
R	R Foundation for Statistical Computing	v4.3.3; https://www.r-project.org/	Statistical analysis and final figure generation
Tesseract OCR	Tesseract OCR Project	v5.3.0; https://github.com/tesseract-ocr/tesseract	Baseline optical character recognition generation
Tesseract language packs	Tesseract OCR Project	Study-specific language packs; https://github.com/tesseract-ocr/tessdata	Primary and mixed-language optical character recognition decoding
OpenCV	OpenCV Team	v4.9.0; https://opencv.org/	Deskewing, noise estimation, and image preprocessing
Pillow	Python Imaging Library contributors	v10.3.0; https://python-pillow.org/	Image input/output and format normalization
NumPy	NumPy developers	v1.26.4; https://numpy.org/	Array computation for image and metric processing
pandas	pandas development team	v2.2.2; https://pandas.pydata.org/	Tabular data handling and summary exports
SciPy	SciPy developers	v1.13.1; https://scipy.org/	Statistical tests and numerical utilities
statsmodels	statsmodels developers	v0.14.2; https://www.statsmodels.org/	Statistical modeling and paired-comparison support
scikit-learn	scikit-learn developers	v1.4.2; https://scikit-learn.org/	Classification metrics, ROC/PR diagnostics, and validation utilities
rapidfuzz	Max Bachmann and contributors	v3.9.0; https://github.com/rapidfuzz/RapidFuzz	Edit-distance candidate ranking for optical character recognition correction
spaCy	Explosion AI	v3.7.4; https://spacy.io/	Named-entity processing with custom lexicon tables
PyTorch	PyTorch Foundation	v2.2.2; https://pytorch.org/	Visual document classifier training
torchvision	PyTorch Foundation	v0.17.2; https://pytorch.org/vision/	EfficientNet-B3 implementation and image transforms
EfficientNet-B3 backbone	torchvision / ImageNet pretrained weights	EfficientNet-B3; https://pytorch.org/vision/stable/models/efficientnet.html	Visual document classification backbone
sentence-transformers	UKP Lab / Hugging Face ecosystem	v2.7.0; https://www.sbert.net/	Semantic expansion for controlled-vocabulary candidates
Search-engine software	Elastic	Elasticsearch v8.11.1; https://www.elastic.co/elasticsearch	BM25 indexing, retrieval, and ranking
Container engine	Docker Inc.	Docker v26.1.1; https://www.docker.com/	Containerized retrieval environment
Linux operating system	Canonical	Ubuntu 22.04 LTS; https://ubuntu.com/	Fixed operating environment for retrieval runs
Version-control system	Git project	Git v2.44.0; https://git-scm.com/	Version control for configuration, vocabularies, scripts, and figure code
ggplot2	tidyverse	v3.5.1; https://ggplot2.tidyverse.org/	R-based figure rendering
Matplotlib	Matplotlib developers	v3.8.4; https://matplotlib.org/	Supplementary visualization and quality-assurance plots
Annotation guideline	Authors	5 annotation sections; 8 document-class labels; OCR regions; entity labels; relevance judgments; adjudication rules	Definitions for document classes, OCR regions, entities, relevance judgments, and adjudication
Archive-specific OCR lexicon	Authors	6 lexicon categories: person variants, place names, institution names, date patterns, administrative terms, abbreviations	Names, places, institutions, administrative terms, and spelling variants
Controlled vocabulary mapping	Authors / archival repositories	5 mapping rules linking OCR entities, visual class, title keywords, date coverage, and query topic to metadata fields	Subject-heading matching and semantic expansion
Benchmark query set	Authors	420 benchmark queries; 6 query topics; 3 difficulty levels; 8 target document classes; 4 historical periods; 6 language contexts	Matched retrieval benchmark across five system arms
Relevance judgments	Authors / annotators	2,100 query-system rows; 420 queries x 5 system arms; relevant totals, relevant-in-top-10 counts, graded relevance, and success flags	Ground-truth surrogate for P@10, R@10, nDCG@10, and successful-search rate
Training diagnostics	Authors	20 epochs; training loss; validation loss; training accuracy; validation accuracy; macro-F1; weighted-F1; ROC-AUC; PR-AUC	Epoch-level model diagnostic summaries
Computational hardware	Authors	8 CPU cores; 32 GB RAM; NVIDIA GPU-class training environment	Reproducibility resource detail for JoVE submission
Dataset file	Authors	data.xlsx; 1,600 records; 17 variables; DOI listed in manuscript Data Availability	Record-level source data for optical character recognition, metadata completeness, discoverability, and visual classification analyses