Forschungsartikel

Reproduzierbare multimodale künstliche Intelligenz für die Entdeckung historischer digitaler Archive

DOI:

10.3791/71698

⸱

7. August 2026

 , 
1Information Data Center, Jiangsu Province Hospital of Chinese Medicine (Affiliated Hospital of Nanjing University of Chinese Medicine), 2Hospital Office, Jiangsu Province Hospital of Chinese Medicine (Affiliated Hospital of Nanjing University of Chinese Medicine)

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Hier stellen wir ein Protokoll vor, um die Entdeckung in historischen digitalen Archiven zu verbessern, indem nach der Korrektur optische Zeichenerkennung, visuelle Dokumentklassifikation, Metadatenanreicherung und Abrufauswertung in einen auditierbaren Arbeitsablauf integriert werden.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Historische digitale Archive sind zunehmend durchsuchbar, aber die Entdeckung bleibt begrenzt, wenn optische Zeichenerkennungsfehler, visuell heterogene Dokumenttypen und spärliche Metadaten getrennt behandelt werden. Diese Studie hatte zum Ziel, ein reproduzierbares Protokoll zu entwickeln, um zu bewerten, ob ein konservativer multimodaler Workflow künstliche Intelligenz die Archivabrufe verbessern kann, ohne die Überprüfung der Archivisten zu ersetzen. Ein Korpus von 1.600 digitalisierten Archivdaten aus acht Dokumentklassen wurde zusammengestellt, und ein Benchmark mit 420 Abfragen wurde verwendet, um fünf Abrufbedingungen zu vergleichen: Baseline-Indexierung, optische Zeichenerkennungskorrektur allein, visuelle Klassifikation allein, Metadatenanreicherung allein und vollständige multimodale Integration. Zu den Ergebnissen auf Datensatzebene gehörten Zeichenfehlerrate (CER), Wortfehlerrate (WER), Erinnerung an benannte Entitäten, Genauigkeit der Dokumenttypklassifikation, Vorhersagekonfidenz, Vollständigkeit der Metadaten und Übereinstimmung mit der Themenüberschrift. Die Ergebnisse auf Anfrageebene umfassten P@10, R@10, nDCG@10, Zeit bis zum ersten relevanten Ergebnis und die erfolgreiche Suchrate. Die Korrektur der optischen Zeichenerkennung reduzierte die WER am deutlichsten bei handgeschriebenen Briefen, Büchern und Registerbüchern; visuelle Feinabstimmung verbesserte die Klassifikationsgenauigkeit vor allem bei Karten, Plakaten, Zeitungen und Registerbüchern; und die Metadatenanreicherung erhöhte die Vollständigkeit über alle historischen Perioden. Die vollständige multimodale Bedingung erzielte die höchste Rückholleistung (P@10 = 0,624, R@10 = 0,492, nDCG@10 = 0,634) und reduzierte die mittlere Zeit auf das erste relevante Ergebnis von 156,079 s auf 58,485 s. Diese Ergebnisse unterstützen einen modularen, auditierbaren Workflow, bei dem Text, Bild und beschreibende Signale unter expliziten Schwellenwerten und menschlicher Überprüfung kombiniert werden.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Digitale Archive haben sich rasant erweitert und unterstützen nun Forschung in den Bereichen Geschichte, Kulturerbe, öffentliche Verwaltung und digitale Geisteswissenschaften. Der Zugang bleibt jedoch ungleichmäßig, da Archivaufzeichnungen oft verschlechterte optische Zeichenerkennung, visuell unterschiedliche Seitenlayouts, inkonsistente Katalogisierungspraktiken und historisch variable Namen, Orte und Institutionen kombinieren. Diese Einschränkungen betreffen nicht nur die Transkriptionsqualität, sondern auch die Abruf, Filterung und nachgelagerte Wiederverwendung digitalisierter Sammlungen 1,2,3,4,5,6,7.

Bestehende Studien zur künstlichen Intelligenz von Dokumenten und Archivabruf haben einzelne Komponenten wie die optische Zeichenerkennung nach der Korrektur, Dokument-Bild-Klassifikation, Metadaten-Normalisierung, Themenmodellierung, Worteinbettungen, neuronale Abruf und Daten-Governance-Praxisverbessert 8,9,10,11,12,13,14,15, 16,17,18,19,20,21,22,23,24,25. Dennoch bewerten viele Archivsysteme diese Komponenten weiterhin separat, was es erschwert zu bestimmen, ob ein kombinierter Workflow die Entdeckung unter realistischen Suchbedingungen verbessert. Die hier adressierte methodische Lücke ist das Fehlen eines reproduzierbaren, auditierbaren Protokolls, das Text-, Bild- und Metadatenmodule mit Abrufergebnissen in einem einzigen Archivierungsworkflow verbindet.

Das zentrale Ziel war zu testen, ob optische Zeichenerkennungskorrektur, visuelle Dokumentklassifikation und regelbeschränkte Metadatenanreicherung komplementäre Verbesserungen erzielen, wenn sie mit demselben Abruf-Benchmark verglichen werden.

Wir vermuteten, dass die vollständige multimodale Bedingung jede Einzelkomponentenbedingung übertreffen würde, da die Archiventdeckung von der Interaktion von lesbarem Text, visuell interpretierbarer Dokumentstruktur und durchsuchbarer deskriptiver Metadaten abhängt. Der Workflow war konservativ gestaltet: Automatisierte Ausgaben konnten die Abrufindizes bereichern, aber Low-Confidence Vorhersagen wurden zur Überprüfung markiert, anstatt als autoritative Archivbeschreibung zu dienen.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Studie verwendete digitalisierte Archivaufzeichnungen und simulierte Abrufanfragen als Analyseeinheiten. Archivarchive können den Zugang zu sensiblen oder kulturell eingeschränkten Unterlagen einschränken. Befolgen Sie vor der Verarbeitung oder Weitergabe von Unterlagen die Zugriffsregeln zum Repository, institutionelle Datensicherheitsverfahren und De-Identifikationsvorschriften. Durch diesen digitalen Workflow wurden keine gefährlichen chemikalien, biologischen, scharfen, radioaktiven oder anderen regulierten Laborabfälle erzeugt.

Studiendesign und Korpusaufbau

Abbildung 1 zeigt den vollständigen Studienablauf, einschließlich Korpusaufbau, Referenzkennzeichnung, Bildvorverarbeitung, OCR-Generierung und Nachkorrektur, visueller Klassifikation, Metadatenanreicherung, Indexkonstruktion, Abrufbewertung, statistischer Analyse und Reproduzierbarkeitspaketierung.

Der Korpusbau fand vom 15. Januar bis 30. April 2025 statt, gefolgt von Systemdesign und Debugging vom 1. Mai bis 31. Oktober 2025. Das Korpus enthielt 1.600 digitalisierte Archivaufzeichnungen, ausgewählt aus acht Depots, die staatliche, städtische, religiöse, Museums-, Universitäts- und Bibliothekssysteme repräsentierten. Der Stichprobenrahmen wurde nach Archiv und Dokumentenklasse geschichtet, um die archivale Heterogenität über handgeschriebene Briefe, Bücher, Karten, Zeitungen, Fotos mit Bildunterschriften, Plakaten, Registerbüchern und getippter Korrespondenz zu bewahren.

Für jeden Kandidateneintrag zeichnete das Auswahlprotokoll die Repository- oder Sammlungsidentifikator, Katalogkennung, Dokumentklasse, ungefähre historische Periode, den dominanten Sprachkontext, das verfügbare Bildformat, die Bildauflösung, die Seitenanzahl und die Basisbeschreibenden Felder auf. Die Aufnahme erforderte alle Folgenden: eine stabile Katalogkennung; mindestens ein TIFF-, JPEG- oder PNG-Seitenbild; Quellbildauflösung von mindestens 150 DPI; lesbarer Text-, tabellarischer oder dokumentenstruktureller Inhalt; und der Zuweisung einer der acht vordefinierten Dokumentklassen. Die Ausschlusskriterien waren exakte Duplikate, leere Rückseiten, so viele Bilder, dass mehr als 30 % des texttragenden Bereichs fehlten, und Unterlagen, die nach manueller Inspektion als unlesbar eingestuft wurden.

Der Abruf-Benchmark enthielt 420 kurze Natursprachanfragen, die zwischen dem 5. und 20. August 2025 generiert wurden. Die Abfragegenerierung folgte einer reproduzierbaren Vorlage: Die Informationsbedürfnisse der Kandidaten wurden aus Personen, Institutionen, Orten, Datumsräumen, Berufen, Ereignissen und aktuellen Themen ausgewählt; jede Abfrage wurde auf 2–9 Wörter normalisiert; und zielrelevante Datensätze wurden vor dem Systemvergleich identifiziert. Jede Abfrage wurde unter fünf Abrufbedingungen ausgewertet und lieferte 2.100 übereinstimmende Beobachtungen der Abfragebedingungen.

Referenzkennzeichnung und Qualitätskontrolle

Die Referenzkennzeichnung erfolgte vom 1. Mai bis 15. Juli 2025 von drei Annotatoren: zwei Archivmitarbeitern mit Erfahrung in deskriptiver Katalogisierung und einem Digital-Humanities-Forscher mit Erfahrung in der Bewertung historischer Dokumente. Der Annotationsleitfaden definierte Dokumentklassen, Sprachkontext-Kategorien, historische Perioden-Bins, Metadaten-Vollständigkeitsfelder, benannte Entitätskategorien und Regeln zur Auswahl von OCR-Bewertungsregionen.

Für die OCR-Bewertung wählten die Annotatoren repräsentative, texttragende Bereiche aus, die Überschriften, Namen, Daten, institutionelle Begriffe, Randnotizen, tabellarische Einträge und, falls vorhanden, verrauschte Layoutbereiche enthielten. Wenn eine Seite mehrere Textbereiche enthielt, musste der ausgewählte Bereich für den Abruf relevant sein und genügend Zeichen für die Berechnung von CER und WER enthalten. Meinungsverschiedenheiten wurden zunächst durch Diskussionen zwischen den beiden Hauptannotatoren beigelegt; Ungelöste Fälle wurden vom Digital Humanities Forscher entschieden.

Die Qualitätskontrolle verwendete eine zufällige Teilmenge von 12 % der Datensätze. Die Vereinbarung zwischen den Annotatoren für den primären Dokumenttyp war Cohens Kappa = 0,86, was eine substanzielle Übereinstimmung unterstützt. Das Adjudikationsprotokoll behielt die ursprünglichen und endgültigen Labels, die Disagreement-Kategorie und den Grund für die Auflösung bei, damit zukünftige Nutzer Klassendefinitionen und Randfälle überprüfen können.

Bildvorverarbeitung

Alle Bilder wurden auf Datensatzebene mit Python 3.11.8 mit OpenCV 4.9.0, Pillow 10.3.0 und NumPy 1.26.4 verarbeitet. Jede Eingabeseite wurde in 8-Bit-Graustufen umgewandelt, es sei denn, Farbe trug semantische Informationen wie Karten, Plakate, Briefmarken oder farbcodierte Annotationen. Die Verschiebung wurde anhand von Projektionsprofilen und Hough-Liniendetektion geschätzt; Deskewing wurde nur angewendet, wenn der absolute Schrägwinkel 1,5 Grad überschritt und bei 8,0 Grad begrenzt war, um Verzerrungen zu vermeiden.

Die Kontrastverstärkung verwendete kontrastbegrenzte adaptive Histogrammequalizierung mit clipLimit = 2.0 und tileGridSize = 8 × 8. Ein Medianfilter mit einem Kern von 3 × 10−23 wurde nur angewendet, wenn das geschätzte Hintergrund-Rausch-Verhältnis 0,35 überschritt. Bilder mit 150–299 dpi wurden für die optische Zeichenerkennung auf 300 dpi neu abgetastet; Bilder, die bereits bei 300 DPI oder höher waren, wurden nicht hochskaliert. Es wurden keine Superauflösung, generative Wiederherstellung oder Inhaltshalluzinationen verwendet.

Durchgang, Kantenverdunkelung, ungleichmäßige Papiertextur, Randstempel, Handschrift, linierte Linien und Tabellengrenzen wurden beibehalten, sofern sie die OCR-Regionsauswahl verhinderten. Diese Regel bewahrte Archivbelege und standardisierte Bildeingaben ausreichend für reproduzierbare OCR und Klassifikation.

OCR-Basisgenerierung und Nachkorrektur

Baseline OCR wurde mit Tesseract OCR 5.3.0 generiert. Das primäre Sprachpaket wurde aus der Katalogsprache und der sichtbaren Schrift ausgewählt; Mehrsprachige Dekodierung wurde aktiviert, wenn die Katalogsprache und das Seitenskript nicht übereinstimmten. OCR-Ausgaben wurden auf Datensatzebene gruppiert und mit Seitenkennungen, OCR-Vertrauen, verfügbaren Begrenzungsbox-Koordinaten und Rohtext vor der Korrektur gespeichert.

Die Post-OCR-Korrektur verwendete ein dreistufiges konservatives Verfahren. Erstens korrigierte die Normierung auf Zeichenebene häufige historische Erkennungsverwechslungen, einschließlich Ligaturen, Long-s/Short-s-Substitutionen, fragmentierter Satzzeichen und Stellen-Buchstaben-Substitutionen. Zweitens verwendete die Token-Korrektur Kandidaten mit Bearbeitungsdistanz und Frequenz aus einem archivspezifischen Lexikon von Personennamen, Ortsnamen, Institutionen, Verwaltungsbegriffen und historischen Rechtschreibvarianten. Drittens validiert regelbasierte Sequenzprüfung benannte Entitäten und Daten anhand von Kontext- und Metadatenbelegen.

Kandidatenersatz wurde nur akzeptiert, wenn die Posteriorkorrektur-Konfidenz 0,80 überstieg; Ersetzungen benannter Einheiten erforderten ein Vertrauen von mindestens 0,85. Kandidaten unterhalb der Schwelle wurden als OCR-Text beibehalten, aber zur Überprüfung markiert. CER wurde als Levenshtein-Bearbeitungsdistanz geteilt durch die Anzahl der Zeichen in der Referenztranskription berechnet. WER verwendete dieselbe Formel auf Token-Ebene. Der Rückruf der benannten Entitäten wurde als korrekt erkannte Referenzentitäten berechnet, geteilt durch alle Referenzentitäten in der ausgewählten Bewertungsregion.

Visuelle Dokumentklassifikation

Das visuelle Klassifikationsmodul ordnete jedem Datensatz eine von acht Archivdokumentklassen zu: handgeschriebener Brief, Hauptbuch, Karte, Zeitung, Foto mit Bildunterschrift, Poster, Registerbuch und getippte Korrespondenz. Der vorhergesagte Dokumenttyp wurde als Abruf- und Filtersignal verwendet, nicht als autoritativer Ersatz für die Archivkatalogisierung.

Das Modell wurde in PyTorch 2.2.2 und Torchvision 0.17.2 unter Verwendung eines von ImageNet-vortrainierten EfficientNet-B3-Backbone implementiert. Die Thumbnails auf Record-Niveau wurden auf 384 x 384 Pixel verkleinert. Um Lecks zu reduzieren, wurden Datensätze nach Repository und Dokumentenklasse in Trainings-, Validierungs- und Testsets im Verhältnis 70:15:15 aufgeteilt, was etwa 1.120, 240 und 240 Datensätzen entspricht.

Training verwendete AdamW mit initialer Lernrate = 1 × 10-4, Gewichtsabfall = 1 × 10−2, Batchgröße = 16, Label-Glättung = 0,05 und frühem Stopp, wenn sich der Validierungsverlust fünf aufeinanderfolgende Epochen nicht verbesserte. Horizontales Flippen wurde deaktiviert, weil gespiegelte Archivlayouts nicht realistisch sind. Die Augmentation beschränkte sich auf eine Rotation von -3 Grad auf +3 Grad sowie eine Helligkeitsvariation innerhalb von ±10%.

Modelldiagnosen auf Epochenebene sind in 20 Trainingszeilen zusammengefasst, die jeweils Trainingsverlust, Validierungsverlust, Trainingsgenauigkeit, Validierungsgenauigkeit, Makro-F1, gewichtet-F1, ROC-AUC und PR-AUC enthalten.

Workflow zur Metadatenanreicherung

Die Metadatenanreicherung wurde entwickelt, um die Entdeckungsfähigkeit zu verbessern und gleichzeitig den archivischen Konservatismus zu bewahren. Bestehende Katalogwerte wurden beibehalten, es sei denn, sie enthielten einen expliziten Widerspruch, wie ein unmögliches Datum oder einen Dokumententyp-Konflikt, der sowohl durch OCR als auch durch visuelle Beweise bestätigt wurde. Kandidatenbereiche umfassten normalisierten Titel, Dokumenttyp, ungefähres Datum, Institutionenerwähnungen, geografische Erwähnungen, Personennamen, Betreffsüberschriften und Schlüsselwörter.

Die Evidenzpriorität folgte einer festen Reihenfolge: (1) bestehende Katalogmetadaten, (2) korrigierte OCR-Ausgabe und (3) visuelle Dokumenttyp-Vorhersage. Kontrollierte Vokabularabgleichung wurde für Betreffwörter verwendet, und die semantische Expansion mit Sentence-Transformers 2.7.0 wurde nur verwendet, wenn die Kosinusähnlichkeit mindestens 0,72 betrug. Die Datumsnormalisierung erforderte eine Konfidenz von mindestens 0,85 oder eine Konkordanz zwischen OCR und Metadaten. Jedes automatisch hinzugefügte Feld behielt seine Quelle, sein Vertrauen und seine Regelkennung.

Die Vollständigkeit der Metadaten wurde definiert als die Anzahl der ausgefüllten Kernbeschreibenden Felder geteilt durch die Anzahl der relevanten Kernfelder für diesen Datensatz. Der Übereinstimmung mit der Befangenüberschrift wurde definiert als das Vorhandensein von mindestens einem kontrollierten Vokabular-Beschriftung, das durch Datensatzbelege unterstützt und für die Abfragekategorie als relevant bewertet wurde.

Konstruktion des Rückrufsystems

Fünf Abrufindizes wurden konstruiert, um Modulbeiträge zu isolieren: Baseline-Indexierung; Nur optische Zeichenerkennungskorrektur; nur visuelle Klassifikation; Nur Metadatenanreicherung; und vollständige multimodale Integration. Alle Indizes wurden in der Suchmaschinensoftware erstellt, die in der Materialtabelle (Version 8.11.1) auf Datensatzebene aufgeführt ist. BM25-Parameter waren vor der Bewertung auf k1 = 1,2 und b = 0,75 festgelegt.

Der Basisindex verwendete Originalmetadaten und Basis-OCR-Text. Die OCR-Bedingung ersetzte die Ausgangs-OCR durch korrigierte OCR. Der visuelle Zustand fügte Dokumententyp-Priors und klassenbewusste Ranking-Boosts hinzu. Die Metadatenbedingung fügte angereicherte beschreibende Felder hinzu. Die vollständige multimodale Bedingung kombinierte korrigierte OCR, visuelle Priors und angereicherte Metadaten. Feldgewichte wurden vor dem Test festgelegt: normalisierter Titel = 3,0, Betreffsüberschriften = 2,5, Person- und Institutionenerwähnungen = 2,2, Ortserwähnungen = 2,0, Dokumententyp = 1,8, korrigierter OCR-Text = 1,0 und Ausgangs-OCR-Text = 0,8, sofern zutreffend.

Eine exakte Phrasenübereinstimmung wurde für zitierte Anfragen aktiviert. Abfrageerweiterungen waren nur unter Metadaten-Anreicherung und voll-multimodalen Bedingungen erlaubt und beschränkten sich auf akzeptierte kontrollierte Vokabular-Synonyme und Varianten der Befangsüberschriften. Suchprotokolle wurden vom 25. bis 28. August 2025 in der containerisierten Linux-Umgebung im Table of Materials erstellt, mit festen Seed- und Frozen Index-Konfigurationen.

Abfragedesign und Ergebnismaße

Die 420 Abfragen repräsentierten gängige archivierte Suchverhalten und nicht nur Keyword-Benchmark-Prompts. Zu den Themen gehörten persönliche Namen, Institutionen, Orte, Daten und Datumsbereiche, Berufe, Ereignisse und thematische Themen. Jede Abfrage wurde mit ihrer normalisierten Formulierung, Zieldatensatz, Themenkategorie und Schwierigkeitsgrad gespeichert.

Die Schwierigkeit wurde vor der Abruf anhand von Zielambiguität, lexikalischer Spezifität und erwarteter Ausdruckshäufigkeit bewertet. Zusammengesetzte Werte unter 0,40 wurden als niedriger Schwierigkeitsgrad klassifiziert, Werte von 0,40–0,69 als mittlere Schwierigkeit und Werte von 0,70 oder höher als hoch. Relevanzbeurteilungen wurden vor dem Systemvergleich erstellt und anschließend mit der endgültigen Sammlung abgeglichen.

Zu den Abrufergebnissen gehörten P@10, R@10, nDCG@10, Zeit bis zum ersten relevanten Ergebnis und erfolgreiche Suchrate. P@10 war der Anteil der Top 10 Platten, die als relevant bewertet wurden. R@10 war der Anteil aller bekannten relevanten Datensätze, die in den Top 10 gefunden wurden. nDCG@10 habe graduierte Relevanz verwendet, wo verfügbar, und ansonsten binäre Relevanz. Die Zeit bis zum ersten relevanten Ergebnis wurde von der Abfrageeinreichung bis zum Erscheinen des ersten relevanten Datensatzes im gerankten Output gemessen. Eine erfolgreiche Suche wurde als mindestens ein relevantes Ergebnis unter den Top 10 Einträgen definiert.

Statistiksammlung

Alle Analysen wurden mit den in der Materialtabelle aufgeführten Softwareversionen durchgeführt. Kontinuierliche Ergebnisse wurden als Mittelwert ± SD bei ungefähr symmetrischer Genauigkeit und als Median mit interquartilem Bereich zusammengefasst. Die kategorialen Ergebnisse wurden als Zählungen und Prozentsätze zusammengefasst.

Die Normalität der gepaarten Unterschiede wurde durch den Shapiro-Wilk-Test und Verteilungsdiagramme bewertet. OCR und Metadaten vor und nach den Endpunkten wurden mit gepaarten T-Tests verglichen – wenn die gepaarten Unterschiede ungefähr normal waren, und mit Wilcoxon-Signed-Rank-Tests ansonsten. Die Klassifikationsleistung vor und nach der Feinabstimmung wurde anhand von McNemars Test auf gepaarten korrekten/falschen Etiketten verglichen. Die abgeglichenen Multi-Arm-Retrieval-Ergebnisse wurden mit dem Friedman-Test verglichen, gefolgt von Holm-adjustierten paarweisen Wilcoxon-Zeichenrang-Tests.

Alle statistischen Tests waren zweiseitig, und P < 0,05 galt als statistisch signifikant. Die Konfidenzintervalle wurden anhand von 2.000 Bootstrap-Resamples geschätzt, wobei der zufällige Seed auf 2025 festgelegt wurde. Die Effekte wurden als mittlere Unterschiede, abgestimmte Odds-Ratios oder rangbasierte Effektgrößen je nach Ergebnistyp berichtet.

Reproduzierbarkeit, Umfang und Ressourcenverfügbarkeit

Alle Pipeline-Parameter wurden vor dem Abruftest festgelegt. Kein Parameter wurde im Benchmark für die Zurückholung optimiert. Konfigurationsdateien, kontrollierte Vokabulare, Lexikontabellen, Abfragevorlagen, Feldzuordnungen, Annotationsrichtlinien, statistische Skripte und Figurengenerierungsskripte wurden im Versionskontrollsystem gepflegt, das in der Table of Materials with random seed 2025 aufgeführt ist.

Zur Unterstützung der unabhängigen Validierung enthält das Quelldaten-Arbeitsbuch eine de-identifizierte Tabelle mit 1.600 Einträgen und 17 Variablen, die für optische Zeichenerkennung, Metadaten und visuelle Klassifikationsanalysen verwendet werden. Abgeleitete Tabelle 1, Tabelle 2, Tabelle 3, Tabelle 4 und Tabelle 5, Zusammenfassungen von Figuren und Quelle, Definitionen von Benchmark-Abfragen, Relevanz-Urteils-Zusammenfassungen, Surrogaten für Abrufprotokolle, Trainingsdiagnosen, Lexikonkategorien, Vokabelkartierungsregeln und Annotationsrichtlinienfelder werden als separate hochladbare Tabellen oder Materialdateien bereitgestellt, wo anwendbar. Materialien, die aufgrund von Repository-Beschränkungen nicht öffentlich geteilt werden können, werden durch de-identifizierte Metadatenfelder und reproduzierbare Stichprobenfelder dargestellt.

Dieses Protokoll bewertet retrieval-orientierte Entdeckungen statt der Wahrheit historischer Behauptungen. Sie ersetzt nicht die Bewertung von Archivisten, Herkunftsbewertungen, Datenschutzprüfungen oder spezifischen Zugriffsregeln für Archivisten.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

OCR-Korrektur verbesserte die Transkription, insbesondere bei handschriftlichen und tabellarischen Aufzeichnungen

Die optische Zeichenerkennungskorrektur verbesserte die Transkriptionsqualität in allen acht Archivdokumentklassen (n = 1.600 Datensätze). Der mittlere WER sank von 0,529 ± 0,172 auf 0,384 ± 0,123, mit einer mittleren gepaarten Veränderung von −0,144 (95 % KI, −0,149 bis −0,139; Wilcoxon unterschrieben mit Rang P < 0,001). Der mittlere CER sank von 0,377 ± 0,126 auf 0,258 ± 0,086, mit einer mittleren gepaarten Veränderung von −0,119 (95%-KI, −0,123 bis −0,116; Wilcoxon unterschrieb mit Rang P < 0,001). Tabelle 2 zeigt, dass die Ausgangs-WER für handgeschriebene Briefe, Bücher und Registerbücher am höchsten war, was darauf hindeutet, dass auch die visuell komplexesten Datensätze die größte anfängliche Erkennungsbelastung hatten.

Nach der Korrektur sank der WER in allen Dokumentklassen. Die größten durchschnittlichen gepaarten WER-Reduktionen traten in handschriftlichen Briefen (n = 262; −0,200; 95%-KI, −0,213 bis −0,188), Büchern (n = 263; −0,195; 95%-KI, −0,206 bis −0,183) und Registerbüchern (n = 194; −0,173; 95%-KI, −0,187 bis −0,160) auf. CER folgte demselben Muster und stützte die Interpretation, dass das Post-Korrektur-Modul vor allem schwierigen handschriftlichen, tabellarischen und gemischten Aufzeichnungen zugutekam.

Der Abruf benannter Entitäten verbesserte sich ebenfalls über alle Dokumenttypen hinweg, wie in der Zusammenfassungstabelle gezeigt. Die größten Zuwächse traten bei handschriftlichen Briefen (0,302–0,440), Büchern (0,336–0,471) und Registerbüchern (0,369–0,504) auf. Die getippte Korrespondenz erreichte den höchsten Abruf der benannten Entitäten nach der Korrektur (0,646), aber ihr absoluter Gewinn war geringer, da die Basiswiedererkennung für diese Klasse bereits stärker war. Abbildung 2 fasst die Datensatz-Basisbeziehung zwischen CER und WER zusammen, die Verbindung zwischen Handschriftintensität und Korrekturnutzen sowie die Verschiebung der Datensatz-Entdeckungsfähigkeit nach der Korrektur.

Die visuelle Dokumentenklassifikation verbesserte sich insgesamt, aber die Leistungssteigerungen waren zwischen den Klassen ungleichmäßig

Die visuelle Dokumentenklassifikation verbesserte sich insgesamt über das 1.600-Datensatz-Testset. Die Top-1-Genauigkeit stieg von 0,717 auf 0,796 (absolute Veränderung, 0,079; McNemar Chi-Quadrat = 27,33; P < 0,001), und die mittlere Vorhersagekonfidenz stieg von 0,736 ± 0,131 auf 0,800 ± 0,108 (mittlere gepaarte Veränderung, 0,064; 95%-KI, 0,057–0,071; gepaarter t-Test P < 0,001). Wie in Tabelle 3 gezeigt, verbesserten sich sieben von acht Klassen nach archivspezifischer Feinabstimmung, mit den größten Fortschritten bei Karten, Plakaten, Zeitungen und Registerbüchern.

Die getypte Korrespondenz verbesserte sich nach der Feinabstimmung (0,796–0,791) nicht wesentlich, was darauf hindeutet, dass die visuellen Basismerkmale bereits stabil waren und das Trainingsverfahren kaum zusätzliche Klassentrennung für diese Kategorie hinzufügte.

Abbildung 3 fasst die visuelle Dokumentklassifikationsleistung vor und nach der archivspezifischen Feinabstimmung zusammen; das Arbeitsbuch für Quelldaten listet 20 Epochen des Trainings-/Validierungsverlusts und der Genauigkeit sowie Makro-F1, gewichtet-F1, ROC-AUC und PR-AUC diagnostische Zusammenfassungen auf.

Die Metadatenanreicherung verbesserte die beschreibende Vollständigkeit über alle historischen Perioden hinweg (n = 1.600 Datensätze). Die mittlere Vollständigkeit stieg von 0,657 ± 0,125 auf 0,907 ± 0,070, mit einer mittleren gepaarten Änderung von 0,250 (95 % KI, 0,243–0,257; Wilcoxon unterschrieben mit Rang P < 0,001). Wie in Tabelle 4 gezeigt, war die Basisvollständigkeit für 1850–1879 am niedrigsten und stieg in späteren Perioden vor der Anreicherung an. Abbildung 4 fasst die Verbesserung der Metadatenvollständigkeit, neu realisierte Metadatenfelder nach Dokumenttyp und Verbesserungen bei der Betreffüberschriftenübereinstimmung über historische Zeiträume zusammen.

Nach der Anreicherung nahm die Vollständigkeit in jedem historischen Zeitraum zu: 1850–1879 (n = 281; mittlere Veränderung 0,207; 95%-KI, 0,191–0,223), 1880–1909 (n = 474; mittlere Veränderung 0,236; 95%-KI, 0,223–0,248), 1910–1939 (n = 549; mittlere Veränderung 0,277; 95%-KI, 0,265–0,288) und 1940–1969 (n = 296; mittlere Veränderung 0,263; 95%-KI, 0,247–0,279). Auch die durchschnittlichen Zahlen besiedelter Felder stiegen über Perioden hinweg konstant an.

Die Übereinstimmung mit der Betreffsüberschrift verbesserte sich parallel. Die Baseline-Match-Raten lagen zwischen 64,3 % und 69,4 %, während die Match-Raten nach der Anreicherung zwischen 82,1 % und 85,4 % lagen. Der größte absolute Zuwachs trat in der frühesten Periode auf (Delta = 0,178), was den Wert der konservativen Anreicherung für Datensätze mit spärlicher Anfangsbeschreibung unterstützt.

Die Abrufleistung verbesserte sich in allen verbesserten Systemen, mit den stärksten Gewinnen unter vollständiger multimodaler Integration

Die Rückruf-Effektivität verbesserte sich unter jeder Verbesserungsbedingung im Vergleich zum Ausgangswert, aber das Ausmaß der Verbesserung variierte je nach Systemarm (n = 420 abgestimmte Benchmark-Abfragen). Die Gesamtergebnisse der Retrieval sind in Tabelle 5 aufgeführt. Die Ausgangsleistung war niedrig: P@10 = 0,394, R@10 = 0,238, nDCG@10 = 0,392, mittlere Zeit bis zum ersten relevanten Ergebnis = 156,079 S, und erfolgreiche Suchrate = 5,0 % (21/420; 95 % KI, 3,3 %–7,5 %). Abbildung 5 fasst die Abrufleistung über die fünf experimentellen Systemarme hinweg zusammen, einschließlich Gesamtabrufmetriken, thematischen Erfolgsraten und Abfrage-Schwierigkeitsstrata.

Alle drei Einzelkomponentensysteme übertrafen insgesamt die Ausgangswerte. Die Korrektur der optischen Zeichenerkennung stieg P@10 auf 0,484, R@10 auf 0,346 und nDCG@10 auf 0,475, während die Zeit bis zum ersten relevanten Ergebnis auf 124,261 s reduziert und die Erfolgssuchrate auf 30,2 % erhöht wurde (127/420; 95 % KI, 26,0 %–34,8 %). Die visuelle Klassifikation ergab P@10 = 0,490, R@10 = 0,302, nDCG@10 = 0,478, mittlere Zeit bis zum ersten relevanten Ergebnis = 131,985 s und erfolgreiche Suchrate = 22,9 % (96/420; 95 % KI, 19,1 %–27,1 %). Die Metadatenanreicherung erzielte die stärkste Einzelkomponenten-Abrufleistung mit P@10 = 0,507, R@10 = 0,347, nDCG@10 = 0,513, mittlerer Zeit bis zum ersten relevanten Ergebnis = 117,474 s und einer erfolgreichen Suchrate von 38,3 % (161/420; 95 % KI, 33,8 %–43,1 %).

Das vollständige multimodale System performte sich am besten über alle Rückrufendpunkte. P@10 stieg von 0,394 zu Beginn auf 0,624, R@10 von 0,238 auf 0,492 und nDCG@10 von 0,392 auf 0,634. Die mittlere Zeit bis zum ersten relevanten Ergebnis sank von 156,079 s auf 58,485 s, und die erfolgreiche Suchrate stieg von 5,0 % auf 95,5 % (401/420; 95 % KI, 93,0 %–97,1 %). Diese Werte entsprechen absoluten Gewinnen von 0,230 für P@10, 0,254 für R@10 und 0,242 für nDCG@10.

Auch die themenspezifische Abrufung verbesserte sich unter vollständiger multimodaler Integration. Die erfolgreichen Suchraten stiegen über Personen, Institutionen, Orte, Berufe, Ereignisse und Fachthemen hinweg, wobei die Berufskategorie den größten praktischen Vorteil zeigte, da ihre Erfolgsrate bei 0,0 % lag und unter der vollen multimodalen Bedingung auf 90,0 % anstieg. Ortsnamen-Abfragen hatten die stärkste Ausgangsleistung, profitierten aber dennoch von der multimodalen Integration.

Multimodale Gewinne variierten zwischen Dokument-, Perioden- und Sprachschichten

Subgruppenanalysen zeigten, dass multimodale Gewinne breit über Dokumenttypen, historische Perioden und Sprachkontexte verteilt waren, obwohl das Ausmaß der Verbesserung variierte. Diese Heterogenität zeigt, dass der Workflow innerhalb jeder Zielsammlung bewertet werden sollte, anstatt von gleichmäßigen Gewinnen auszugehen. Abbildung 6 zeigt die Heterogenität multimodaler Abrufgewinne über Zieldokumenttyp, historische Periode und Sprachkontext hinweg.

Auf Dokumenttyp-Ebene wurde nDCG@10 über alle Zielklassen hinweg verbessert. Fotografien mit Bildunterschriften, handschriftlichen Briefen, Karten, Kassenbüchern und Registerbüchern zeigten deutliche Zuwächse, während Zeitungen und getippte Korrespondenz sich moderater verbesserten. Diese Muster deuten darauf hin, dass Datensätze mit schwachen Anfangsmetadaten oder komplexer visueller Struktur am meisten von kombinierten Text-, Bild- und Metadatensignalen profitieren.

Auf historischer Ebene stieg R@10 von 0,175 auf 0,429 für 1850–1879 und erreichte 0,506 für 1880–1909, 0,501 für 1910–1939 und 0,519 für 1940–1969 unter vollständiger multimodaler Integration. Die Gewinne waren im absoluten Umfang über verschiedene Perioden hinweg ähnlich, was darauf hindeutet, dass Anreicherung und korrigierte Erkennung sowohl frühen, spärlichen Datensätzen als auch späteren Datensätzen mit reichhaltigeren Basis-Metadaten halfen.

Sprachkontext-Ergebnisse zeigten ein ähnliches Muster. P@10 unter der vollen multimodalen Bedingung erreichte 0,607 für gemischte lateinische Schriften, 0,628 für Englisch, 0,618 für Französisch, 0,661 für Deutsch und 0,639 für Portugiesisch und Spanisch. Der größte Präzisionsgewinn trat bei gemischten lateinamerikanischen Schriften auf, die die schwächste Grundgenauigkeit aufwiesen.

Muster auf Komponentenebene: komplementäre statt redundante Beiträge

Zusammen zeigen die Ergebnisse, dass die Protokollkomponenten sich ergänzen und nicht redundant sind. Die OCR-Korrektur verbesserte die Texterkennung, die visuelle Klassifikation fügte strukturbewusste Dokumententypsignale hinzu, und die Metadatenanreicherung erweiterte die durchsuchbare deskriptive Schicht. Die vollständige multimodale Bedingung erzielte die stärksten und konsistentesten Abrufgewinne und unterstützte damit das Studienziel, einen auditierbaren, abruforientierten Workflow für heterogene digitale Archive zu testen.

Diese Ergebnisse unterstützen ein Protokollmodell, bei dem multimodale künstliche Intelligenz die Archivsuche ergänzt, während gleichzeitig die Notwendigkeit von Repository-Governance, Datenherkunft und Expertenvalidierung erhalten bleibt.

DATENVERFÜGBARKEIT:

Der de-identifizierte Datensatz mit 1.600 Datensätzen, der für die Hauptanalysen verwendet wurde, ist auf Zenodo als data.xlsx (https://doi.org/10.5281/zenodo.20774456) verfügbar.

figure-results-1
Abbildung 1: Reproduzierbarer Arbeitsablauf für multimodale Archiventdeckung. (A) Korpuskonstruktion aus archivierten Datensätzen auf Archivebene mit Inklusions-/Ausschlussprüfung. (B) Referenzkennzeichnung und Qualitätskontrolle, einschließlich Dokumenttyp, OCR-Referenzregionen, Sprachkontext, historischer Zeitraum und Metadaten-Vollständigkeit. (C) Bildvorverarbeitung, OCR-Generierung und Nachkorrektur, visuelle Dokumentklassifikation und konservative Metadatenanreicherung. (D) Indexkonstruktion, fünfarmige Rückfindungsbewertung, statistische Analyse und Ressourcenpaketierung. Abkürzungen: OCR, optische Zeichenerkennung; CER, Zeichenfehlerrate; WER, Wortfehlerquote. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-2
Abbildung 2: Fehlerstruktur und Auffindbarkeit der optischen Zeichenerkennung auf Datensatzebene nach der Korrektur. (A) Baseline CER versus Baseline WER über 1.600 Archivdatensätze, farblich nach Dokumenttyp für repräsentative Klassen. (B) Zusammenhang zwischen skalierter Handschriftintensität und Änderung der WER nach Korrektur; negative Werte deuten auf eine niedrigere WER nach der Korrektur hin. Die angepasste Linie und das graue Band zeigen den linearen Trend und das 95%-Konfidenzintervall. (C) Auffindbarkeitswert auf Datensatzebene vor und nach der Korrektur nach Dokumenttyp, der die Verschiebungen der durchsuchbaren Beweise nach der Korrektur veranschaulicht. Abkürzungen: CER, Zeichenfehlerrate; WER, Wortfehlerquote. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-3
Abbildung 3: Visuelle Dokumentklassifikation vor und nach archivspezifischer Feinabstimmung. (A) Top-1-Genauigkeit nach Dokumenttyp am Ausgangspunkt und nach der Feinabstimmung. (B) Konfidenzverteilungen für korrekte und falsche Vorhersagen unter Ausgangs- und Nach-Tuning-Bedingungen. (C) Leistungsmatrix auf Klassenebene, die die Top-1-Genauigkeit und die mittlere posteriore Sicherheit vor und nach der Abstimmung zusammenfasst. Modelldiagnostische Daten umfassen 20 Epochen von Verlust-/Genauigkeitskurven, Makro-F1, gewichtet-F1, ROC-AUC und PR-AUC. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-4
Abbildung 4: Metadaten-Vollständigkeit und Übereinstimmung mit der Fachüberschrift nach konservativer Anreicherung. (A) Vollständigkeit der Metadaten auf Datensatz vor und nach der Anreicherung. (B) Neu realisierte Metadatenfelder nach Dokumenttyp. (C) Gewinn im Übereinstimmungsübereinschlag zwischen den Themenüberschriften über historische Perioden. Die Vollständigkeit wurde berechnet als die Anzahl der befüllten anwendbaren Kernfelder geteilt durch die Gesamtzahl der relevanten Kernfelder. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-5
Abbildung 5: Abrufleistung über die fünf experimentellen Systemarme hinweg. (A) Gesamt P@10, R@10, nDCG@10, Zeit bis zum ersten relevanten Ergebnis und erfolgreiche Suchrate für Baseline, Korrektur der optischen Zeichenerkennung, visuelle Klassifikation, Metadatenanreicherung und vollständige multimodale Integration. (B) Blasendiagramm der erfolgreichen Suchrate nach Abfragethema und Systemarm; Farbe zeigt den Systemarm an, und die Blasengröße zeigt den prozentualen Erfolg an. (C) P@10, R@10 und nDCG@10 über leichte, mittlere und schwere Abfrage-Schwierigkeitsstrata. (D) Alternative Themenebene Erfolgsratenansicht, die die Verteilung erfolgreicher Suchanfragen über Abfragethemen und Systemarme hinweg zeigt. Abkürzungen: P@10, Präzision bei 10; R@10, Rückruf um 10; nDCG@10, normalisierter abgezinster kumulativer Gewinn bei 10. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-6
Abbildung 6: Heterogenität multimodaler Abrufgewinne über archivale Untergruppen hinweg. (A) nDCG@10 nach Zieldokumenttyp und Abrufbedingung. (B) R@10 nach historischer Periode und Bergungsbedingung. (C) P@10 nach Zielsprachekontext und Abrufbedingung. Die Bedingungen sind Baseline, OCR-Korrektur, visuelle Klassifikation, Metadatenanreicherung, vollständige multimodale Integration, OCR+Text, Text+Visual+Metadata und Visual+Metadata. Die Abbildung zeigt, dass multimodale Zuwächse weit verbreitet, aber nicht einheitlich über Dokument-, Perioden- und Sprachschichten hinweg sind. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Dokumenttypn RekordeMedianseitenHandschriftliche AufzeichnungenMittlerer Baseline
WER		Mittlerer Baseline
Metadaten
Vollständigkeit		Mittlerer Baseline
Auffindbarkeit
(%)
Handgeschriebener Brief2622950.7290.64868.2
Hauptbuch263763.50.6790.67472.2
Karte10212.90.4570.55274.1
Zeitung26180.80.4950.6675.5
Foto mit Bildunterschrift17911.10.3740.60173.6
Plakat87100.4130.57174.8
Registerbuch19410180.6160.70371.3
Getippte Korrespondenz252340.3150.68976.4

Tabelle 1: Merkmale der Archivsammlung nach Dokumenttyp. Die Tabelle zeigt die Anzahl der Datensätze, die mittlere Seitenanzahl, den Prozentsatz der Datensätze mit Handschrift, den mittleren Baseline-WER, die mittlere Vollständigkeit der Metadaten und den mittleren Nachweisbarkeitswert für jede der acht Dokumentklassen.

DokumenttypStichprobengrößeCERCERWERWERBenannte Einheit
Rückruf		Benannte Einheit
Rückruf		ΔWER
(n)(Grundzusatz)(Post)(Grundzusatz)(Post)(Grundzusatz)(Post)
Handgeschriebener Brief2620.5310.3630.7290.5310.3020.44−0,198
Hauptbuch2630.490.3260.6790.4850.3360.471−0,194
Karte1020.3220.2280.4570.3470.380.503−0,11
Zeitung2610.3540.2560.4950.3810.4360.558−0,114
Foto mit Bildunterschrift1790.2570.1810.3740.2860.4940.616−0,088
Plakat870.2870.1990.4130.3160.4480.57−0,097
Registerbuch1940.4420.2930.6160.4390.3690.504−0,177
Getippte Korrespondenz2520.2190.1550.3150.2320.5240.646−.083

Tabelle 2: OCR-Leistung vor und nach der Korrektur nach Dokumenttyp. CER und WER wurden anhand von Referenztranskriptionen berechnet; Named-Entity-Recall wurde anhand manuell gekennzeichneter Person-, Ort-, Institution- und Datumseinheiten berechnet. Delta WER ist der WER nach der Korrektur minus der Ausgangswert-WER.

DokumenttypnGenauigkeit,
Basislinie		Genauigkeit,
Posten		Selbstvertrauen,
Basislinie		Selbstvertrauen,
Posten		ΔAccuracy
Handgeschriebener Brief2620.6150.6450.6160.6550.03
Hauptbuch2630.7070.7490.7250.7670.042
Karte1020.7650.9020.8010.8990.137
Zeitung2610.7160.8430.7280.830.127
Foto mit Bildunterschrift1790.8150.8690.8240.890.054
Plakat870.7710.9030.7920.8890.132
Registerbuch1940.6870.7930.7010.7870.106
Getippte Korrespondenz2520.7960.7910.8040.82-0.005

Tabelle 3: Visuelle Dokumentklassifikationsleistung vor und nach archivspezifischer Feinabstimmung. Die Tabelle zeigt Stichprobengröße, Top-1-Genauigkeit, mittlere posteriore Konfidenz und die Änderung der Genauigkeit nach Dokumenttyp. Die diagnostischen Daten umfassen 20 Reihen auf Epochenebene mit Makro-F1, gewichtetem F1, ROC-AUC, PR-AUC, Trainingsverlust, Validierungsverlust, Trainingsgenauigkeit und Validierungsgenauigkeit.

VollständigkeitVollständigkeitBesiedelte FelderBesiedelte FelderBetreffsüberschrift
Spiel		Betreffsüberschrift
Spiel		Δ VollständigkeitΔ Betreff
Spiel
(Grundzusatz)(Post)(Grundzusatz)(Post)(Grundzusatz)(Post)
0.5340.8684.2748.5840.6430.8210.3340.178
0.6070.8984.8388.7090.6720.8410.2910.169
0.680.9275.4269.0950.6860.8490.2470.163
0.6860.9225.488.9530.6940.8540.2360.16

Tabelle 4: Metadatenanreicherung nach historischer Periode. Vollständigkeit ist der Anteil der anwendbaren Kernbeschreibenden, die für einen Datensatz ausgefüllt sind; besiedelte Felder werden als Mittelwertzahlen angegeben; Übereinstimmung mit der Themenüberschrift gibt an, ob Nachweise auf Datensatzebene mindestens ein Etikett mit kontrolliertem Wortschatz belegt haben.

Systemarmn AbfragenP@10R@10nDCG@10Zeit bis zum ersten Relevant
Ergebnis (s)		Erfolgreiche Suchrate
(%)
Basislinie4200.3940.2380.392156.0795
OCR-Korrektur4200.4840.3460.475124.26130.2
Visuelle Klassifikation4200.490.3020.478131.98522.9
Metadatenanreicherung4200.5070.3470.513117.47438.3
Voll multimodal4200.6240.4920.63458.48595.5

Tabelle 5: Rückholleistung für die fünf experimentellen Systemarme. P@10, R@10, nDCG@10, Zeit bis zum ersten relevanten Ergebnis und die erfolgreiche Suchrate wurden über den 420-Query-Benchmark unter Matched-Query-Bedingungen berechnet.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Protokoll zeigt, dass sich die Entdeckung in historischen digitalen Archiven am meisten verbesserte, wenn OCR-Korrektur, visuelles Dokumentenverständnis und konservative Metadatenanreicherung als verbundene Abrufkomponenten und nicht als isolierte technische Verbesserungen bewertet wurden. Die größten OCR-Fortschritte erzielten sich bei handschriftlichen, tabellarischen und Registermaterialien, was den Wert der Nachkorrektur für Dokumentklassen unterstützt, bei denen die Basiswiedererkennung am schwächsten ist. Gleichzeitig zeigt der Restfehler nach der Korrektur, dass OCR-Bereinigung nicht als endgültige Transkription behandelt werden kann und prüfbar bleiben muss.

Auch die Ergebnisse der visuellen Klassifikation erfordern eine sorgfältige Interpretation. Feinabstimmung verbesserte visuell markante Klassen wie Karten, Plakate, Zeitungen und Registerbücher, aber die Gewinne waren geringer bei handgeschriebenen Briefen und Büchern, da sich die Layouts überschneiden und Klassengrenzen visuell weniger trennbar sind. Die relativ kleine Korpusgröße bedeutet, dass die Klassifikationsleistung eher als Protokollnachweis interpretiert werden sollte als Beweis dafür, dass ein multimodales Produktionsmodell allein aus 1.600 Datensätzen trainiert werden kann. Die zukünftige Validierung sollte EfficientNet-B3 mit Dokumententransformatoren, Vision Transformers, Swin Transformers, ConvNeXt und multimodalen Dokumentenfundamentmodellen 8,11,12,13,14,15,16,17,18 vergleichen.

Die Metadatenanreicherung trug maßgeblich zur Abruf bei, indem sie spärliche beschreibende Datensätze in durchsuchbare Felder erweiterte und dabei Quell- und Vertrauensinformationen bewahrte. Diese Erkenntnis entspricht dem Archivbedarf an reicheren Zugangspunkten, erhöht aber auch Risiken für die Governance. Automatisierte Anreicherung kann OCR-Fehler verstärken, historisch mehrdeutige Namen zu aggressiv normalisieren oder Verzerrungen einführen, wenn kontrollierte Vokabulare unvollständig sind. Aus diesem Grund verwendet der Workflow Konfidenzschwellen, Quellcode-Logging und Review-Flags anstelle eines vollständig automatisierten Austauschs von Katalogdatensätzen.

Die Abrufbewertung liefert Hinweise auf komplementäre Moduleffekte, hat jedoch Einschränkungen. Der vorliegende Vergleich nutzte Ausgangs- und interne Modulablationsbedingungen; sie verglich sich nicht mit dichten retrieval-, spät-interaktions-Rankern wie ColBERT, hybrider sparse-dense retrieval, neuronaler Re-Ranking oder retrieval-augmentierten Generationssystemen 22,23,24. Diese Ansätze sollten in zukünftigen Arbeiten hinzugefügt werden, um festzustellen, ob die beobachteten multimodalen Gewinne weiterhin wettbewerbsfähig gegenüber den aktuellen Abrufarchitekturen sind.

Die Implementierung erfordert außerdem Aufmerksamkeit für Datenlecks, Rechenbeschränkungen und Skalierbarkeit. Enrichment nutzte optische Zeichenerkennungsausgaben, visuelle Vorhersagen und vorhandene Metadaten, daher müssen Train/Validation/Test-Splitting und Abfragebewertung von Enrichment-Entscheidungen getrennt bleiben. Künftige Deployments sollten Hardware, Laufzeit, Speicherverbrauch, Indexgröße und Kosten pro 1.000 Datensätze angeben. Bildwiederherstellungsansätze aus angrenzenden Computer-Vision-Arbeiten, einschließlich multiskaliger und aufmerksamkeitsbasierter Okklusionsentfernungsmodelle, könnten zukünftige Vorverarbeitungsexperimente inspirieren, sollten aber sorgfältig getestet werden, da Archiv-Workflows weder Halluzinationen noch Beweisinhalte verändern dürfen26,27.

Insgesamt lässt sich der Workflow am besten als reproduzierbares Zugriffsprotokoll verstehen und nicht als Ersatz für eine Archivbeschreibung. Multimodale künstliche Intelligenz kann die Entdeckung verbessern, wenn ihre Ausgaben eingeschränkt, protokolliert und überprüft werden, aber Archivare bleiben für die Herkunftsbewertung, Entscheidungen über Zugang und Verwaltung sowie die Interpretation historisch komplexer Datensätzeunerlässlich 21,25.

SCHLUSSFOLGERUNGEN:
Diese Studie testete, ob optische Zeichenerkennungskorrektur, visuelle Dokumentklassifikation und konservative Metadatenanreicherung als ergänzende Abrufkomponenten in historischen digitalen Archiven dienen können. Das Protokoll verbesserte Transkription, Klassifizierung, Metadatenvollständigkeit und aggregierte Abrufleistung, während explizite Schwellenwerte, Quellprotokollierung und menschliche Überprüfungsmaßnahmen beibehalten wurden. Der Workflow sollte daher als prüfbares Zugriffsunterstützungsprotokoll verwendet werden und nicht als Ersatz für das Urteil von Archivaren oder die Governance des Repositorys.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben nichts offenzulegen.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren danken den beiden erfahrenen Archivmitarbeitern und dem professionellen Digital Humanities-Forscher aufrichtig für ihre wertvolle Unterstützung bei Textannotation und Qualitätskontrolle. Diese Forschung wurde finanziell durch den Wissenschafts- und Technologieprojektplan der Provinzarchive der Provinz Jiangsu (Zuschuss Nr. 2024-9) für den Bau eines intelligenten, sprachbasierten mündlichen Archivsystems sowie vom Jiangsu Provinzialen Wissenschafts- und Technologieentwicklungsplan für traditionelle chinesische Medizin (Zuschuss Nr. MS2025025) zur Untersuchung der Vererbung und Entwicklung von TCM-Schulen aus archivaler Perspektive.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
PythonPython Software Foundationv3.11.8; https://www.python.org/Workflow-Skriptierung, Datenverarbeitung, optische Zeichenerkennung nach der Korrektur und statistische Unterstützung
RR Foundation for Statistical Computingv4.3.3; https://www.r-project.org/Statistische Analyse und Generierung der endgültigen Abbildung
Tesseract OCRTesseract OCR Projectv5.3.0; https://github.com/tesseract-ocr/tesseractOptical Character Recognition Baseline-Generierung
Tesseract language packsTesseract OCR ProjectStudienspezifische Sprachpakete; https://github.com/tesseract-ocr/tessdataPrimäre und gemischte Sprach-OCR-Entschlüsselung
OpenCVOpenCV Teamv4.9.0; https://opencv.org/Deskewing, Rauschschätzung und Bildvorverarbeitung
PillowPython Imaging Library contributorsv10.3.0; https://python-pillow.org/Bildeingabe/-ausgabe und Formatnormalisierung
NumPyNumPy developersv1.26.4; https://numpy.org/Array-Berechnung für Bild- und Metrikverarbeitung
pandaspandas development teamv2.2.2; https://pandas.pydata.org/Tabellendatenhandhabung und Zusammenfassungsexporte
SciPySciPy developersv1.13.1; https://scipy.org/Statistische Tests und numerische Dienstprogramme
statsmodelsstatsmodels developersv0.14.2; https://www.statsmodels.org/Statistische Modellierung und Unterstützung für Paarvergleiche
scikit-learnscikit-learn developersv1.4.2; https://scikit-learn.org/Klassifikationsmetriken, ROC/PR-Diagnosen und Validierungsdienstprogramme
rapidfuzzMax Bachmann und Mitwirkendev3.9.0; https://github.com/rapidfuzz/RapidFuzzEdit-Distance-Kandidaten-Ranking für optische Zeichenerkennungskorrektur
spaCyExplosion AIv3.7.4; https://spacy.io/Benannte Entitätsverarbeitung mit benutzerdefinierten Lexikontabellen
PyTorchPyTorch Foundationv2.2.2; https://pytorch.org/Training visueller Dokumentklassifikatoren
torchvisionPyTorch Foundationv0.17.2; https://pytorch.org/vision/EfficientNet-B3-Implementierung und Bildtransformationen
EfficientNet-B3 backbonetorchvision / ImageNet vortrainierte GewichteEfficientNet-B3; https://pytorch.org/vision/stable/models/efficientnet.htmlBackbone für visuelle Dokumentenklassifizierung
sentence-transformersUKP Lab / Hugging Face ecosystemv2.7.0; https://www.sbert.net/Semantische Erweiterung für Kandidaten mit kontrolliertem Vokabular
Suchmaschinen-SoftwareElasticElasticsearch v8.11.1; https://www.elastic.co/elasticsearchBM25-Indexierung, -Abruf und -Rangordnung
Container-EngineDocker Inc.Docker v26.1.1; https://www.docker.com/Containerisiertes Abrufumfeld
Linux-BetriebssystemCanonicalUbuntu 22.04 LTS; https://ubuntu.com/Festes Betriebsumfeld für Abrufläufe
VersionskontrollsystemGit-ProjektGit v2.44.0; https://git-scm.com/Versionskontrolle für Konfiguration, Vokabulare, Skripte und Abbildungscode
ggplot2tidyversev3.5.1; https://ggplot2.tidyverse.org/R-basiertes Abbildungsrendering
MatplotlibMatplotlib-Entwicklerv3.8.4; https://matplotlib.org/Ergänzende Visualisierung und Qualitätssicherungsplots
AnmerkungsrichtlinieAutoren5 Anmerkungsabschnitte; 8 Dokumentenklassen-Etiketten; OCR-Bereiche; Entitätsetiketten; Relevanzbeurteilungen; AdjudikationsregelnDefinitionen für Dokumentenklassen, OCR-Bereiche, Entitäten, Relevanzbeurteilungen und Adjudikation
Archivspezifisches OCR-LexikonAutoren6 Lexikonkategorien: Personenvarianten, Ortsnamen, Institutionennamen, Datumsmuster, Verwaltungsbegriffe, AbkürzungenNamen, Orte, Institutionen, Verwaltungsbegriffe und Rechtschreibvarianten
Kontrollierte VokabularzuordnungAutoren / Archivrepositorien5 Zuordnungsregeln, die OCR-Entitäten, visuelle Klasse, Titelstichwörter, Datumsabdeckung und Abfragethema mit Metadatenfeldern verknüpfenÜbereinstimmung von Schlagwörtern und semantische Erweiterung
Benchmark-AbfragesetAutoren420 Benchmark-Abfragen; 6 Abfragethemen; 3 Schwierigkeitsstufen; 8 Zieldokumentenklassen; 4 historische Perioden; 6 SprachkontexteÜbereinstimmende Abrufkennzahl über fünf Systemarme hinweg
RelevanzbeurteilungenAutoren / Annotatoren2.100 Abfrage-System-Zeilen; 420 Abfragen x 5 Systemarme; relevante Gesamtzahlen, relevante Top-10-Anzahlen, bewertete Relevanz und ErfolgskennzeichenGround-Truth-Ersatz für P@10, R@10, nDCG@10 und erfolgreiche Suchrate
SchulungsdiagnosenAutoren20 Epochen; Trainingsverlust; Validierungsverlust; Trainingsgenauigkeit; Validierungsgenauigkeit; Makro-F1; gewichtetes F1; ROC-AUC; PR-AUCEpochenbasierte zusammenfassende Diagnosen des Modells
ComputerhardwareAutoren8 CPU-Kerne; 32 GB RAM; NVIDIA GPU-Klasse TrainingsumgebungReproduzierbarkeitsressourcen-Details für JoVE-Einreichung
DatensatzdateiAutorendata.xlsx; 1.600 Datensätze; 17 Variablen; DOI in der Manuskriptdatenverfügbarkeit aufgeführtDatenquellen auf Datensatzebene für optische Zeichenerkennung, Vollständigkeit von Metadaten, Auffindbarkeit und visuelle Klassifikationsanalysen

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Xu Y, et al. LayoutLM: pre-training of text and layout for document image understanding. Presented at: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; Virtual Event; 2020:1192-1200. https://doi.org/10.1145/3394486.3403172.
  2. Aske K, Giardinetti M. (Mis)matching metadata: improving accessibility in digital visual archives through the EyCon project. J Comput Cult Herit. 2023;16(4):1-20. doi:10.1145/3594726.
  3. Jaillant L, Aske K. Are users of digital archives ready for the artificial intelligence era Obstacles to the application of computational research methods and new opportunities. J Comput Cult Herit. 2023;16(4):1-18. doi:10.1145/3631125.
  4. Sugimoto S. Digital archives and metadata as critical infrastructure to keep community memory safe for the future: lessons from Japanese activities. Arch Manuscr. 2014;42(1):61-72.
  5. Du L, Le B, Honig E. Probing historical image contexts: enhancing visual archive retrieval through computer vision. J Comput Cult Herit. 2023;16(4):84. doi:10.1145/3631129.
  6. Michalak H, Okarma K. Robust combined binarization method of non-uniformly illuminated document images for alphanumerical character recognition. Sensors. 2020;20(10):2914. doi:10.3390/s20102914.
  7. Kettunen K, et al. Optical character recognition quality affects subjective user perception of historical newspaper clippings. J Doc. 2023;79(7):137-156.
  8. Huang Y, et al. LayoutLMv3: pre-training for document AI with unified text and image masking. Presented at: Proceedings of the 30th ACM International Conference on Multimedia; Lisbon, Portugal; 2022:4083-4091. https://doi.org/10.1145/3503161.3548112.
  9. Blei DM, Ng AY, Jordan MI. Latent Dirichlet allocation. J Mach Learn Res. 2003;3:993-1022.
  10. Mikolov T, et al. Distributed representations of words and phrases and their compositionality. Presented at: Advances in Neural Information Processing Systems; Lake Tahoe, NV; 2013:3111-3119. https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.
  11. Harley AW, Ufkes A, Derpanis KG. Evaluation of deep convolutional nets for document image classification and retrieval. Presented at: 13th International Conference on Document Analysis and Recognition; Tunis, Tunisia; 2015:991-995. https://doi.org/10.1109/ICDAR.2015.7333910.
  12. Alghamdi T, Snoussi S, Hsairi L. Arabic document classification by deep learning. Int J Adv Comput Sci Appl. 2021;12(10):34-40.
  13. Afzal MZ, et al. Deepdocclassifier: document classification with deep convolutional neural network. Presented at: 13th International Conference on Document Analysis and Recognition; Tunis, Tunisia; 2015:1111-1115. https://doi.org/10.1109/ICDAR.2015.7333933.
  14. Tan M, Le QV. EfficientNet: rethinking model scaling for convolutional neural networks. Presented at: Proceedings of the 36th International Conference on Machine Learning; Long Beach, CA; 2019:6105-6114. https://proceedings.mlr.press/v97/tan19a.html.
  15. Reimers N, Gurevych I. Sentence-BERT: sentence embeddings using Siamese BERT-networks. Presented at: Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing; Hong Kong, China; 2019:3982-3992. https://doi.org/10.18653/v1/D19-1410.
  16. Devlin J, Chang MW, Lee K, Toutanova K. BERT: pre-training of deep bidirectional transformers for language understanding. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; Minneapolis, MN; 2019:4171-4186. https://doi.org/10.18653/v1/N19-1423.
  17. Wei Y, et al. Cross-modal retrieval with CNN visual features: a new baseline. IEEE Trans Cybern. 2017;47(2):449-460.
  18. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. Presented at: IEEE Conference on Computer Vision and Pattern Recognition; Las Vegas, NV; 2016:770-778. https://doi.org/10.1109/CVPR.2016.90.
  19. Beshirov A, et al. Post-OCR text correction for Bulgarian historical documents. Int J Digit Libr. 2025;26(1):4. doi:10.1007/s00799-025-00415-x.
  20. Baltrušaitis T, Ahuja C, Morency LP. Multimodal machine learning: a survey and taxonomy. IEEE Trans Pattern Anal Mach Intell. 2019;41(2):423-443.
  21. Cushing AL, Osti G. "So how do we balance all of these needs": how the concept of AI technology impacts digital archival expertise. J Doc. 2023;79(7):12-29.
  22. Thakur N, et al. BEIR: a heterogeneous benchmark for zero-shot evaluation of information retrieval models. Presented at: Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track; Virtual Event; 2021. https://openreview.net/forumid=wCu6T5xFjeJ.
  23. Khattab O, Zaharia M. ColBERT: efficient and effective passage search via contextualized late interaction over BERT. Presented at: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval; Virtual Event, China; 2020:39-48. https://doi.org/10.1145/3397271.3401075.
  24. Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-9474.
  25. Wilkinson MD, et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016;3:160018. doi:10.1038/sdata.2016.18.
  26. Senussi MF, Kang HS. Occlusion removal in light-field images using CSPDarknet53 and bidirectional feature pyramid network: a multi-scale fusion-based approach. Appl Sci. 2024;14(20):9332. doi:10.3390/app14209332.
  27. Senussi MF, et al. U2-LFOR: a two-stage U2 network for light-field occlusion removal. Mathematics. 2025;13(17):2748. doi:10.3390/math13172748.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

IngenieurwesenAusgabe 234Ausgabe 234Leerer WertAusgabedigitale Archivemultimodale KIOCR KorrekturMetadatenanreicherungvisuelle Klassifizierung und historische Databfragen

Verwandte Artikel