Ein Abonnement von JoVE ist erforderlich, um diesen Inhalt anzuzeigen. Melden Sie sich an oder beginnen Sie noch heute mit einer kostenlosen Testphase.

Forschungsartikel

Reproduzierbare multimodale künstliche Intelligenz für die Entdeckung historischer digitaler Archive

71 Aufrufe

⸱

DOI:

10.3791/71698

⸱

7. August 2026

 , 
1Information Data Center, Jiangsu Province Hospital of Chinese Medicine (Affiliated Hospital of Nanjing University of Chinese Medicine), 2Hospital Office, Jiangsu Province Hospital of Chinese Medicine (Affiliated Hospital of Nanjing University of Chinese Medicine)

In diesem Artikel

Zusammenfassung

Hier stellen wir ein Protokoll vor, um die Entdeckung in historischen digitalen Archiven zu verbessern, indem nach der Korrektur optische Zeichenerkennung, visuelle Dokumentklassifikation, Metadatenanreicherung und Abrufauswertung in einen auditierbaren Arbeitsablauf integriert werden.

Zusammenfassung

Historische digitale Archive sind zunehmend durchsuchbar, aber die Entdeckung bleibt begrenzt, wenn optische Zeichenerkennungsfehler, visuell heterogene Dokumenttypen und spärliche Metadaten getrennt behandelt werden. Diese Studie hatte zum Ziel, ein reproduzierbares Protokoll zu entwickeln, um zu bewerten, ob ein konservativer multimodaler Workflow künstliche Intelligenz die Archivabrufe verbessern kann, ohne die Überprüfung der Archivisten zu ersetzen. Ein Korpus von 1.600 digitalisierten Archivdaten aus acht Dokumentklassen wurde zusammengestellt, und ein Benchmark mit 420 Abfragen wurde verwendet, um fünf Abrufbedingungen zu vergleichen: Baseline-Indexierung, optische Zeichenerkennungskorrektur allein, visuelle Klassifikation allein, Metadatenanreicherung allein und vollständige multimodale Integration. Zu den Ergebnissen auf Datensatzebene gehörten Zeichenfehlerrate (CER), Wortfehlerrate (WER), Erinnerung an benannte Entitäten, Genauigkeit der Dokumenttypklassifikation, Vorhersagekonfidenz, Vollständigkeit der Metadaten und Übereinstimmung mit der Themenüberschrift. Die Ergebnisse auf Anfrageebene umfassten P@10, R@10, nDCG@10, Zeit bis zum ersten relevanten Ergebnis und die erfolgreiche Suchrate. Die Korrektur der optischen Zeichenerkennung reduzierte die WER am deutlichsten bei handgeschriebenen Briefen, Büchern und Registerbüchern; visuelle Feinabstimmung verbesserte die Klassifikationsgenauigkeit vor allem bei Karten, Plakaten, Zeitungen und Registerbüchern; und die Metadatenanreicherung erhöhte die Vollständigkeit über alle historischen Perioden. Die vollständige multimodale Bedingung erzielte die höchste Rückholleistung (P@10 = 0,624, R@10 = 0,492, nDCG@10 = 0,634) und reduzierte die mittlere Zeit auf das erste relevante Ergebnis von 156,079 s auf 58,485 s. Diese Ergebnisse unterstützen einen modularen, auditierbaren Workflow, bei dem Text, Bild und beschreibende Signale unter expliziten Schwellenwerten und menschlicher Überprüfung kombiniert werden.

Einleitung

Digitale Archive haben sich rasant erweitert und unterstützen nun Forschung in den Bereichen Geschichte, Kulturerbe, öffentliche Verwaltung und digitale Geisteswissenschaften. Der Zugang bleibt jedoch ungleichmäßig, da Archivaufzeichnungen oft verschlechterte optische Zeichenerkennung, visuell unterschiedliche Seitenlayouts, inkonsistente Katalogisierungspraktiken und historisch variable Namen, Orte und Institutionen kombinieren. Diese Einschränkungen betreffen nicht nur die Transkriptionsqualität, sondern auch die Abruf, Filterung und nachgelagerte Wiederverwendung digitalisierter Sammlungen 1,2,3,4,5,6,7.

Bestehende Studien zur künstlichen Intelligenz von Dokumenten und Archivabruf haben einzelne Komponenten wie die optische Zeichenerkennung nach der Korrektur, Dokument-Bild-Klassifikation, Metadaten-Normalisierung, Themenmodellierung, Worteinbettungen, neuronale Abruf und Daten-Governance-Praxisverbessert 8,9,10,11,12,13,14,15, 16,17,18,19,20,21,22,23,24,25. Dennoch bewerten viele Archivsysteme diese Komponenten weiterhin separat, was es erschwert zu bestimmen, ob ein kombinierter Workflow die Entdeckung unter realistischen Suchbedingungen verbessert. Die hier adressierte methodische Lücke ist das Fehlen eines reproduzierbaren, auditierbaren Protokolls, das Text-, Bild- und Metadatenmodule mit Abrufergebnissen in einem einzigen Archivierungsworkflow verbindet.

Das zentrale Ziel war zu testen, ob optische Zeichenerkennungskorrektur, visuelle Dokumentklassifikation und regelbeschränkte Metadatenanreicherung komplementäre Verbesserungen erzielen, wenn sie mit demselben Abruf-Benchmark verglichen werden.

Wir vermuteten, dass die vollständige multimodale Bedingung jede Einzelkomponentenbedingung übertreffen würde, da die Archiventdeckung von der Interaktion von lesbarem Text, visuell interpretierbarer Dokumentstruktur und durchsuchbarer deskriptiver Metadaten abhängt. Der Workflow war konservativ gestaltet: Automatisierte Ausgaben konnten die Abrufindizes bereichern, aber Low-Confidence Vorhersagen wurden zur Überprüfung markiert, anstatt als autoritative Archivbeschreibung zu dienen.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

Diese Studie verwendete digitalisierte Archivaufzeichnungen und simulierte Abrufanfragen als Analyseeinheiten. Archivarchive können den Zugang zu sensiblen oder kulturell eingeschränkten Unterlagen einschränken. Befolgen Sie vor der Verarbeitung oder Weitergabe von Unterlagen die Zugriffsregeln zum Repository, institutionelle Datensicherheitsverfahren und De-Identifikationsvorschriften. Durch diesen digitalen Workflow wurden keine gefährlichen chemikalien, biologischen, scharfen, radioaktiven oder anderen regulierten Laborabfälle erzeugt.

Studiendesign und Korpusaufbau

Abbildung 1 zeigt den vollständigen Studienablauf, einschließlich Korpusaufbau, Referenzkennzeichnung, Bildvorverarbeitung, OCR-Generierung und Nachkorrektur, visueller Klassifikation, Metadatenanreicherung, Indexkonstruktion, Abrufbewertung, statistischer Analyse und Reproduzierbarkeitspaketierung.

Der Korpusbau fand vom 15. Januar bis 30. April 2025 statt, gefolgt von Systemdesign und Debugging vom 1. Mai bis 31. Oktober 2025. Das Korpus enthielt 1.600 digitalisierte Archivaufzeichnungen, ausgewählt aus acht Depots, die staatliche, städtische, religiöse, Museums-, Universitäts- und Bibliothekssysteme repräsentierten. Der Stichprobenrahmen wurde nach Archiv und Dokumentenklasse geschichtet, um die archivale Heterogenität über handgeschriebene Briefe, Bücher, Karten, Zeitungen, Fotos mit Bildunterschriften, Plakaten, Registerbüchern und getippter Korrespondenz zu bewahren.

Für jeden Kandidateneintrag zeichnete das Auswahlprotokoll die Repository- oder Sammlungsidentifikator, Katalogkennung, Dokumentklasse, ungefähre historische Periode, den dominanten Sprachkontext, das verfügbare Bildformat, die Bildauflösung, die Seitenanzahl und die Basisbeschreibenden Felder auf. Die Aufnahme erforderte alle Folgenden: eine stabile Katalogkennung; mindestens ein TIFF-, JPEG- oder PNG-Seitenbild; Quellbildauflösung von mindestens 150 DPI; lesbarer Text-, tabellarischer oder dokumentenstruktureller Inhalt; und der Zuweisung einer der acht vordefinierten Dokumentklassen. Die Ausschlusskriterien waren exakte Duplikate, leere Rückseiten, so viele Bilder, dass mehr als 30 % des texttragenden Bereichs fehlten, und Unterlagen, die nach manueller Inspektion als unlesbar eingestuft wurden.

Der Abruf-Benchmark enthielt 420 kurze Natursprachanfragen, die zwischen dem 5. und 20. August 2025 generiert wurden. Die Abfragegenerierung folgte einer reproduzierbaren Vorlage: Die Informationsbedürfnisse der Kandidaten wurden aus Personen, Institutionen, Orten, Datumsräumen, Berufen, Ereignissen und aktuellen Themen ausgewählt; jede Abfrage wurde auf 2–9 Wörter normalisiert; und zielrelevante Datensätze wurden vor dem Systemvergleich identifiziert. Jede Abfrage wurde unter fünf Abrufbedingungen ausgewertet und lieferte 2.100 übereinstimmende Beobachtungen der Abfragebedingungen.

Referenzkennzeichnung und Qualitätskontrolle

Die Referenzkennzeichnung erfolgte vom 1. Mai bis 15. Juli 2025 von drei Annotatoren: zwei Archivmitarbeitern mit Erfahrung in deskriptiver Katalogisierung und einem Digital-Humanities-Forscher mit Erfahrung in der Bewertung historischer Dokumente. Der Annotationsleitfaden definierte Dokumentklassen, Sprachkontext-Kategorien, historische Perioden-Bins, Metadaten-Vollständigkeitsfelder, benannte Entitätskategorien und Regeln zur Auswahl von OCR-Bewertungsregionen.

Für die OCR-Bewertung wählten die Annotatoren repräsentative, texttragende Bereiche aus, die Überschriften, Namen, Daten, institutionelle Begriffe, Randnotizen, tabellarische Einträge und, falls vorhanden, verrauschte Layoutbereiche enthielten. Wenn eine Seite mehrere Textbereiche enthielt, musste der ausgewählte Bereich für den Abruf relevant sein und genügend Zeichen für die Berechnung von CER und WER enthalten. Meinungsverschiedenheiten wurden zunächst durch Diskussionen zwischen den beiden Hauptannotatoren beigelegt; Ungelöste Fälle wurden vom Digital Humanities Forscher entschieden.

Die Qualitätskontrolle verwendete eine zufällige Teilmenge von 12 % der Datensätze. Die Vereinbarung zwischen den Annotatoren für den primären Dokumenttyp war Cohens Kappa = 0,86, was eine substanzielle Übereinstimmung unterstützt. Das Adjudikationsprotokoll behielt die ursprünglichen und endgültigen Labels, die Disagreement-Kategorie und den Grund für die Auflösung bei, damit zukünftige Nutzer Klassendefinitionen und Randfälle überprüfen können.

Bildvorverarbeitung

Alle Bilder wurden auf Datensatzebene mit Python 3.11.8 mit OpenCV 4.9.0, Pillow 10.3.0 und NumPy 1.26.4 verarbeitet. Jede Eingabeseite wurde in 8-Bit-Graustufen umgewandelt, es sei denn, Farbe trug semantische Informationen wie Karten, Plakate, Briefmarken oder farbcodierte Annotationen. Die Verschiebung wurde anhand von Projektionsprofilen und Hough-Liniendetektion geschätzt; Deskewing wurde nur angewendet, wenn der absolute Schrägwinkel 1,5 Grad überschritt und bei 8,0 Grad begrenzt war, um Verzerrungen zu vermeiden.

Die Kontrastverstärkung verwendete kontrastbegrenzte adaptive Histogrammequalizierung mit clipLimit = 2.0 und tileGridSize = 8 × 8. Ein Medianfilter mit einem Kern von 3 × 10−23 wurde nur angewendet, wenn das geschätzte Hintergrund-Rausch-Verhältnis 0,35 überschritt. Bilder mit 150–299 dpi wurden für die optische Zeichenerkennung auf 300 dpi neu abgetastet; Bilder, die bereits bei 300 DPI oder höher waren, wurden nicht hochskaliert. Es wurden keine Superauflösung, generative Wiederherstellung oder Inhaltshalluzinationen verwendet.

Durchgang, Kantenverdunkelung, ungleichmäßige Papiertextur, Randstempel, Handschrift, linierte Linien und Tabellengrenzen wurden beibehalten, sofern sie die OCR-Regionsauswahl verhinderten. Diese Regel bewahrte Archivbelege und standardisierte Bildeingaben ausreichend für reproduzierbare OCR und Klassifikation.

OCR-Basisgenerierung und Nachkorrektur

Baseline OCR wurde mit Tesseract OCR 5.3.0 generiert. Das primäre Sprachpaket wurde aus der Katalogsprache und der sichtbaren Schrift ausgewählt; Mehrsprachige Dekodierung wurde aktiviert, wenn die Katalogsprache und das Seitenskript nicht übereinstimmten. OCR-Ausgaben wurden auf Datensatzebene gruppiert und mit Seitenkennungen, OCR-Vertrauen, verfügbaren Begrenzungsbox-Koordinaten und Rohtext vor der Korrektur gespeichert.

Die Post-OCR-Korrektur verwendete ein dreistufiges konservatives Verfahren. Erstens korrigierte die Normierung auf Zeichenebene häufige historische Erkennungsverwechslungen, einschließlich Ligaturen, Long-s/Short-s-Substitutionen, fragmentierter Satzzeichen und Stellen-Buchstaben-Substitutionen. Zweitens verwendete die Token-Korrektur Kandidaten mit Bearbeitungsdistanz und Frequenz aus einem archivspezifischen Lexikon von Personennamen, Ortsnamen, Institutionen, Verwaltungsbegriffen und historischen Rechtschreibvarianten. Drittens validiert regelbasierte Sequenzprüfung benannte Entitäten und Daten anhand von Kontext- und Metadatenbelegen.

Kandidatenersatz wurde nur akzeptiert, wenn die Posteriorkorrektur-Konfidenz 0,80 überstieg; Ersetzungen benannter Einheiten erforderten ein Vertrauen von mindestens 0,85. Kandidaten unterhalb der Schwelle wurden als OCR-Text beibehalten, aber zur Überprüfung markiert. CER wurde als Levenshtein-Bearbeitungsdistanz geteilt durch die Anzahl der Zeichen in der Referenztranskription berechnet. WER verwendete dieselbe Formel auf Token-Ebene. Der Rückruf der benannten Entitäten wurde als korrekt erkannte Referenzentitäten berechnet, geteilt durch alle Referenzentitäten in der ausgewählten Bewertungsregion.

Visuelle Dokumentklassifikation

Das visuelle Klassifikationsmodul ordnete jedem Datensatz eine von acht Archivdokumentklassen zu: handgeschriebener Brief, Hauptbuch, Karte, Zeitung, Foto mit Bildunterschrift, Poster, Registerbuch und getippte Korrespondenz. Der vorhergesagte Dokumenttyp wurde als Abruf- und Filtersignal verwendet, nicht als autoritativer Ersatz für die Archivkatalogisierung.

Das Modell wurde in PyTorch 2.2.2 und Torchvision 0.17.2 unter Verwendung eines von ImageNet-vortrainierten EfficientNet-B3-Backbone implementiert. Die Thumbnails auf Record-Niveau wurden auf 384 x 384 Pixel verkleinert. Um Lecks zu reduzieren, wurden Datensätze nach Repository und Dokumentenklasse in Trainings-, Validierungs- und Testsets im Verhältnis 70:15:15 aufgeteilt, was etwa 1.120, 240 und 240 Datensätzen entspricht.

Training verwendete AdamW mit initialer Lernrate = 1 × 10-4, Gewichtsabfall = 1 × 10−2, Batchgröße = 16, Label-Glättung = 0,05 und frühem Stopp, wenn sich der Validierungsverlust fünf aufeinanderfolgende Epochen nicht verbesserte. Horizontales Flippen wurde deaktiviert, weil gespiegelte Archivlayouts nicht realistisch sind. Die Augmentation beschränkte sich auf eine Rotation von -3 Grad auf +3 Grad sowie eine Helligkeitsvariation innerhalb von ±10%.

Modelldiagnosen auf Epochenebene sind in 20 Trainingszeilen zusammengefasst, die jeweils Trainingsverlust, Validierungsverlust, Trainingsgenauigkeit, Validierungsgenauigkeit, Makro-F1, gewichtet-F1, ROC-AUC und PR-AUC enthalten.

Workflow zur Metadatenanreicherung

Die Metadatenanreicherung wurde entwickelt, um die Entdeckungsfähigkeit zu verbessern und gleichzeitig den archivischen Konservatismus zu bewahren. Bestehende Katalogwerte wurden beibehalten, es sei denn, sie enthielten einen expliziten Widerspruch, wie ein unmögliches Datum oder einen Dokumententyp-Konflikt, der sowohl durch OCR als auch durch visuelle Beweise bestätigt wurde. Kandidatenbereiche umfassten normalisierten Titel, Dokumenttyp, ungefähres Datum, Institutionenerwähnungen, geografische Erwähnungen, Personennamen, Betreffsüberschriften und Schlüsselwörter.

Die Evidenzpriorität folgte einer festen Reihenfolge: (1) bestehende Katalogmetadaten, (2) korrigierte OCR-Ausgabe und (3) visuelle Dokumenttyp-Vorhersage. Kontrollierte Vokabularabgleichung wurde für Betreffwörter verwendet, und die semantische Expansion mit Sentence-Transformers 2.7.0 wurde nur verwendet, wenn die Kosinusähnlichkeit mindestens 0,72 betrug. Die Datumsnormalisierung erforderte eine Konfidenz von mindestens 0,85 oder eine Konkordanz zwischen OCR und Metadaten. Jedes automatisch hinzugefügte Feld behielt seine Quelle, sein Vertrauen und seine Regelkennung.

Die Vollständigkeit der Metadaten wurde definiert als die Anzahl der ausgefüllten Kernbeschreibenden Felder geteilt durch die Anzahl der relevanten Kernfelder für diesen Datensatz. Der Übereinstimmung mit der Befangenüberschrift wurde definiert als das Vorhandensein von mindestens einem kontrollierten Vokabular-Beschriftung, das durch Datensatzbelege unterstützt und für die Abfragekategorie als relevant bewertet wurde.

Konstruktion des Rückrufsystems

Fünf Abrufindizes wurden konstruiert, um Modulbeiträge zu isolieren: Baseline-Indexierung; Nur optische Zeichenerkennungskorrektur; nur visuelle Klassifikation; Nur Metadatenanreicherung; und vollständige multimodale Integration. Alle Indizes wurden in der Suchmaschinensoftware erstellt, die in der Materialtabelle (Version 8.11.1) auf Datensatzebene aufgeführt ist. BM25-Parameter waren vor der Bewertung auf k1 = 1,2 und b = 0,75 festgelegt.

Der Basisindex verwendete Originalmetadaten und Basis-OCR-Text. Die OCR-Bedingung ersetzte die Ausgangs-OCR durch korrigierte OCR. Der visuelle Zustand fügte Dokumententyp-Priors und klassenbewusste Ranking-Boosts hinzu. Die Metadatenbedingung fügte angereicherte beschreibende Felder hinzu. Die vollständige multimodale Bedingung kombinierte korrigierte OCR, visuelle Priors und angereicherte Metadaten. Feldgewichte wurden vor dem Test festgelegt: normalisierter Titel = 3,0, Betreffsüberschriften = 2,5, Person- und Institutionenerwähnungen = 2,2, Ortserwähnungen = 2,0, Dokumententyp = 1,8, korrigierter OCR-Text = 1,0 und Ausgangs-OCR-Text = 0,8, sofern zutreffend.

Eine exakte Phrasenübereinstimmung wurde für zitierte Anfragen aktiviert. Abfrageerweiterungen waren nur unter Metadaten-Anreicherung und voll-multimodalen Bedingungen erlaubt und beschränkten sich auf akzeptierte kontrollierte Vokabular-Synonyme und Varianten der Befangsüberschriften. Suchprotokolle wurden vom 25. bis 28. August 2025 in der containerisierten Linux-Umgebung im Table of Materials erstellt, mit festen Seed- und Frozen Index-Konfigurationen.

Abfragedesign und Ergebnismaße

Die 420 Abfragen repräsentierten gängige archivierte Suchverhalten und nicht nur Keyword-Benchmark-Prompts. Zu den Themen gehörten persönliche Namen, Institutionen, Orte, Daten und Datumsbereiche, Berufe, Ereignisse und thematische Themen. Jede Abfrage wurde mit ihrer normalisierten Formulierung, Zieldatensatz, Themenkategorie und Schwierigkeitsgrad gespeichert.

Die Schwierigkeit wurde vor der Abruf anhand von Zielambiguität, lexikalischer Spezifität und erwarteter Ausdruckshäufigkeit bewertet. Zusammengesetzte Werte unter 0,40 wurden als niedriger Schwierigkeitsgrad klassifiziert, Werte von 0,40–0,69 als mittlere Schwierigkeit und Werte von 0,70 oder höher als hoch. Relevanzbeurteilungen wurden vor dem Systemvergleich erstellt und anschließend mit der endgültigen Sammlung abgeglichen.

Zu den Abrufergebnissen gehörten P@10, R@10, nDCG@10, Zeit bis zum ersten relevanten Ergebnis und erfolgreiche Suchrate. P@10 war der Anteil der Top 10 Platten, die als relevant bewertet wurden. R@10 war der Anteil aller bekannten relevanten Datensätze, die in den Top 10 gefunden wurden. nDCG@10 habe graduierte Relevanz verwendet, wo verfügbar, und ansonsten binäre Relevanz. Die Zeit bis zum ersten relevanten Ergebnis wurde von der Abfrageeinreichung bis zum Erscheinen des ersten relevanten Datensatzes im gerankten Output gemessen. Eine erfolgreiche Suche wurde als mindestens ein relevantes Ergebnis unter den Top 10 Einträgen definiert.

Statistiksammlung

Alle Analysen wurden mit den in der Materialtabelle aufgeführten Softwareversionen durchgeführt. Kontinuierliche Ergebnisse wurden als Mittelwert ± SD bei ungefähr symmetrischer Genauigkeit und als Median mit interquartilem Bereich zusammengefasst. Die kategorialen Ergebnisse wurden als Zählungen und Prozentsätze zusammengefasst.

Die Normalität der gepaarten Unterschiede wurde durch den Shapiro-Wilk-Test und Verteilungsdiagramme bewertet. OCR und Metadaten vor und nach den Endpunkten wurden mit gepaarten T-Tests verglichen – wenn die gepaarten Unterschiede ungefähr normal waren, und mit Wilcoxon-Signed-Rank-Tests ansonsten. Die Klassifikationsleistung vor und nach der Feinabstimmung wurde anhand von McNemars Test auf gepaarten korrekten/falschen Etiketten verglichen. Die abgeglichenen Multi-Arm-Retrieval-Ergebnisse wurden mit dem Friedman-Test verglichen, gefolgt von Holm-adjustierten paarweisen Wilcoxon-Zeichenrang-Tests.

Alle statistischen Tests waren zweiseitig, und P < 0,05 galt als statistisch signifikant. Die Konfidenzintervalle wurden anhand von 2.000 Bootstrap-Resamples geschätzt, wobei der zufällige Seed auf 2025 festgelegt wurde. Die Effekte wurden als mittlere Unterschiede, abgestimmte Odds-Ratios oder rangbasierte Effektgrößen je nach Ergebnistyp berichtet.

Reproduzierbarkeit, Umfang und Ressourcenverfügbarkeit

Alle Pipeline-Parameter wurden vor dem Abruftest festgelegt. Kein Parameter wurde im Benchmark für die Zurückholung optimiert. Konfigurationsdateien, kontrollierte Vokabulare, Lexikontabellen, Abfragevorlagen, Feldzuordnungen, Annotationsrichtlinien, statistische Skripte und Figurengenerierungsskripte wurden im Versionskontrollsystem gepflegt, das in der Table of Materials with random seed 2025 aufgeführt ist.

Zur Unterstützung der unabhängigen Validierung enthält das Quelldaten-Arbeitsbuch eine de-identifizierte Tabelle mit 1.600 Einträgen und 17 Variablen, die für optische Zeichenerkennung, Metadaten und visuelle Klassifikationsanalysen verwendet werden. Abgeleitete Tabelle 1, Tabelle 2, Tabelle 3, Tabelle 4 und Tabelle 5, Zusammenfassungen von Figuren und Quelle, Definitionen von Benchmark-Abfragen, Relevanz-Urteils-Zusammenfassungen, Surrogaten für Abrufprotokolle, Trainingsdiagnosen, Lexikonkategorien, Vokabelkartierungsregeln und Annotationsrichtlinienfelder werden als separate hochladbare Tabellen oder Materialdateien bereitgestellt, wo anwendbar. Materialien, die aufgrund von Repository-Beschränkungen nicht öffentlich geteilt werden können, werden durch de-identifizierte Metadatenfelder und reproduzierbare Stichprobenfelder dargestellt.

Dieses Protokoll bewertet retrieval-orientierte Entdeckungen statt der Wahrheit historischer Behauptungen. Sie ersetzt nicht die Bewertung von Archivisten, Herkunftsbewertungen, Datenschutzprüfungen oder spezifischen Zugriffsregeln für Archivisten.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

OCR-Korrektur verbesserte die Transkription, insbesondere bei handschriftlichen und tabellarischen Aufzeichnungen

Die optische Zeichenerkennungskorrektur verbesserte die Transkriptionsqualität in allen acht Archivdokumentklassen (n = 1.600 Datensätze). Der mittlere WER sank von 0,529 ± 0,172 auf 0,384 ± 0,123, mit einer mittleren gepaarten Veränderung von −0,144 (95 % KI, −0,149 bis −0,139; Wilcoxon unterschrieben mit Rang P < 0,001)....

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

Dieses Protokoll zeigt, dass sich die Entdeckung in historischen digitalen Archiven am meisten verbesserte, wenn OCR-Korrektur, visuelles Dokumentenverständnis und konservative Metadatenanreicherung als verbundene Abrufkomponenten und nicht als isolierte technische Verbesserungen bewertet wurden. Die größten OCR-Fortschritte erzielten sich bei handschriftlichen, tabellarischen und Registermaterialien, was den Wert der Nachkorrektur für Dokumentklassen unterstützt, bei denen die Basiswied...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

Die Autoren haben nichts offenzulegen.

Danksagungen

Die Autoren danken den beiden erfahrenen Archivmitarbeitern und dem professionellen Digital Humanities-Forscher aufrichtig für ihre wertvolle Unterstützung bei Textannotation und Qualitätskontrolle. Diese Forschung wurde finanziell durch den Wissenschafts- und Technologieprojektplan der Provinzarchive der Provinz Jiangsu (Zuschuss Nr. 2024-9) für den Bau eines intelligenten, sprachbasierten mündlichen Archivsystems sowie vom Jiangsu Provinzialen Wissenschafts- und Technologieentwicklungsplan für traditionelle chinesische Medizin (Zuschuss Nr. MS2025025) zur Untersuchung der Vererbung und Entwicklung von TCM-Schulen aus archivaler Perspektive.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
PythonPython Software Foundationv3.11.8; https://www.python.org/Workflow-Skriptierung, Datenverarbeitung, optische Zeichenerkennung nach der Korrektur und statistische Unterstützung
RR Foundation for Statistical Computingv4.3.3; https://www.r-project.org/Statistische Analyse und Generierung der endgültigen Abbildung
Tesseract OCRTesseract OCR Projectv5.3.0; https://github.com/tesseract-ocr/tesseractOptical Character Recognition Baseline-Generierung
Tesseract language packsTesseract OCR ProjectStudienspezifische Sprachpakete; https://github.com/tesseract-ocr/tessdataPrimäre und gemischte Sprach-OCR-Entschlüsselung
OpenCVOpenCV Teamv4.9.0; https://opencv.org/Deskewing, Rauschschätzung und Bildvorverarbeitung
PillowPython Imaging Library contributorsv10.3.0; https://python-pillow.org/Bildeingabe/-ausgabe und Formatnormalisierung
NumPyNumPy developersv1.26.4; https://numpy.org/Array-Berechnung für Bild- und Metrikverarbeitung
pandaspandas development teamv2.2.2; https://pandas.pydata.org/Tabellendatenhandhabung und Zusammenfassungsexporte
SciPySciPy developersv1.13.1; https://scipy.org/Statistische Tests und numerische Dienstprogramme
statsmodelsstatsmodels developersv0.14.2; https://www.statsmodels.org/Statistische Modellierung und Unterstützung für Paarvergleiche
scikit-learnscikit-learn developersv1.4.2; https://scikit-learn.org/Klassifikationsmetriken, ROC/PR-Diagnosen und Validierungsdienstprogramme
rapidfuzzMax Bachmann und Mitwirkendev3.9.0; https://github.com/rapidfuzz/RapidFuzzEdit-Distance-Kandidaten-Ranking für optische Zeichenerkennungskorrektur
spaCyExplosion AIv3.7.4; https://spacy.io/Benannte Entitätsverarbeitung mit benutzerdefinierten Lexikontabellen
PyTorchPyTorch Foundationv2.2.2; https://pytorch.org/Training visueller Dokumentklassifikatoren
torchvisionPyTorch Foundationv0.17.2; https://pytorch.org/vision/EfficientNet-B3-Implementierung und Bildtransformationen
EfficientNet-B3 backbonetorchvision / ImageNet vortrainierte GewichteEfficientNet-B3; https://pytorch.org/vision/stable/models/efficientnet.htmlBackbone für visuelle Dokumentenklassifizierung
sentence-transformersUKP Lab / Hugging Face ecosystemv2.7.0; https://www.sbert.net/Semantische Erweiterung für Kandidaten mit kontrolliertem Vokabular
Suchmaschinen-SoftwareElasticElasticsearch v8.11.1; https://www.elastic.co/elasticsearchBM25-Indexierung, -Abruf und -Rangordnung
Container-EngineDocker Inc.Docker v26.1.1; https://www.docker.com/Containerisiertes Abrufumfeld
Linux-BetriebssystemCanonicalUbuntu 22.04 LTS; https://ubuntu.com/Festes Betriebsumfeld für Abrufläufe
VersionskontrollsystemGit-ProjektGit v2.44.0; https://git-scm.com/Versionskontrolle für Konfiguration, Vokabulare, Skripte und Abbildungscode
ggplot2tidyversev3.5.1; https://ggplot2.tidyverse.org/R-basiertes Abbildungsrendering
MatplotlibMatplotlib-Entwicklerv3.8.4; https://matplotlib.org/Ergänzende Visualisierung und Qualitätssicherungsplots
AnmerkungsrichtlinieAutoren5 Anmerkungsabschnitte; 8 Dokumentenklassen-Etiketten; OCR-Bereiche; Entitätsetiketten; Relevanzbeurteilungen; AdjudikationsregelnDefinitionen für Dokumentenklassen, OCR-Bereiche, Entitäten, Relevanzbeurteilungen und Adjudikation
Archivspezifisches OCR-LexikonAutoren6 Lexikonkategorien: Personenvarianten, Ortsnamen, Institutionennamen, Datumsmuster, Verwaltungsbegriffe, AbkürzungenNamen, Orte, Institutionen, Verwaltungsbegriffe und Rechtschreibvarianten
Kontrollierte VokabularzuordnungAutoren / Archivrepositorien5 Zuordnungsregeln, die OCR-Entitäten, visuelle Klasse, Titelstichwörter, Datumsabdeckung und Abfragethema mit Metadatenfeldern verknüpfenÜbereinstimmung von Schlagwörtern und semantische Erweiterung
Benchmark-AbfragesetAutoren420 Benchmark-Abfragen; 6 Abfragethemen; 3 Schwierigkeitsstufen; 8 Zieldokumentenklassen; 4 historische Perioden; 6 SprachkontexteÜbereinstimmende Abrufkennzahl über fünf Systemarme hinweg
RelevanzbeurteilungenAutoren / Annotatoren2.100 Abfrage-System-Zeilen; 420 Abfragen x 5 Systemarme; relevante Gesamtzahlen, relevante Top-10-Anzahlen, bewertete Relevanz und ErfolgskennzeichenGround-Truth-Ersatz für P@10, R@10, nDCG@10 und erfolgreiche Suchrate
SchulungsdiagnosenAutoren20 Epochen; Trainingsverlust; Validierungsverlust; Trainingsgenauigkeit; Validierungsgenauigkeit; Makro-F1; gewichtetes F1; ROC-AUC; PR-AUCEpochenbasierte zusammenfassende Diagnosen des Modells
ComputerhardwareAutoren8 CPU-Kerne; 32 GB RAM; NVIDIA GPU-Klasse TrainingsumgebungReproduzierbarkeitsressourcen-Details für JoVE-Einreichung
DatensatzdateiAutorendata.xlsx; 1.600 Datensätze; 17 Variablen; DOI in der Manuskriptdatenverfügbarkeit aufgeführtDatenquellen auf Datensatzebene für optische Zeichenerkennung, Vollständigkeit von Metadaten, Auffindbarkeit und visuelle Klassifikationsanalysen

Referenzen

  1. Xu Y, et al. LayoutLM: pre-training of text and layout for document image understanding. Presented at: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; Virtual Event; 2020:1192-1200. https://doi.org/10.1145/3394486.3403172.
  2. Aske K, Giardinetti M. (Mis)matching metadata: improving accessibility in digital visual archives through the EyCon project. J Comput Cult Herit. 2023;16(4):1-20. doi:10.1145/3594726.
  3. Jaillant L, Aske K. Are users of digital archives ready for the artificial intelligence era Obstacles to the application of computational research methods and new opportunities. J Comput Cult Herit. 2023;16(4):1-18. doi:10.1145/3631125.
  4. Sugimoto S. Digital archives and metadata as critical infrastructure to keep community memory safe for the future: lessons from Japanese activities. Arch Manuscr. 2014;42(1):61-72.
  5. Du L, Le B, Honig E. Probing historical image contexts: enhancing visual archive retrieval through computer vision. J Comput Cult Herit. 2023;16(4):84. doi:10.1145/3631129.
  6. Michalak H, Okarma K. Robust combined binarization method of non-uniformly illuminated document images for alphanumerical character recognition. Sensors. 2020;20(10):2914. doi:10.3390/s20102914.
  7. Kettunen K, et al. Optical character recognition quality affects subjective user perception of historical newspaper clippings. J Doc. 2023;79(7):137-156.
  8. Huang Y, et al. LayoutLMv3: pre-training for document AI with unified text and image masking. Presented at: Proceedings of the 30th ACM International Conference on Multimedia; Lisbon, Portugal; 2022:4083-4091. https://doi.org/10.1145/3503161.3548112.
  9. Blei DM, Ng AY, Jordan MI. Latent Dirichlet allocation. J Mach Learn Res. 2003;3:993-1022.
  10. Mikolov T, et al. Distributed representations of words and phrases and their compositionality. Presented at: Advances in Neural Information Processing Systems; Lake Tahoe, NV; 2013:3111-3119. https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.
  11. Harley AW, Ufkes A, Derpanis KG. Evaluation of deep convolutional nets for document image classification and retrieval. Presented at: 13th International Conference on Document Analysis and Recognition; Tunis, Tunisia; 2015:991-995. https://doi.org/10.1109/ICDAR.2015.7333910.
  12. Alghamdi T, Snoussi S, Hsairi L. Arabic document classification by deep learning. Int J Adv Comput Sci Appl. 2021;12(10):34-40.
  13. Afzal MZ, et al. Deepdocclassifier: document classification with deep convolutional neural network. Presented at: 13th International Conference on Document Analysis and Recognition; Tunis, Tunisia; 2015:1111-1115. https://doi.org/10.1109/ICDAR.2015.7333933.
  14. Tan M, Le QV. EfficientNet: rethinking model scaling for convolutional neural networks. Presented at: Proceedings of the 36th International Conference on Machine Learning; Long Beach, CA; 2019:6105-6114. https://proceedings.mlr.press/v97/tan19a.html.
  15. Reimers N, Gurevych I. Sentence-BERT: sentence embeddings using Siamese BERT-networks. Presented at: Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing; Hong Kong, China; 2019:3982-3992. https://doi.org/10.18653/v1/D19-1410.
  16. Devlin J, Chang MW, Lee K, Toutanova K. BERT: pre-training of deep bidirectional transformers for language understanding. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; Minneapolis, MN; 2019:4171-4186. https://doi.org/10.18653/v1/N19-1423.
  17. Wei Y, et al. Cross-modal retrieval with CNN visual features: a new baseline. IEEE Trans Cybern. 2017;47(2):449-460.
  18. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. Presented at: IEEE Conference on Computer Vision and Pattern Recognition; Las Vegas, NV; 2016:770-778. https://doi.org/10.1109/CVPR.2016.90.
  19. Beshirov A, et al. Post-OCR text correction for Bulgarian historical documents. Int J Digit Libr. 2025;26(1):4. doi:10.1007/s00799-025-00415-x.
  20. Baltrušaitis T, Ahuja C, Morency LP. Multimodal machine learning: a survey and taxonomy. IEEE Trans Pattern Anal Mach Intell. 2019;41(2):423-443.
  21. Cushing AL, Osti G. "So how do we balance all of these needs": how the concept of AI technology impacts digital archival expertise. J Doc. 2023;79(7):12-29.
  22. Thakur N, et al. BEIR: a heterogeneous benchmark for zero-shot evaluation of information retrieval models. Presented at: Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track; Virtual Event; 2021. https://openreview.net/forumid=wCu6T5xFjeJ.
  23. Khattab O, Zaharia M. ColBERT: efficient and effective passage search via contextualized late interaction over BERT. Presented at: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval; Virtual Event, China; 2020:39-48. https://doi.org/10.1145/3397271.3401075.
  24. Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-9474.
  25. Wilkinson MD, et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016;3:160018. doi:10.1038/sdata.2016.18.
  26. Senussi MF, Kang HS. Occlusion removal in light-field images using CSPDarknet53 and bidirectional feature pyramid network: a multi-scale fusion-based approach. Appl Sci. 2024;14(20):9332. doi:10.3390/app14209332.
  27. Senussi MF, et al. U2-LFOR: a two-stage U2 network for light-field occlusion removal. Mathematics. 2025;13(17):2748. doi:10.3390/math13172748.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Tags

IngenieurwesenAusgabe 234Ausgabe 234Leerer WertAusgabedigitale Archivemultimodale KIOCR KorrekturMetadatenanreicherungvisuelle Klassifizierung und historische Databfragen
Kontaktieren Sie uns
Der Bibliothek empfehlen

Datenschutz

Nutzungsbedingungen

Richtlinien

Urheberrecht © 2026 MyJoVE Corporation. Alle Rechte vorbehalten.