歴史的デジタルアーカイブの発見のための再現可能なマルチモーダル人工知能ワークフロー

サマリー

ここでは、修正後の光学文字認識、視覚的文書分類、メタデータの強化、検索評価を監査可能なワークフローに統合することで、歴史的デジタルアーカイブの発見を向上させるプロトコルを提示します。

要約

歴史的なデジタルアーカイブはますます検索可能になっていますが、光学的な文字認識エラー、視覚的に異種な文書タイプ、稀なメタデータを別々に扱うと、発見は限られています。本研究は、保守的なマルチモーダル人工知能ワークフローがアーカイブ検索を改善できるかどうかを評価する再現可能なプロトコルを開発することを目的としました。8つの文書クラスから1,600件のデジタル化されたアーカイブ記録のコーパスをまとめ、420クエリのベンチマークを用いて、ベースラインインデックス、光学文字認識補正単独、視覚分類単独、メタデータ強化単独、完全なマルチモーダル統合の5つの検索条件を比較しました。記録レベルの成果には、文字誤り率(CER)、語誤り率(WER)、名前エンティティのリコール、文書型分類の正確性、予測信頼度、メタデータの完全性、主題見出しの一致が含まれていました。クエリレベルの成果には、P@10、R@10、nDCG@10、最初の関連結果が得られるまでの時間、成功率が含まれます。光学文字認識補正は手書きの手紙、台帳、レジストリブックにおいてWER(世界情報の誤差)を最も大幅に削減しました。視覚的な微調整により、地図、ポスター、新聞、登録簿の分類精度が主に向上し、メタデータの充実は、すべての歴史的期間における完全性を高めました。完全なマルチモーダル条件は最高の復元性能(P@10 = 0.624、R@10 = 0.492、nDCG@10 = 0.634)を達成し、最初の関連結果までの平均時間も156.079秒から58.485秒に短縮しました。これらの結果は、テキスト、画像、記述信号を明示的な閾値と人間のレビューのもとで組み合わせるモジュール型で監査可能なワークフローをサポートします。

概要

デジタルアーカイブは急速に拡大し、現在では歴史、文化遺産、公共行政、デジタル人文学の研究を支援しています。しかし、アーカイブ記録はしばしば劣化した光学文字認識出力、視覚的に多様なページレイアウト、一貫性のない目録作成の慣行、歴史的に異なる名前、場所、機関が混在するため、アクセスの均一性は依然として不一致です。これらの制限は転写の品質だけでなく、デジタル化されたコレクション^{1、2、3、4、5、6、7}の検索、フィルタリング、下流再利用にも影響を及ぼします。

既存の文書人工知能およびアーカイブ検索研究は、修正後の光学文字認識、文書画像分類、メタデータ正規化、トピックモデリング、ワード埋め込み、ニューラル検索、データガバナンスの実践など、個別の要素を改善してきました^。8,9,10,11,12,13,14,15。^{16、17、18、19、20、21、22、23、24、25}。しかし、多くのアーカイブシステムはこれらのコンポーネントを個別に評価するため、現実的な検索条件下で複数のワークフローが発見を向上させるかどうか判断が難しいです。ここで対処される方法論的なギャップは、テキスト、画像、メタデータモジュールを単一のアーカイブワークフローで結果を取得するために再現可能で監査可能なプロトコルが存在しないことです。

中心的な目的は、光学文字認識補正、視覚的文書分類、ルール制約されたメタデータ強化が、同じ検索ベンチマークと比較して相補的な改善をもたらすかどうかを検証することでした。

私たちは、アーカイブの発見が可読テキスト、視覚的に解釈可能な文書構造、検索可能な記述メタデータの相互作用に依存しているため、完全なマルチモーダル条件が各単一成分条件を上回ると仮説を立てました。ワークフローは保守的に設計されており、自動出力で検索インデックスを豊かにすることは可能でしたが、信頼度の低い予測は権威あるアーカイブ記述としてではなくレビュー用にフラグ付けされました。

プロトコル

本研究では、デジタル化されたアーカイブ記録とシミュレーション検索クエリを分析単位として用いました。アーカイブリポジトリは、機密または文化的に制限された記録へのアクセスを制限する場合があります。記録を処理または共有する前に、リポジトリアクセスルール、機関のデータセキュリティ手順、非識別化要件を遵守してください。このデジタルワークフローでは、有害な化学物質、生物学的、鋭利器、放射性物質、その他の規制対象の実験室廃棄物は一切発生しませんでした。

研究デザインとコーパス構成

図1 は、コーパス構築、参照ラベリング、画像前処理、OCR生成および補正後補正、視覚分類、メタデータ強化、インデックス構築、検索評価、統計解析、再現性パッケージングを含む研究全体のワークフローを示しています。

コーパス構築は2025年1月15日から4月30日まで行われ、その後5月1日から10月31日までシステム設計とデバッグが行われました。コーパスには、州、市、宗教、博物館、大学、図書館の8つの保管庫から選ばれた1,600件のデジタル化されたアーカイブ記録が含まれていました。サンプリング枠は、手書きの手紙、台帳、地図、新聞、キャプション付き写真、ポスター、登録簿、タイプされた書簡など、アーカイブの異質性を保持するために、リポジトリや文書クラスごとに階層化されました。

各候補レコードについては、選択ログにはリポジトリまたはコレクション識別子、カタログ識別子、文書クラス、おおよその歴史的期間、主要な言語の文脈、利用可能な画像フォーマット、画像解像度、ページ数、基準記述フィールドが記録されました。収録には以下すべての条件が必要でした:安定したカタログ識別子;少なくとも1枚のTIFF、JPEG、またはPNGのページ画像;少なくとも150 dpiのソース画像解像度;読みやすいテキスト、表形式、または文書構造的な内容;そして、8つのあらかじめ定義された文書クラスのいずれかへの割り当て。除外基準は、完全な重複、空白の裏返しページ、テキストを含む部分の30%以上が欠落するほど画像を切り取ったもの、手動検査後に判読不能と判断された記録でした。

検索ベンチマークには、2025年8月5日から8月20日の間に生成された420件の短い自然言語クエリが含まれていました。クエリ生成は再現可能なテンプレートに従い、候補者の情報ニーズは人物、機関、場所、日付、職業、出来事、トピックからサンプリングされました。各クエリは2〜9語に正規化され、およびシステム比較前に対象となる関連レコードが特定されました。各クエリは5つの検索条件で評価され、2,100件の一致クエリ条件観測結果が生成されました。

リファレンスラベルと品質管理

参考文献ラベリングは2025年5月1日から7月15日まで、記述的目録作成に熟練したアーカイブスタッフ2名と歴史的文書評価に熟練したデジタル人文学研究者1名の3名によって実施されました。注釈ガイドでは、文書クラス、言語文脈カテゴリ、歴史的期間ビン、メタデータ完全性フィールド、名前エンティティカテゴリ、OCR評価領域の選択ルールが定義されました。

OCR評価のために、注釈者は見出し、名前、日付、機関用語、余白注釈、表形式の項目、そして存在する場合はノイズの多いレイアウト領域を含む代表的なテキスト領域を選びました。複数のテキスト領域を含むページの場合、選択された領域は検索可能な関連性があり、CERおよびWER(世界空間)の計算に十分な文字を含める必要がありました。意見の相違はまず二人の主要な注釈者間の議論を通じて和解されました。未解決の案件はデジタル人文学研究者によって裁定されました。

品質管理では、記録の12%をランダムに選んだサブセットが使用されました。主要な文書タイプの注釈者間合意はコーエンのκ=0.86であり、実質的な一致を支持していました。裁定ログには、元のラベルと最終ラベル、意見の相違のカテゴリ、解決理由が保持され、将来のユーザーがクラス定義やエッジケースを監査できるようになっています。

画像前処理

すべての画像は、Python 3.11.8、OpenCV 4.9.0、Pillow 10.3.0、NumPy 1.26.4を用いてレコードレベルで処理されました。各入力ページは、地図、ポスター、切手、色分けされた注釈などの意味情報を含む色を除き、8ビットグレースケールに変換されました。スキューは投影プロファイルとハフライン検出を用いて推定されました。デスクウィングは絶対的なスキュー角が1.5度を超える場合のみ適用され、歪みを避けるために8.0度に制限されていました。

コントラスト強化には、clipLimit = 2.0、tileGridSize = 8 × 8 を用いたコントラスト制限適応ヒストグラム均等化が用いられました。推定背景雑音比が0.35を超える場合にのみ、核が3× 10⁻²³ の中央値フィルターが適用されました。150〜299 dpiで撮影された画像は、光学文字認識のために300 dpiにリサンプリングされました。すでに300 dpi以上の画像はアップスケールされませんでした。超解像度、生成復元、内容幻覚は使用されませんでした。

にじみ、エッジの暗化、紙の質感の不均一さ、余白のスタンプ、手書き、線付き線、表の境界線は、OCR地域選択を妨げない限り保持されました。このルールはアーカイブ証拠を保存しつつ、画像入力を十分に標準化し、再現可能なOCRや分類を実現しました。

OCRベース生成と補正後

ベースラインOCRはTesseract OCR 5.3.0で生成されました。主要な言語パックはカタログの言語と可視文字から選択されました。カタログ言語とページスクリプトが一致しない場合、多言語デコードが可能になりました。OCR出力はレコードレベルでグループ化され、ページ識別子、OCR信頼度、利用可能なバウンディングボックス座標、修正前の生テキストとともに保存されていました。

OCR後の矯正は3段階の保存的手法を用いました。まず、文字レベルの正規化により、合字、長S/短Sの置換、断片的な句読点、数字と文字の置換など、頻繁に起こる歴史的認識の混乱を修正しました。次に、トークンレベルの修正は、個人名、地名、機関、行政用語、歴史的綴りの変種などアーカイブ固有の語彙から、編集距離と頻度順位の候補を用いています。第三に、ルールベースのシーケンスチェックにより、名前のある実体や日付が文脈やメタデータの証拠と照らされて検証されます。

候補者置換は後方矯正信頼度が0.80を超えた場合にのみ受け入れられました。名前エンティティの置換は信頼度が少なくとも0.85を必要としました。基準を下回る候補者はOCRテキストとして保持されましたが、審査のためにフラグが立てられました。CERはレヴェンシュタインの編集距離を参照文字数で割ったものとして計算されました。WERはトークンレベルで同じ式を用いていました。名前エンティティのリコールは、選択された評価領域内のすべての参照エンティティで正しく認識された参照エンティティで計算されました。

視覚文書分類

視覚的分類モジュールは、各記録を手書きの手紙、台帳、地図、新聞、キャプション付き写真、ポスター、登録簿、タイプされた書簡の8つのアーカイブ文書クラスのいずれかに割り当てました。予測された文書タイプは、アーカイブのカタログ作成の権威ある代替ではなく、検索およびフィルタリングの信号として使用されました。

このモデルはPyTorch 2.2.2およびtorchvision 0.17.2で、ImageNetで事前学習済みのEfficientNet-B3バックボーンを用いて実装されました。記録レベルのサムネイルは384×384ピクセルにリサイズされました。漏洩を減らすため、レコードはリポジトリとドキュメントクラスごとにトレーニング、検証、テストセットに70:15:15の比率で分割され、約1,120、240、240のレコードに相当します。

トレーニングでは、初期学習率=1 × ^10-4、ウェイト減衰=1 × 10⁻²、バッチサイズ=16、ラベル平滑化=0.05、検証損失が5回連続で改善しなかった場合は早期停止を用い、AdamWを用いました。水平反転はミラーアーカイブレイアウトがリアルでないため無効化されました。増強は回転度が-3度から+3度、明るさの変動は±10%以内に限定されました。

エポックレベルのモデル診断は20の訓練行にまとめられ、それぞれに訓練損失、検証損失、訓練精度、検証精度、マクロF1、重み付きF1、ROC-AUC、PR-AUCが含まれています。

メタデータエンリッチメントワークフロー

メタデータの強化は、アーカイブの保守性を保ちつつ発見可能性を向上させるために設計されました。既存のカタログ値は、OCRや視覚的証拠で確認された不可能な日付や文書型の矛盾など、明確な矛盾を含まない限り保持されました。候補者増強フィールドには、正規化されたタイトル、文書タイプ、おおよその日付、機関名の言及、地理的言及、個人名の言及、主題見出し、キーワードが含まれていました。

エビデンスの優先順位は固定された順序で、(1)既存のカタログメタデータ、(2)修正されたOCR出力、(3)視覚文書タイプの予測。主語見出しには制御語彙マッチングが用いられ、文変換器2.7.0を用いた近傍意味展開は、余弦類似度が少なくとも0.72の場合にのみ用いられました。日付正規化には、少なくとも0.85の信頼度、またはOCRとメタデータの整合性が必要でした。自動追加されたすべてのフィールドは、そのソース、信頼度、ルール識別子を保持しました。

メタデータの完全性は、そのレコードに適用可能なコアフィールドの数で埋め込まれた記述フィールドの数を割ることで定義されました。主題見出し一致は、少なくとも1つの制御語彙主語ラベルの存在と、記録レベルの内容証拠によって裏付けられ、クエリカテゴリに関連して判断されることと定義されました。

検索システムの構築

モジュール寄与を分離するために5つの検索インデックスが構築されました:ベースラインインデックス;光学文字認識補正のみ;視覚的分類のみ;メタデータ強化のみ;完全なマルチモーダル積分。すべての指数は、 Table of Materials (バージョン8.11.1)に記載された検索エンジンソフトウェアで記録レベルで作成されました。評価前にBM25パラメータはk1=1.2、b=0.75に固定されていました。

ベースラインインデックスは元のメタデータとベースラインOCRテキストを使用していました。OCR条件はベースラインOCRを補正OCRに置き換えました。視覚的な条件により、文書タイプの事前評価やクラス認識のランク強化が加わりました。メタデータ条件により、強化された記述フィールドが追加されました。完全なマルチモーダル状態は、修正済みOCR、視覚的事前分析、強化メタデータを組み合わせたものでした。フィールド重みはテスト前に固定されていました:正規化されたタイトル=3.0、主題見出し=2.5、人物および機関の言及数=2.2、場所の言及数=2.0、文書タイプ=1.8、修正済みOCR本文=1.0、基準OCR本文=0.8(該当する場合)。

引用クエリには正確なフレーズマッチングが可能になりました。クエリ展開はメタデータ強化およびフルマルチモーダル条件でのみ許可され、受け入れられた制御語彙同義語および主題見出しの変種に限定されました。検索ログは2025年8月25日から8月28日まで、 Table of Materialsに記載されたコンテナ化されたLinux環境で生成され、固定シードと凍結されたインデックス構成で行われました。

クエリ設計とアウトカム指標

420件のクエリは、キーワードのみのベンチマークプロンプトではなく、一般的なアーカイブ検索行動を表していました。トピックには、個人名、機関、場所、日付や日付範囲、職業、出来事、テーマ別などが含まれていました。各クエリは正規化された文言、ターゲットレコードセット、クエリトピックカテゴリ、難易度スコアとともに保存されました。

難易度は、標的の曖昧さ、語彙特異性、期待される発現頻度を用いて検索前にスコアリングされました。0.40未満の総合スコアは低難易度、0.40〜0.69のスコアは中程度の難易度、0.70以上のスコアは高難易度と分類されました。関連性判断はシステム比較前に完了し、最終的なコレクションと照合されました。

検索結果には、P@10、R@10、nDCG@10、最初に関連した結果に至るまでの時間、成功率が含まれていました。P@10は、トップ10レコードの中で関連性があると判断された割合でした。R@10は、トップ10で取得された既知の関連レコード全体の割合でした。nDCG@10利用可能な場合は段階的関連性を使い、それ以外はバイナリ関連性を使いました。クエリ提出からランキングされた出力に最初の関連レコードが現れるまでの時間が測定されました。検索に成功したとは、上位10件のレコードのうち少なくとも1件の関連結果が出ることと定義されました。

統計収集

すべての分析は 材料表に記載されているソフトウェアバージョンを使用して実施されました。連続アウトカムは、ほぼ対称±平均SDとして、それ以外の場合は四分位数範囲を持つ中央値として要約されました。カテゴリ別アウトカムはカウントとパーセンテージでまとめられました。

ペア差の正規性はシャピロ・ウィルク検定および分布プロットで評価されました。OCRおよびメタデータの事前・事後評価は、ペアの差がほぼ正常であった場合と、Wilcoxon署名ランク検定がそれ以外の場合にペアt検定と比較されました。ファインチューニング前後の分類性能は、正しく/誤ったラベルのペアを対象にマクネマー検定を用いて比較されました。一致した多腕抽出アウトカムをフリードマン検定と比較し、その後ホルム調整済みペアワイズウィルコクソン符号付き順位検定を比較しました。

すべての統計検定は両側で、 P < 0.05は統計的に有意とされました。信頼区間は2,000件のブートストラップ再サンプルを用いて推定され、ランダムシードは2025年に固定されました。効果は平均差、マッチングオッズ比、または結果タイプに応じたランクベースの効果サイズとして報告されました。

再現性、範囲、資源の利用可能性

すべてのパイプラインパラメータは抽出試験前に固定されていました。ホールドアウトされた検索ベンチマークでは、どのパラメータも最適化されていませんでした。構成ファイル、制御語彙、辞書表、クエリテンプレート、フィールドマッピング、注釈ガイドライン、統計スクリプト、図生成スクリプトは、2025年のランダムシード付き Table of Materials に記載されたバージョン管理システムで管理されました。

独立した検証を支援するため、ソースデータワークブックには17変数の非号化された1,600レコードテーブルが含まれており、光学文字認識、メタデータ、視覚的分類解析に使用されています。派生表1、表2、表3、表4、 表5、図の出典要約、ベンチマーククエリ定義、関連性判断要約、検索ログ代替、訓練診断、語彙カテゴリ、語彙マッピングルール、注釈ガイドラインフィールドは、該当する場合は別々のアップロード可能な表または資料ファイルとして提供されます。リポジトリの制限により公開できない資料は、非特定メタデータフィールドや再現可能なサンプリングフィールドで表されます。

このプロトコルは、歴史的主張の真偽ではなく、検索志向の発見を評価します。アーカイブ評価、出所評価、プライバシーレビュー、リポジトリ固有のアクセスルールに代わるものではありません。

結果

OCR補正により、特に手書きおよび表形式の記録における転記が向上しました

光学文字認識補正により、8つのアーカイブ文書クラスすべて(n = 1,600レコード)で転写品質が向上しました。平均WERは0.529±0.172から0.384±0.123に減少し、平均ペア変化は−0.144(95%信頼区間、−0.149から−0.139;ウィルコクソン署名順位 P < 0.001)。平均CERは0.377±0.126から0.258±0.086に減少し、平均ペア変化は−0.119(95%信頼区間、−0.123から−0.116へ)でした。ウィルコクソン署名順位 P < 0.001)。 表2は 、手書きの手紙、台帳、登録簿で基準的なWER(基準のWAR)が最も高く、視覚的に最も複雑な記録が初期認識負荷も最も大きいことを示しています。

修正後、すべての文書クラスでWERが減少しました。最大の平均ペアWER減少は手書き文字(n = 262; −0.200; 95% CI, −0.213から−0.188)、台帳(n = 263; −0.195; 95% CI, −0.206から−0.183)、および登録簿(n = 194; −0.173; 95% CI, −0.187から−0.160)で見られました。CERも同様のパターンに従い、修正後モジュールが主に難解な手書き、表状、混合レイアウトの記録に利益をもたらすという解釈を支持しました。

名前エンティティのリコールも、すべての文書タイプで改善されており、概要表に示されています。最も増加したのは手書きの手紙(0.302–0.440)、台帳(0.336–0.471)、登記簿(0.369–0.504)でした。タイプされた通信は訂正後の命名エンティティのリコール率(0.646)で最高に達しましたが、このクラスの基準認識がすでに強かったため、絶対的な増加は小さくなりました。 図2 は、記録レベルの基準CER-WER関係、筆跡強度と訂正効果の関連、および訂正後の記録レベルの発見可能性の変化を要約しています。

視覚文書の分類は全体的に改善されましたが、性能向上はクラスごとに不均一でした

1,600件のテストセット全体で視覚文書の分類が向上しました。トップ1の精度は0.717から0.796に上昇しました(絶対変化率0.079;マクネマーのカイ二乗 = 27.33;<平均予測信頼度は0.736±0.131から0.800±0.108に増加しました(平均ペア変化0.064;95%信頼区間0.057–0.071;ペアt検定 P <0.001)。 表3に示されているように、8クラス中7クラスはアーカイブごとの微調整後に改善され、地図、ポスター、新聞、登録簿で最大の成果が見られました。

タイプされた対応は微調整後(0.796–0.791)後も大きな改善はなく、基礎的な視覚特徴はすでに安定しており、訓練手順によってこのカテゴリーのクラス分離がほとんど加わっていないことが示唆されます。

図3はアーカイブ固有の微調整前後の視覚文書分類性能をまとめています。ソースデータワークブックには、トレイン/検証の損失と精度の20のエポックに加え、マクロF1、加重F1、ROC-AUC、PR-AUCの診断要約が記載されています。

メタデータの充実により、すべての歴史的期間(n = 1,600レコード)における記述的完全性が向上しました。平均完全性は0.657±0.125から0.907±0.070に増加し、平均ペア変化は0.250(95%信頼区間、0.243–0.257;ウィルコクソン署名順位 P < 0.001)。 表4に示されているように、基底線の完全性は1850年から1879年が最も低く、その後の期間で増加しました。 図4 は、メタデータの完全性の向上、文書タイプ別に新たに実現されたメタデータフィールド、そして主題見出しのマッチング増加を歴史的期間を要約しています。

エンリッチメント後、完全性はすべての歴史期間で向上しました:1850–1879年(n = 281;平均変化0.207;95% CI 0.191–0.223)、1880–1909年(n = 474;平均変化0.236;95% CI、0.223–0.248)、1910–1939年(n = 549;平均変化0.277;95% CI、0.265–0.288)、および1940–1969年(n = 296;平均変化0.263;95% CI 0.247–0.279)。人口密集地の平均数も期間を通じて一貫して増加しました。

主題見出しの一致は並行して改善されました。ベースラインのマッチ率は64.3%から69.4%の範囲で、濃縮後のマッチング率は82.1%から85.4%の範囲でした。最大の絶対的な増加は最も初期の期間に発生し(Delta = 0.178)、初期記述がまばらな記録における保守的濃縮の価値を支持しています。

すべての強化システムで検索性能が向上し、完全なマルチモーダル統合時の最大の利点が見られます

各強化条件下で検索効果はベースラインと比較して向上しましたが、改善の大きさはシステムアームごとに異なりました(n = 420のマッチングベンチマーククエリ)。全体の検索結果は 表5に記載されています。ベースライン性能は低く、P@10 = 0.394、R@10 = 0.238、nDCG@10 = 0.392、平均最初の関連結果までの時間 = 156.079秒、成功検索率 = 5.0%(21/420;95% CI、3.3%–7.5%)。 図5 は、5つの実験システム群にわたる検索性能を総括しており、全体の検索指標、トピックレベルの成功率、クエリ難易度の階層を含みます。

これら3つの単一成分システムすべてが総合的に基準を上回るパフォーマンスを示しました。光学文字認識補正はP@10 0.484、R@10 0.346、nDCG@10 0.475に増加し、最初の関連結果に至るまでの時間は124.261秒に短縮され、検索成功率は30.2%(127/420;95%信頼区間、26.0%–34.8%)に上昇しました。生成された視覚分類はP@10 = 0.490、R@10 = 0.302、nDCG@10 = 0.478、平均最初の関連結果までの時間 = 131.985秒、成功率 = 22.9%(96/420;95% CI、19.1%–27.1%)。メタデータ強化は単一成分検索で最も優れた性能を達成し、P@10 = 0.507、R@10 = 0.347、nDCG@10 = 0.513、平均関連結果までの時間=117.474秒、成功率は38.3%(161/420;95%信頼区間、33.8%–43.1%)でした。

完全なマルチモーダルシステムはすべての検索エンドポイントで最も優れた性能を示しました。P@10は基準値の0.394から0.624に上昇し、R@10は0.238から0.492、nDCG@10は0.392から0.634に上昇しました。最初の関連結果までの平均時間は156.079秒から58.485秒に減少し、成功率は5.0%から95.5%に上昇しました(401/420;95%信頼区間、93.0%–97.1%)。これらの値は、P@10で0.230、R@10で0.254、nDCG@10で0.242の絶対利得に相当します。

また、完全なマルチモーダル統合の下でトピック固有の検索も改善されました。検索成功率は、個人、機関、場所、職業、出来事、主題テーマで増加し、職業カテゴリーが最も実質的な上昇を示しました。基準成功率は0.0%でしたが、完全なマルチモーダル条件下では90.0%に上昇しました。地名クエリは最も優れたベースライン性能を示しましたが、それでもマルチモーダル統合の恩恵を受けました。

多様態の成果は、文書、時代、言語の階層によって異なりました

サブグループ分析では、多様態の増進は文書の種類、歴史的時代、言語文脈に広く分布していることが示されましたが、改善の大きさは異なりました。この異質性は、ワークフローを各ターゲットコレクション内で評価すべきであり、均一な成果を期待しないことを示唆しています。 図6 は、対象文書の種類、歴史的時代、言語文脈における多様式検索の異質性を示しています。

ドキュメントタイプのレベルでは、すべてのターゲットクラスでnDCG@10改善されました。写真(キャプション付き)、手書きの手紙、地図、台帳、登記帳は大きな増加を示し、新聞やタイプされた書簡はより控えめな改善を示しました。これらのパターンは、初期メタデータが弱いレコードや複雑な視覚構造を持つレコードが、テキスト、画像、メタデータの信号を組み合わせて最も恩恵を受けることを示唆しています。

歴史的期間レベルでは、1850年から1879年の間にR@10が0.175から0.429に増加し、1880年から1909年には0.506、1910年から1939年で0.501、1940年から1969年までは0.519に達しました。期間を問わず絶対スケールで増加は類似しており、エンリッチメントと認識修正が初期のスパール記録と、より豊かなベースラインメタデータを持つ後期の記録の両方に役立ったことを示唆しています。

言語文脈の結果も同様の傾向を示しました。完全なマルチモーダル条件下でのP@10は、ラテン文字混合記録で0.607、英語で0.628、フランス語で0.618、ドイツ語で0.661、ポルトガル語とスペイン語で0.639に達しました。最も高い精度向上は、最も低い基準精度を持つ混合ラテン文字レコードで見られました。

コンポーネントレベルのパターン:冗長ではなく補完的な貢献

これらの結果を総合すると、プロトコルの構成要素は冗長ではなく補完的であることが示されています。OCR補正によりテキスト認識性が向上し、視覚的分類により構造認識型の文書型信号が追加され、メタデータ強化により検索可能な記述層が拡張されました。完全なマルチモーダル条件は最も強力かつ一貫した検索効果をもたらし、異種デジタルアーカイブに対する監査可能で検索志向のワークフローを検証するという研究目的を支持しました。

これらの発見は、マルチモーダル人工知能がアーカイブ検索を補完しつつ、リポジトリガバナンス、データの出所、専門家による検証の必要性を維持できるプロトコルモデルを支持しています。

データの利用可能性:

主要な解析に使用された非公開化された1,600件のレコードデータセットは、Zenodo as data.xlsx(https://doi.org/10.5281/zenodo.20774456)で利用可能です。

図1:マルチモーダルアーカイブ発見のための再現可能なワークフロー。(A) リポジトリレベルのアーカイブレコードからのコーパス構築(包含・除外スクリーニング付き)。(B) 参照ラベル付けおよび品質管理(文書タイプ、OCR参照地域、言語文脈、歴史的時期、メタデータの完全性を含む)。(C)画像前処理、OCR生成および修正後、視覚文書分類、保守的メタデータの強化。(D) インデックス構築、5アーム検索評価、統計分析、リソースパッケージング。略称:OCR(光学文字認識);CER(文字誤り率);WER、単語の誤り率。この図の拡大版はこちらをクリックしてご覧ください。

図2:レコードレベルの光学文字認識エラー構造と修正後の発見可能性。 (A) 1,600件のアーカイブレコードにおける基準CER対基準WER(代表クラスごとに文書タイプ別に色分け)。(B) 尺度による筆跡強度と修正後のWER変化との関連;負の値は修正後のWER(労働時間)が低いことを示します。フィット線とグレーバンドは線形傾向と95%信頼区間を示しています。(C) 文書タイプによる訂正前後の記録レベルの発見可能性スコアで、訂正後の検索可能な証拠の変化を示す。略語:CER(文字エラー率);WER、単語の誤り率。 この図の拡大版はこちらをクリックしてご覧ください。

図3:アーカイブ固有の微調整前後の視覚的文書分類。(A) 基線および微調整後の文書タイプ別トップ1精度。(B) ベースラインおよび調整後の条件下での正確予測および誤り予測の信頼分布。(C) チューニング前後のトップ1精度と平均後置信頼度をまとめたクラスレベルのパフォーマンスマトリックス。モデル診断データには、損失/精度曲線の20エポック、マクロF1、加重F1、ROC-AUC、PR-AUCが含まれます。この図の拡大版はこちらをクリックしてご覧ください。

図4:保守的強化後のメタデータ完全性と主題見出しの一致。(A) 強化前後の記録レベルのメタデータ完全性。(B) ドキュメントタイプ別に新たに実現されたメタデータフィールド。(C) 歴史的時代を超えた主題見出しの一致。完全性は、居住可能なコアフィールド数を適用コアフィールドの総数で割ったものとして計算されました。この図の拡大版はこちらをクリックしてご覧ください。

図5:5つの実験システム群にわたる検索性能。(A) 全体P@10、、R@10、nDCG@10、最初の関連結果までの時間、およびベースラインの成功率、光学文字認識補正、視覚分類、メタデータ強化、完全なマルチモーダル統合。(B) クエリトピックおよびシステムアームによる成功率のバブルプロット;色はシステムアームを示し、バブルサイズは成功率を示します。(C) P@10、R@10、nDCG@10は簡単、中程度、困難なクエリ難易度の層にまたがる。(D) クエリトピックおよびシステムアーム間での成功検索の分布を示す代替トピックレベルの成功率ビュー。略語:P@10、精度は10;R@10、10ページを思い出してください;nDCG@10、正規化された割引累積利得は10です。この図の拡大版はこちらをクリックしてご覧ください。

図6:アーカイブサブグループ間のマルチモーダル検索ゲインの異質性。 (A) 対象文書の種類および検索条件によるnDCG@10。(B) 歴史的時代および回収状況によってR@10。(C) 対象言語の文脈および検索条件によるP@10。条件はベースライン、OCR補正、視覚分類、メタデータ強化、フルマルチモーダル統合、OCR+テキスト、テキスト+ビジュアル+メタデータ、ビジュアル+メタデータです。この図は、多様態の増幅は文書、時代、言語の層を超えて広範囲に及んでいるものの、均一ではないことを浮き彫りにしています。 この図の拡大版はこちらをクリックしてご覧ください。

文書の種類	Nレコード	中央値ページ	手書き記録	平均基準値 WER	平均基準値 メタデータ 完備性	平均基準値 発見可能性
			(%)
手書きの手紙	262	2	95	0.729	0.648	68.2
台帳	263	7	63.5	0.679	0.674	72.2
地図	102	1	2.9	0.457	0.552	74.1
新聞	261	8	0.8	0.495	0.66	75.5
写真とキャプション付き	179	1	1.1	0.374	0.601	73.6
ポスター	87	1	0	0.413	0.571	74.8
登録簿	194	10	18	0.616	0.703	71.3
タイプされた書簡	252	3	4	0.315	0.689	76.4

表1:文書の種類別アーカイブコレクションの特徴。 この表は、8つの文書クラスそれぞれの記録数、中央値ページ数、手書きを含むレコードの割合、平均ベースラインWER、平均ベースラインメタデータの完全性、平均ベースライン発見可能性スコアを報告します。

文書の種類	サンプルサイズ	CER	CER	WER	WER	名前付きエンティティ リコール	名前付きエンティティ リコール	ΔWER
	(注)	(基準値)	(ポスト)	(基準値)	(ポスト)	(基準値)	(ポスト)
手書きの手紙	262	0.531	0.363	0.729	0.531	0.302	0.44	−0.198
台帳	263	0.49	0.326	0.679	0.485	0.336	0.471	−0.194
地図	102	0.322	0.228	0.457	0.347	0.38	0.503	−0.11
新聞	261	0.354	0.256	0.495	0.381	0.436	0.558	−0.114
写真とキャプション付き	179	0.257	0.181	0.374	0.286	0.494	0.616	−0.088
ポスター	87	0.287	0.199	0.413	0.316	0.448	0.57	−0.097
登録簿	194	0.442	0.293	0.616	0.439	0.369	0.504	−0.177
タイプされた書簡	252	0.219	0.155	0.315	0.232	0.524	0.646	−.083

表2:文書の種類別修正前後のOCRパフォーマンス。CERとWERは参照転写と比較して計算されました。名前のあるエンティティのリコールは、手動でラベル付けされた人物、場所、機関、日付エンティティと比べて計算されました。デルタWERは修正後のWERからベースラインWERを差し引いたものです。

文書の種類	n	正確さ、 基準	正確さ、 後	自信を込めて、 基準	自信を込めて、 後	Δアキュラシー
手書きの手紙	262	0.615	0.645	0.616	0.655	0.03
台帳	263	0.707	0.749	0.725	0.767	0.042
地図	102	0.765	0.902	0.801	0.899	0.137
新聞	261	0.716	0.843	0.728	0.83	0.127
写真とキャプション付き	179	0.815	0.869	0.824	0.89	0.054
ポスター	87	0.771	0.903	0.792	0.889	0.132
登録簿	194	0.687	0.793	0.701	0.787	0.106
タイプされた書簡	252	0.796	0.791	0.804	0.82	-0.005

表3:アーカイブ固有のファインチューニング前後の視覚的文書分類性能。表はサンプルサイズ、トップ1精度、平均事後信頼度、文書タイプ別精度の変化を報告しています。診断データには、マクロF1、重み付きF1、ROC-AUC、PR-AUC、トレーニング損失、検証損失、訓練精度、検証精度を含む20のエポックレベル行が含まれています。

完全性	完全性	人口密集地	人口密集地	主題見出し 試合	主題見出し 試合	Δ 完全性	Δ 主題見出し 試合
(基準値)	(ポスト)	(基準値)	(ポスト)	(基準値)	(ポスト)
0.534	0.868	4.274	8.584	0.643	0.821	0.334	0.178
0.607	0.898	4.838	8.709	0.672	0.841	0.291	0.169
0.68	0.927	5.426	9.095	0.686	0.849	0.247	0.163
0.686	0.922	5.48	8.953	0.694	0.854	0.236	0.16

表4:歴史的時期別のメタデータの充実。 完全性とは、レコードに対して適用可能なコア記述フィールドの割合を指します。人口が混在する畑は平均数として報告されます。主題見出し一致は、記録レベルの証拠が少なくとも1つの制御語彙主語ラベルを支持しているかどうかを示します。

システムアーム	nクエリ	P@10	R@10	nDCG@10	そろそろ最初に関係ある時が来た 結果	検索成功率
						(%)
基準	420	0.394	0.238	0.392	156.079	5
OCR補正	420	0.484	0.346	0.475	124.261	30.2
視覚分類	420	0.49	0.302	0.478	131.985	22.9
メタデータ強化	420	0.507	0.347	0.513	117.474	38.3
フルマルチモーダル	420	0.624	0.492	0.634	58.485	95.5

表5:5つの実験システムアームの検索性能。P@10、R@10、nDCG@10、最初の関連結果までの時間、成功率は、マッチドクエリ条件下で420クエリベンチマーク全体で計算されました。

ディスカッション

このプロトコルは、歴史的デジタルアーカイブでの発見が最も向上したことを示しています。OCR補正、視覚的文書理解、保守的なメタデータ強化を、単なる技術的アップグレードではなく、接続された検索要素として評価したことが示されています。最大のOCR向上は手書き、表形式、レジストリ資料で見られ、基準認識が最も弱い文書クラスにおいて修正後の価値を支持しています。同時に、修正後の残留誤差はOCRのクリーンアップを決定的な転写として扱えず、監査可能なままにしておく必要があります。

視覚分類の結果も慎重な解釈が必要です。微調整により地図、ポスター、新聞、登録簿などの視覚的に特徴的なクラスは改善されましたが、手書きの手紙や台帳ではレイアウトが重なり、クラス境界が視覚的に分離しにくいため、その効果は小さくなりました。比較的小さなコーパスサイズのため、分類性能は1,600件のレコードだけで生産マルチモーダルモデルを訓練できるという証明ではなく、プロトコルの証拠として解釈すべきです。今後の検証では、EfficientNet-B3を文書変換器、Vision Transformers、Swin Transformers、ConvNeXt、およびマルチモーダル文書^{基盤モデル}8,11,12,13,14,15,16,17,18と比較すべきです。

メタデータの強化は、まれな記述記録を検索可能なフィールドに拡張しつつ、出典情報と信頼度情報を保持することで検索に大きく貢献しました。この発見は、より豊かなアクセスポイントのアーカイブニーズと一致していますが、同時にガバナンス上のリスクも高めます。自動エンリッチメントはOCRエラーを増幅したり、歴史的に曖昧な名前を過度に正規化したり、制御語彙が不完全であればバイアスを生じさせたりします。そのため、ワークフローではカタログレコードの完全自動置換ではなく、信頼度閾値、ソースログ、レビューフラグを使用しています。

検索評価は補完的なモジュール効果の証拠を提供しますが、限界もあります。本比較では基準条件と内部モジュールアブレーション条件が用いられました。ColBERT、ハイブリッドの疎密集・高密度検索、神経再ランキング、検索拡張生成システムなどの高密度検索・後期相互作用ランク(22,23,24)とのベンチマークは行っていません。これらの手法は今後の研究で追加され、観測されたマルチモーダルの改善が現行の回収アーキテクチャと競争力を保つかどうかを明らかにすべきです。

実装にはデータ漏洩、計算制約、スケーラビリティへの配慮も必要です。エンリッチメントは光学文字認識出力、視覚的予測、既存のメタデータを使用しているため、トレーニング/検証/テスト分割とクエリ評価はエンリッチメントの決定から分離しなければなりません。今後の展開では、ハードウェア、実行時間、メモリ使用量、インデックスサイズ、1,000レコードあたりのコストを報告すべきです。隣接するコンピュータビジョン作業からの画像修復アプローチ、例えばマルチスケールや注意ベースの閉塞除去モデルは、将来の前処理実験のインスピレーションとなる可能性がありますが、アーカイブワークフローが^{証拠内容を}幻覚や改変してはならないため、慎重に検証されるべき^です。

全体として、このワークフローはアーカイブ記述の代替ではなく、再現可能なアクセスプロトコルとして理解するのが最適です。マルチモーダル人工知能は、出力が制限され、記録され、レビューされることで発見を改善できますが、アーカイブ担当者は出所評価、アクセスガバナンスの意思決定、歴史的に複雑な記録の解釈において依然として不可欠です(^21,25)。

結論:
本研究では、光学文字認識補正、視覚的文書分類、保守的メタデータ強化が歴史的デジタルアーカイブにおいて補完的な検索要素として機能するかどうかを検証しました。このプロトコルは、明示的な閾値、ソースログ、人間によるレビューの安全策を保持しつつ、転写、分類、メタデータの完全性、集計検索性能を向上させました。したがって、ワークフローはアーカイブ管理者の判断やリポジトリガバナンスの代替としてではなく、監査可能なアクセス支援プロトコルとして使用されるべきです。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
Python	Python Software Foundation	v3.11.8; https://www.python.org/	ワークフロースクリプティング、データ処理、光学文字認識の事後修正、統計サポート
R	R Foundation for Statistical Computing	v4.3.3; https://www.r-project.org/	統計分析と最終図の生成
Tesseract OCR	Tesseract OCR Project	v5.3.0; https://github.com/tesseract-ocr/tesseract	ベースライン光学文字認識生成
Tesseract language packs	Tesseract OCR Project	研究固有の言語パック; https://github.com/tesseract-ocr/tessdata	主要および混合言語光学文字認識デコード
OpenCV	OpenCV Team	v4.9.0; https://opencv.org/	デスケーリング、ノイズ推定、画像前処理
Pillow	Python Imaging Library contributors	v10.3.0; https://python-pillow.org/	画像入出力と形式正規化
NumPy	NumPy developers	v1.26.4; https://numpy.org/	画像とメトリック処理のための配列計算
pandas	pandas development team	v2.2.2; https://pandas.pydata.org/	表形式データ処理とサマリーエクスポート
SciPy	SciPy developers	v1.13.1; https://scipy.org/	統計検定と数値ユーティリティ
statsmodels	statsmodels developers	v0.14.2; https://www.statsmodels.org/	統計モデリングとペア比較サポート
scikit-learn	scikit-learn developers	v1.4.2; https://scikit-learn.org/	分類指標、ROC/PR診断、検証ユーティリティ
rapidfuzz	Max Bachmann and contributors	v3.9.0; https://github.com/rapidfuzz/RapidFuzz	光学文字認識修正のための編集距離候補ランキング
spaCy	Explosion AI	v3.7.4; https://spacy.io/	カスタム語彙表を用いた命名エンティティ処理
PyTorch	PyTorch Foundation	v2.2.2; https://pytorch.org/	視覚的ドキュメント分類器トレーニング
torchvision	PyTorch Foundation	v0.17.2; https://pytorch.org/vision/	EfficientNet-B3実装と画像変換
EfficientNet-B3 backbone	torchvision / ImageNet pretrained weights	EfficientNet-B3; https://pytorch.org/vision/stable/models/efficientnet.html	視覚的ドキュメント分類のバックボーン
sentence-transformers	UKP Lab / Hugging Face ecosystem	v2.7.0; https://www.sbert.net/	制御語彙候補の意味拡張
検索エンジンソフトウェア	Elastic	Elasticsearch v8.11.1; https://www.elastic.co/elasticsearch	BM25インデックス作成、検索、ランキング
コンテナエンジン	Docker Inc.	Docker v26.1.1; https://www.docker.com/	コンテナ化された検索環境
Linuxオペレーティングシステム	Canonical	Ubuntu 22.04 LTS; https://ubuntu.com/	検索実行の固定環境
バージョン管理システム	Gitプロジェクト	Git v2.44.0; https://git-scm.com/	設定、語彙、スクリプト、図コードのバージョン管理
ggplot2	tidyverse	v3.5.1; https://ggplot2.tidyverse.org/	Rベースの図描画
Matplotlib	Matplotlib開発者	v3.8.4; https://matplotlib.org/	補助的な可視化と品質保証プロット
アノテーションガイドライン	著者	5つのアノテーションセクション; 8つのドキュメントクラスラベル; OCR領域; エンティティラベル; 関連性判断; 裁定ルール	ドキュメントクラス、OCR領域、エンティティ、関連性判断、裁定の定義
アーカイブ固有のOCR語彙	著者	6つの語彙カテゴリ：人物バリアント、場所名、機関名、日付パターン、管理用語、省略形	名前、場所、機関、管理用語、スペリングバリアント
制御語彙マッピング	著者/アーカイブリポジトリ	OCRエンティティ、視覚的クラス、タイトルキーワード、日付範囲、クエリトピック、メタデータフィールドをリンクする5つのマッピングルール	件名見出しの一致と意味拡張
ベンチマーククエリセット	著者	420のベンチマーククエリ; 6つのクエリトピック; 3つの難易度レベル; 8つのターゲットドキュメントクラス; 4つの歴史的期間; 6つの言語コンテキスト	5つのシステムアームにわたる一致検索ベンチマーク
関連性判断	著者/アノテーター	2,100のクエリシステム行; 420のクエリ×5システムアーム; 関連性の合計、トップ10内関連性カウント、採点関連性、成功フラグ	P@10、R@10、nDCG@10、成功検索率の基準真値代理
トレーニング診断	著者	20エポック; トレーニング損失; 検証損失; トレーニング精度; 検証精度; マクロF1; 加重F1; ROC-AUC; PR-AUC	エポックレベルのモデル診断サマリー
計算ハードウェア	著者	8CPUコア; 32GB RAM; NVIDIA GPUクラスのトレーニング環境	JoVE提出のための再現性リソース詳細
データセットファイル	著者	data.xlsx; 1,600レコード; 17変数; 原稿のデータ利用可能性に記載されたDOI	光学文字認識、メタデータの完全性、発見可能性、視覚的分類分析のためのレコードレベルのソースデータ