כאן, אנו מציגים פרוטוקול לשיפור הגילוי בארכיונים דיגיטליים היסטוריים על ידי שילוב זיהוי תווים אופטי לאחר תיקון, סיווג מסמכים חזותיים, העשרת מטא-דאטה והערכת שליפה לתוך תהליך עבודה שניתן לביקורת.
מאמר מחקר
תהליך עבודה רב-מודלי לשכפול של בינה מלאכותית לגילוי ארכיון דיגיטלי היסטורי
נפתח בלשונית חדשה
במאמר זה
סיכום
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
תקציר
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
ארכיונים דיגיטליים היסטוריים הופכים לניתנים לחיפוש יותר ויותר, אך הגילוי נשאר מוגבל כאשר שגיאות בזיהוי תווים אופטי, סוגי מסמכים הטרוגניים ויזואלית, ומטא-דאטה דלילה מטופלים בנפרד. מחקר זה נועד לפתח פרוטוקול שניתן לשחזר כדי להעריך האם תהליך עבודה שמרני של בינה מלאכותית רב-מודלית יכול לשפר את שליפת הארכיון מבלי להחליף את סקירת הארכיונאי. אוסף של 1,600 רשומות ארכיון דיגיטליות משמונה מחלקות מסמכים הורכב, ונעשה שימוש במדד של 420 שאילתות להשוואת חמישה תנאי שחזור: אינדוקס בסיסי, תיקון זיהוי תווים אופטי בלבד, סיווג חזותי בלבד, העשרת מטא-דאטה בלבד, ואינטגרציה מולטימודלית מלאה. תוצאות ברמת הרשומה כללו שיעור שגיאת תווים (CER), שיעור שגיאת מילים (WER), שליחת ישות בשם, דיוק סיווג סוגי מסמך, ביטחון תחזית, שלמות מטא-דאטה, והתאמה בין נושא לכותרת. תוצאות ברמת השאילתות כללו P@10, R@10, nDCG@10, זמן להגיע לתוצאה הרלוונטית הראשונה ושיעור חיפוש מוצלח. תיקון זיהוי תווים אופטי הפחית את ה-WER בצורה המשמעותית עבור מכתבים בכתב יד, פנקסים וספרי רישום; כיוונון חזותי שיפר את דיוק הסיווג בעיקר עבור מפות, פוסטרים, עיתונים וספרי רישום; והעשרת מטא-דאטה הגבירה את השלמות בכל התקופות ההיסטוריות. המצב הרב-מודלי המלא השיג את ביצועי השחזור הגבוהים ביותר (P@10 = 0.624, R@10 = 0.492, nDCG@10 = 0.634) והפחית את הזמן הממוצע לתוצאה הרלוונטית הראשונה מ-156.079 שניות ל-58.485 שניות. תוצאות אלו תומכות בזרימת עבודה מודולרית וניתנת לביקורת שבה טקסט, תמונה ואותות תיאוריים משולבים תחת סף מפורש וביקורת אנושית.
מבוא
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
הארכיונים הדיגיטליים התרחבו במהירות וכיום תומכים במחקר בהיסטוריה, מורשת תרבותית, מנהל ציבורי ומדעי הרוח הדיגיטליים. עם זאת, הגישה נותרת לא אחידה מכיוון שרשומות ארכיוניות לעיתים קרובות משלבות ירידה בפלט זיהוי תווים אופטי, פריסות דפים מגוונות ויזואלית, שיטות קטלוג לא עקביות, ושמות, מקומות ומוסדות משתנים היסטורית. מגבלות אלו משפיעות לא רק על איכות השעתוק אלא גם על שליפה, סינון ושימוש חוזר באוספים דיגיטלייםבמורד הדרך 1,2,3,4,5,6,7.
מחקרים קיימים בבינה מלאכותית של מסמכים ושליפה ארכיונית שיפרו רכיבים בודדים כגון זיהוי תווים אופטי לאחר תיקון, סיווג תמונות-מסמך, נרמול מטא-דאטה, מידול נושאים, הטמעות, שליפה עצבית, ושיטות ממשל נתונים 8,9,10,11,12,13,14,15, 16,17,18,19,20,21,22,23,24,25. עם זאת, מערכות ארכיון רבות עדיין מעריכות רכיבים אלו בנפרד, מה שמקשה לקבוע האם תהליך עבודה משולב משפר את הגילוי בתנאי חיפוש ריאליסטיים. הפער המתודולוגי שמטופל כאן הוא היעדר פרוטוקול שניתן לשחזר וניתן לביקורת שמחבר מודולי טקסט, תמונה ומטא-דאטה לתוצאות שליפת בתהליך עבודה ארכיוני אחד.
המטרה המרכזית הייתה לבדוק האם תיקון זיהוי תווים אופטי, סיווג מסמכים חזותיים והעשרת מטא-דאטה מוגבלת בכללים מניבים שיפורים משלימים כאשר הם מוערכים מול אותו מדד שחזור.
השענו שהתנאי המולטימודלי המלא יעלה על כל תנאי חד-רכיבי, משום שגילוי ארכיוני תלוי באינטראקציה בין טקסט קריא, מבנה מסמך שניתן לפרש ויזואלית, ומטא-דאטה תיאורית ניתנת לחיפוש. תהליך העבודה תוכנן באופן שמרני: פלטים אוטומטיים יכלו להעשיר מדדי שחזור, אך תחזיות בביטחון נמוך סומנו לבדיקה במקום לשמש כתיאור ארכיוני סמכותי.
פרוטוקול
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
מחקר זה השתמש ברשומות ארכיוניות דיגיטליות ובשאילתות שליפת מדומות כיחידות ניתוח. מאגרי ארכיון עשויים להגביל גישה לרשומות רגישות או מוגבלות תרבותית. פעלו לפי כללי גישה למאגר, נהלי אבטחת נתונים מוסדיים ודרישות הסרת זיהוי לפני עיבוד או שיתוף רשומות. לא נוצרה פסולת כימית, ביולוגית, חדה, רדיואקטיבית או פסולת מעבדתית מסוכנת על ידי תהליך העבודה הדיגיטלי הזה.
עיצוב מחקר ובניית קורפוס
איור 1 מציג את תהליך העבודה המלא של המחקר, כולל בניית קורפוס, תיוג רפרנס, עיבוד מוקדם של תמונה, יצירת OCR ותיקון לאחר תיקון, סיווג חזותי, העשרת מטא-נתונים, בניית אינדקס, הערכת שחזור, ניתוח סטטיסטי ואריזת שחזוריות.
בניית הקורפוס בוצעה מ-15 בינואר עד 30 באפריל 2025, ואחריה תכנון מערכת וניפוי שגיאות בין 1 במאי ל-31 באוקטובר 2025. הקורפוס כלל 1,600 רשומות ארכיוניות דיגיטליות שנבחרו משמונה מחסנים המייצגים מערכות מדינה, עירוניות, דתיות, מוזיאונים, אוניברסיטאות ומערכות ספריות. מסגרת הדגימה סווגה לפי מחלקת מאגר ומסמכים כדי לשמור על הטרוגניות ארכיונית בין מכתבים בכתב יד, פנקסים, מפות, עיתונים, תמונות עם כיתובים, פוסטרים, ספרי רישום ותכתובות מוקלדת.
לכל רשומת מועמד, יומן הבחירה רשם את מזהה המאגר או האוסף, מזהה הקטלוג, מחלקת המסמך, התקופה ההיסטורית המשוערת, הקשר השפה הדומיננטית, פורמט התמונה הזמין, רזולוציית התמונה, מספר העמודים ושדות תיאוריים בסיסיים. הכללה דרשה את כל הדברים הבאים: מזהה קטלוג יציב; לפחות תמונת עמוד אחת ב-TIFF, JPEG או PNG; רזולוציית תמונת המקור של לפחות 150 DPI; תוכן טקסטואלי, טבלאי או מבני מסמכי קריא; והקצאה לאחת משמונה מחלקות המסמכים המוגדרות מראש. קריטריוני ההחרגה היו שכפולים מדויקים, דפים ריקים לאחור, תמונות שנחתכו עד כדי כך שיותר מ-30% משטח הטקסט חסר, ורשומות שנמצאו בלתי קריאות לאחר בדיקה ידנית.
מדד השליפה כלל 420 שאילתות קצרות בשפה טבעית שנוצרו בין 5 באוגוסט ל-20 באוגוסט 2025. יצירת השאילתות התבצעה לפי תבנית שניתן לשחזר: צורכי המידע של המועמדים נלקחו מאנשים, מוסדות, מקומות, טווחי תאריכים, עיסוקים, אירועים ונושאים אקטואליים; כל שאילתה נורמל ל-2–9 מילים; ורשומות רלוונטיות זוהו לפני השוואת המערכת. כל שאילתה הוערכה תחת חמישה תנאי שחזור, והניבו 2,100 תצפיות תנאי שאילתה תואמות.
תיוג עיון ובקרת איכות
תיוג המקורות בוצע בין 1 במאי ל-15 ביולי 2025 על ידי שלושה מעריצים: שני אנשי צוות ארכיון בעלי ניסיון בקטלוג תיאורי ואחד חוקר מדעי הרוח הדיגיטליים המנוסה בהערכת מסמכים היסטוריים. מדריך ההערות הגדיר מחלקות מסמכים, קטגוריות לקשר-שפה, תיבות תקופות היסטוריות, שדות שלמות מטא-דאטה, קטגוריות ישות בשם וכללים לבחירת אזורי הערכת OCR.
לצורך הערכת OCR, המערחים בחרו אזורים ייצוגיים הנושאים טקסט שכללו כותרות, שמות, תאריכים, מונחים מוסדיים, הערות שוליות, רשומות טבלאות, וכאשר קיימים, אזורי פריסה רועשים. כאשר עמוד הכיל מספר אזורי טקסט, האזור הנבחר היה חייב להיות רלוונטי לשחזור וחייב לכלול מספיק תווים לחישוב CER ו-WER. המחלוקות הופתרו תחילה באמצעות דיון בין שני המפרשים הראשיים; מקרים לא פתורים נפטרו על ידי חוקר מדעי הרוח הדיגיטליים.
בקרת איכות השתמשה בתת-קבוצה אקראית של 12% של רשומות. ההסכמה בין המפרשים לסוג המסמך הראשי הייתה כהן קאפה = 0.86, מה שתומך בהסכמה מהותית. יומן השיפוט שמר על התוויות המקוריות והסופיות, קטגוריית אי-ההסכמה וסיבת הפתרון כדי שמשתמשים עתידיים יוכלו לבדוק הגדרות מחלקות ומקרים קיצוניים.
עיבוד מוקדם של תמונה
כל התמונות עובדו ברמת הרשומה באמצעות Python 3.11.8 עם OpenCV 4.9.0, Pillow 10.3.0 ו-NumPy 1.26.4. כל עמוד קלט הומר לגווני אפור של 8 ביט, אלא אם הצבע נשא מידע סמנטי, כגון מפות, פוסטרים, חותמות או הערות מקודדות בצבעים. ההטיה הוערכה באמצעות פרופילי הקרנה וזיהוי קווי הוג; Deskewing הוחל רק כאשר זווית ההטיה האבסולוטית עלתה על 1.5 מעלות והוגבלה ל-8.0 מעלות כדי למנוע עיוות.
שיפור הניגודיות השתמש באקוליזציה אדפטיבית עם היסטוגרמות אדפטיבית מוגבלת ניגודיות עם clipLimit = 2.0 ו-tileGridSize = 8 × 8. מסנן חציוני עם גרעין 3 × 10−23 הוחל רק כאשר יחס רעש הרקע-רקע המשוער עלה על 0.35. תמונות שצולמו ב-150–299 dpi נדגמו מחדש ל-300 dpi לזיהוי תווים אופטי; תמונות שכבר היו ב-300 dpi ומעלה לא הוגדלו. לא נעשה שימוש בסופר-רזולוציה, שיקום גנרטיבי או הזיות תוכן.
דליפה דרך, כהיית הקצוות, מרקם נייר לא אחיד, חותמות שוליות, כתב יד, קווים מסודרים וגבולות טבלאות נשמרו אלא אם כן מנעו בחירת אזורי OCR. כלל זה שמר על ראיות ארכיוניות תוך סטנדרטיזציה מספקת של קלטי התמונה לצורך OCR וסיווג שניתן לשחזר.
יצירת בסיסים ב-OCR ותיקון לאחר
OCR בסיסי נוצר באמצעות Tesseract OCR 5.3.0. חבילת השפה הראשית נבחרה מתוך שפת הקטלוג והכתב הנראה; פענוח רב-לשוני הופעל כאשר שפת הקטלוג וסקריפט הדף לא התאימו. פלטי OCR אוחדו ברמת הרשומה ונשמרו עם מזהי עמודים, ביטחון OCR, קואורדינטות תיבת הגבול כאשר זמינות, וטקסט גולמי לפני תיקון.
תיקון לאחר OCR השתמש בהליך שמרני בן שלושה שלבים. ראשית, נורמליזציה ברמת תווים תיקנה בלבולים תכופים בזיהוי היסטורי, כולל ליגטורות, החלפות s/s-s ארוכות, פיסוק מקוטע והחלפות אותיות ספרתיות. שנית, תיקון ברמת הטוקן השתמש במועמדים מדורגים לפי מרחק עריכה ותדירות מתוך לקסיקון ייחודי לארכיון של שמות אישיים, שמות מקומות, מוסדות, מונחים מנהליים וגרסאות איות היסטוריות. שלישית, בדיקות רצף מבוססות כללים מאמתות ישויות ותאריכים בשם מול ראיות מהקשר ומטא-דאטה.
מחליפים התקבלו רק כאשר ביטחון התיקון האחורי עלה על 0.80; החלפת ישויות בשם דרשה ביטחון של לפחות 0.85. מועמדים מתחת לסף נשמרו כטקסט OCR אך סומנו לבדיקה. CER חושב כמרחק העריכה של לבנשטיין חלקי מספר התווים בתמלול ההפניות. WER השתמשה באותה נוסחה ברמת האסימון. שחזור ישות בשם חושב כישויות ייחוס שזוהו נכון, מחולקות לכל ישויות ההתייחסות באזור ההערכה הנבחר.
סיווג מסמך חזותי
מודול הסיווג הוויזואלי הקצה כל רשומה לאחת משמונה סוגי מסמכים ארכיוניים: מכתב בכתב יד, פנקס, מפה, עיתון, צילום עם כיתוב, פוסטר, ספר רישום והתכתבות מוקלדת. סוג המסמך החזוי שימש כאות שלילוף וסינון, ולא כתחליף סמכותי לקטלוג ארכיוני.
המודל יושם ב-PyTorch 2.2.2 וב-Torchvision 0.17.2 באמצעות עמוד שדרה EfficientNet-B3 מאומן מראש על ידי ImageNet. תמונות ממוזערות ברמת השיא שונו לגודל 384 על 384 פיקסלים. כדי להפחית דליפה, הרשומות חולקו לפי מאגר ומחלקת מסמכים לקבוצות אימון, אימות ובדיקות ביחס של 70:15:15, התואם לכ-1,120, 240 ו-240 רשומות.
האימון השתמש ב-AdamW עם קצב למידה התחלתי = 1 × 10-4, דעיכת משקל = 1 × 10−2, גודל אצווה = 16, החלקת תווית = 0.05, והפסקה מוקדמת כאשר אובדן האימות לא השתפר במשך חמש תקופות רצופות. הפיכה אופקית הושבת כי פריסות ארכיון מראות אינן ריאליסטיות. ההגברה הוגבלה לסיבוב מ-3- מעלות עד +3 מעלות ושינוי בהירות בטווח של ±10%.
אבחון מודלים ברמת אפוק מסוכם ב-20 שורות אימון, שכל אחת מהן כוללת אובדן אימון, אובדן אימות, דיוק אימון, דיוק אימות, מאקרו-F1, משקלל-F1, ROC-AUC ו-PR-AUC.
תהליך העשרת מטא-נתונים
העשרת מטא-דאטה נועדה לשפר את הגילוי תוך שמירה על שמרנות ארכיונית. ערכי הקטלוג הקיימים נשמרו אלא אם כן הכילו סתירה מפורשת, כגון תאריך בלתי אפשרי או סתירה מסוג מסמך שאושר הן על ידי OCR והן על ידי ראיות חזותיות. שדות העשרת המועמדים כללו כותרת מנורמלת, סוג מסמך, תאריך משוער, אזכורים למוסד, אזכורים גאוגרפיים, אזכורים לשמות פרטיים, כותרות נושא ומילות מפתח.
עדיפות הראיות הייתה לפי סדר קבוע: (1) מטא-נתונים קיימים של הקטלוג, (2) פלט OCR מתוקן, ו-(3) חיזוי חזותי מסוג מסמך. התאמת אוצר מילים מבוקרת שימשה לכותרות נושאים, והרחבת סמנטיקה של שכנים קרובים עם טרנספורמרים 2.7.0 שימשה רק כאשר דמיון הקוסינוס היה לפחות 0.72. נרמול תאריך דרש ביטחון של לפחות 0.85 או התאמה בין OCR למטא-נתונים. כל שדה שהתווסף אוטומטית שמר על המקור, הביטחון ומזהה הכללים שלו.
שלמות מטא-דאטה הוגדרה כמספר שדות הליבה התיאוריים המאוכלסים חלקי מספר שדות הליבה הרלוונטיים לרשומה זו. התאמת נושא לכותרת הוגדרה כנוכחות לפחות תווית נושא אחת עם אוצר מילים מבוקר, הנתמכת על ידי ראיות תוכן ברמת שיא ונחשבה רלוונטית לקטגוריית השאילתה.
בניית מערכת שליפה
נבנו חמישה אינדקסי שליפה כדי לבודד תרומות למודולים: אינדוקס בסיסי; תיקון זיהוי תווים אופטי בלבד; סיווג חזותי בלבד; העשרת מטא-דאטה בלבד; ואינטגרציה מולטימודלית מלאה. כל האינדקסים נבנו בתוכנת מנועי החיפוש המופיעה בטבלת החומרים (גרסה 8.11.1) ברמת שיא. פרמטרי BM25 היו קבועים ב-k1 = 1.2 ו-b = 0.75 לפני ההערכה.
אינדקס הבסיס השתמש במטא-דאטה מקורי ובטקסט OCR בסיסי. מצב ה-OCR החליף את ה-OCR הבסיסי ב-OCR מתוקן. המצב הוויזואלי הוסיף קודמים מסוג מסמך ושיפורי דירוג מודעים למחלקה. תנאי המטא-דאטה הוסיף שדות תיאוריים מועשרים. המצב הרב-מודלי המלא שילב OCR מתוקן, עדכונים חזותיים ומטא-דאטה מועשר. משקלי השדה נקבעו לפני הבדיקה: כותרת מנורמלת = 3.0, כותרות נושאים = 2.5, אזכורים של אדם ומוסד = 2.2, אזכורים למקום = 2.0, סוג מסמך = 1.8, טקסט גוף OCR מתוקן = 1.0, וטקסט גוף OCR בסיסי = 0.8, כאשר רלוונטי.
התאמת ביטוי מדויקת הופעלה עבור שאילתות מצוטטים. הרחבת השאילתות הותרה רק בתנאי העשרת מטא-דאטה ורב-מודליים מלאים, והוגבלה למילים נרדפות מבולטות וכותרות נושא מקובלות וכותרות נושא. יומני חיפוש נוצרו מ-25 באוגוסט עד 28 באוגוסט 2025, בסביבת לינוקס מכולת המופיעה בטבלת החומרים, עם זרעים קבועים ותצורות אינדקס קפואים.
עיצוב שאילתות ומדדי תוצאה
420 השאילתות ייצגו התנהגויות חיפוש ארכיוניות נפוצות ולא הנחיות מדד המבוססות רק על מילות מפתח. הנושאים כללו שמות אישיים, מוסדות, מקומות, תאריכים וטווחי תאריכים, עיסוקים, אירועים ונושאים נושאיים. כל שאילתה נשמרה עם הניסוח המנורמל, קבוצת רשומות היעד, קטגוריית נושא השאילתה, וציון הקושי.
רמת הקושי נמדדה לפני השליפה באמצעות עמימות המטרה, ספציפיות לקסיקלית ותדירות הביטוי הצפויה. ציונים משולבים מתחת ל-0.40 סווגו כקושי נמוך, ציונים בין 0.40–0.69 לקושי בינוני, וציונים של 0.70 ומעלה כקושי גבוה. שיפוטי רלוונטיות הושלמו לפני השוואת מערכות ואז נבדקו מול האוסף הסופי.
תוצאות השליפה כללו P@10, R@10, nDCG@10, זמן לתוצאות הרלוונטיות הראשונות ושיעור חיפוש מוצלח. P@10 היה החלק מהעשרת האלבומים המובילים שנחשב רלוונטי. R@10 היה החלק של כל השיאים הרלוונטיים הידועים שנאספו בעשירייה הראשונה. nDCG@10 השתמשו ברלוונטיות מדורגת כאשר הייתה קיימת וברלוונטיות בינארית אחרת. הזמן עד התוצאה הרלוונטית הראשונה נמדד מהגשת השאילתה ועד להופעת הרשומה הרלוונטית הראשונה בתוצאה המדורגת. חיפוש מוצלח הוגדר כלפחות תוצאה רלוונטית אחת מתוך עשרת הרשומות המובילות.
איסוף סטטיסטיקות
כל הניתוחים בוצעו באמצעות גרסאות התוכנה המפורטות בטבלת החומרים. תוצאות רציפות סוכמו כממוצע ± SD כאשר בערך סימטרי וכחציון עם טווח בין-רבעוני. התוצאות הקטגוריות סוכמו כספירות ואחוזים.
נורמליות ההבדלים הזוגיים הוערכה באמצעות מבחן שפירו-וילק וגרפים של התפלגות. תוצאות OCR ומטא-דאטה לפני/אחרי הושוו לבדיקות T זוגיות כאשר ההבדלים הזוגיים היו בערך תקינים ובדיקות דירוג חתום של וילקוקסון לעומת זאת. ביצועי הסיווג לפני ואחרי הכוונון המדויק הושוו באמצעות מבחן מקנמר על תוויות מזווגות נכונות/שגויות. תוצאות השליפה הרב-זרועיות שהותאמו הושוו למבחן פרידמן, ואחריו מבחני דירוג חתום וילקוקסון מותאמים על ידי הולם.
כל המבחנים הסטטיסטיים היו דו-זנביים, ו-P < 0.05 נחשב מובהק סטטיסטית. טווחי האמון הוערכו באמצעות 2,000 דגימות אתחול עם הזרע האקראי שנקבע ב-2025. ההשפעות דווחו כהבדלי ממוצע, יחס סיכויים תואמים או גודל השפעה מבוססי דרגה בהתאם לסוג התוצאה.
שחזוריות, היקף וזמינות משאבים
כל פרמטרי הצינור נקבעו לפני בדיקות השחזור. אף פרמטר לא אופטימיזם על מדד השחזור שהוחזק. קבצי קונפיגורציה, אוצר מילים מבוקר, טבלאות לקסיקונים, תבניות שאילתה, מיפוי שדות, הנחיות להערות, סקריפטים סטטיסטיים וסקריפטים ליצירת איורים נשמרו במערכת בקרת הגרסאות המופיעה בטבלת החומרים עם זרע אקראי 2025.
כדי לתמוך באימות עצמאי, חוברת נתוני המקור כוללת טבלה של 1,600 רשומות שאינה מזוהה עם 17 משתנים המשמשים לזיהוי תווים אופטי, מטא-דאטה וניתוחי סיווג ויזואליים. טבלה נגזרת 1, טבלה 2, טבלה 3, טבלה 4 וטבלה 5, סיכומי מקורות איור, הגדרות שאילתות מדד, סיכומי שיפוט רלוונטיות, תחליפים ביומן שליפה, אבחון אימונים, קטגוריות לקסיקונים, כללי מיפוי אוצר מילים, ושדות הנחיות להערות מסופקים כטבלאות או קבצי חומרים נפרדים להעלאה כאשר רלוונטי. חומרים שאינם יכולים להיות משותפים לציבור עקב מגבלות מאגר מיוצגים על ידי שדות מטא-דאטה שאינם מזוהים ושדות דגימה ניתנים לשחזור.
פרוטוקול זה מעריך גילוי ממוקד שליפה במקום את האמת של טענות היסטוריות. הוא אינו מחליף את הערכת הארכיונאי, הערכת המקור, סקירת פרטיות או כללי גישה ספציפיים למאגר.
תוצאות
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
תיקון OCR שיפר את התמלול, במיוחד ברשומות בכתב יד ובטבלאות
תיקון זיהוי תווים אופטי שיפר את איכות התמלול בכל שמונת מחלקות המסמכים הארכיוניים (n = 1,600 רשומות). ממוצע WER ירד מ-0.529 ± 0.172 ל-0.384 ± 0.123, עם שינוי זוגי ממוצע של −0.144 (רווח בר-סמך 95%, −0.149 ל-−0.139; וילקוקסון חתם בדירוג P < 0.001). ממוצע CER ירד מ-0.377 ± 0.126 ל-0.258 ±-0.086, עם שינוי זוגי ממוצע של −0.119 (רווח בר-סמך 95%, −0.123 ל-−0.116; וילקוקסון חתם בדירוג P <0.001). טבלה 2 מראה ש-WER בסיסי היה הגבוה ביותר עבור מכתבים בכתב יד, פנקסים וספרי רישום, מה שמעיד שהרשומות המורכבות ביותר מבחינה ויזואלית נשאו גם בנטל הזיהוי הראשוני הגדול ביותר.
לאחר התיקון, WER ירד בכל מחלקות המסמכים. הירידות הממוצעות הגדולות ביותר בזוגות WER התרחשו במכתבים בכתב יד (n = 262; −0.200; 95% CI, −0.213 עד −0.188), פנקסים (n = 263; −0.195; 95% CI, −0.206 עד −0.183), וספרי רישום (n = 194; −0.173; 95% CI, −0.187 עד −0.160). CER עקבה אחרי אותו דפוס, ותמכה בפרשנות שמודול הפוסט-תיקון הועיל בעיקר לרשומות בכתב יד, טבלאות ופריסה מעורבות.
שליחת ישות בשם השתפרה גם בכל סוגי המסמכים, כפי שמוצג בטבלת הסיכום. העליות הגדולות ביותר התרחשו במכתבים בכתב יד (0.302–0.440), פנקסים (0.336–0.471) וספרי רישום (0.369–0.504). ההתאמה המוקלדת הגיעה לשיא הגבוה ביותר לאחר תיקון (0.646), אך הרווח המוחלט שלה היה קטן יותר מכיוון שהזיהוי הבסיסי כבר היה חזק יותר עבור קבוצה זו. איור 2 מסכם את הקשר בין CER-WER ברמת השיא, את הקשר בין עוצמת כתב היד לתועלת התיקון, ואת השינוי בגילוי לאחר התיקון.
סיווג המסמכים החזותיים השתפר באופן כללי, אך שיפורי הביצועים היו לא אחידים בין המחלקות
סיווג המסמכים הוויזואליים השתפר בסך הכל לאורך מערך הבדיקות הכולל 1,600 רשומות. הדיוק בטופ-1 עלה מ-0.717 ל-0.796 (שינוי מוחלט, 0.079; מקנמר קי-בריבוע = 27.33; P < 0.001), וביטחון החיזוי הממוצע עלה מ-0.736 ± 0.131 ל-0.800 ± 0.108 (שינוי זוגי ממוצע, 0.064; רווח בר-סמך 95%, 0.057–0.071; בדיקת t זוגית P < 0.001). כפי שמוצג בטבלה 3, שבע מתוך שמונה הקטגוריות השתפרו לאחר כיוונון מדויק לארכיון, עם הרווחים הגדולים ביותר במפות, פוסטרים, עיתונים וספרי רישום.
ההתאמה המוקלדת לא השתפרה משמעותית לאחר כיוונון מדויק (0.796–0.791), מה שמרמז שהתכונות הוויזואליות הבסיסיות שלה כבר היו יציבות ושהליך האימון הוסיף מעט הפרדה נוספת לקטגוריה זו.
איור 3 מסכם את ביצועי סיווג המסמך הוויזואלי לפני ואחרי כיוונון מדויק לארכיון; חוברת הנתונים המקורית מפרטת 20 תקופות של אובדן ודיוק של אימון/רכבת, יחד עם סיכומי אבחון מאקרו-F1, משוקלל-F1, ROC-AUC ו-PR-AUC.
העשרת מטא-דאטה שיפרה את השלמות התיאורית בכל התקופות ההיסטוריות (n = 1,600 רשומות). השלמות הממוצעת עלתה מ-0.657 ± 0.125 ל-0.907 ± 0.070, עם שינוי זוגי ממוצע של 0.250 (רווח בר-סמך 95%, 0.243–0.257; וילקוקסון חתם בדירוג P < 0.001). כפי שמוצג בטבלה 4, שלמות הבסיס הייתה הנמוכה ביותר בשנים 1850–1879 ועלתה בתקופות מאוחרות יותר לפני ההעשרה. איור 4 מסכם את השיפור בהשלמת המטא-דאטה, בשדות המטא-דאטה החדשים לפי סוג המסמך, ובהישגים בהתאמת כותרות נושא לאורך תקופות היסטוריות.
לאחר ההעשרה, השלמות עלתה בכל תקופה היסטורית: 1850–1879 (n = 281; שינוי ממוצע, 0.207; רווח בר-סמך 95%, 0.191–0.223), 1880–1909 (n = 474; שינוי ממוצע, 0.236; רווח בר-סמך 95%, 0.223–0.248), 1910–1939 (n = 549; שינוי ממוצע, 0.277; רווח בר-סמך 95%, 0.265–0.288), ו-1940–1969 (n = 296; שינוי ממוצע, 0.263; רווח בר-סמך 95%, 0.247–0.279). המספרים הממוצעים של שדות מיושבים עלו גם הם בעקביות לאורך תקופות שונות.
ההתאמה בין נושא לכותרת השתפרה במקביל. שיעורי ההתאמה הבסיסיים נעו בין 64.3% ל-69.4%, בעוד שיעורי ההתאמה לאחר ההעשרה נעו בין 82.1% ל-85.4%. הרווח המוחלט הגדול ביותר התרחש בתקופה המוקדמת ביותר (דלתא = 0.178), מה שתומך בערך של העשרה שמרנית עבור רשומות עם תיאור התחלתי דל.
ביצועי השחזור השתפרו בכל המערכות המשודרגות, עם ההתקדמות החזקה ביותר תחת אינטגרציה מולטימודלית מלאה
יעילות השליפה השתפרה בכל תנאי שיפור ביחס לקו הבסיס, אך עוצמת השיפור השתנתה לפי זרוע המערכת (n = 420 שאילתות בנצ'מרק תואמו). תוצאות השליפה הכוללות מפורטות בטבלה 5. ביצועי הבסיס היו נמוכים: P@10 = 0.394, R@10 = 0.238, nDCG@10 = 0.392, זמן ממוצע לתוצאה הרלוונטית הראשונה = 156.079 שניות, ושיעור חיפוש מוצלח = 5.0% (21/420; רווח בר-סמך 95%, 3.3%–7.5%). איור 5 מסכם את ביצועי השחזור בחמשת זרועות המערכת הניסויית, כולל מדדי שליפה כלליים, שיעורי הצלחה ברמת הנושא ושכבות קושי השאילתה.
כל שלוש המערכות החד-רכיביות ביצעו ביצועים טובים יותר מהבסיס במצטבר. תיקון זיהוי תווים אופטי עלה P@10 ל-0.484, R@10 ל-0.346, ו-nDCG@10 ל-0.475, תוך קיצור הזמן לתוצאה הרלוונטית הראשונה ל-124.261 שניות והעלאת שיעור החיפוש המוצלח ל-30.2% (127/420; רווח סמך 95%, 26.0%–34.8%). הסיווג החזותי שנוצר P@10 = 0.490, R@10 = 0.302, nDCG@10 = 0.478, זמן ממוצע לתוצאה הרלוונטית הראשונה = 131.985 שניות, וקצב חיפוש מוצלח = 22.9% (96/420; רווח בר-סמך 95%, 19.1%–27.1%). העשרת מטא-נתונים השיגה את ביצועי השליפה החזקים ביותר ברכיב יחיד, עם P@10 = 0.507, R@10 = 0.347, nDCG@10 = 0.513, זמן ממוצע לתוצאה הרלוונטית הראשונה = 117.474 שניות, ושיעור חיפוש מוצלח של 38.3% (161/420; רווח בר-סמך 95%, 33.8%–43.1%).
המערכת הרב-מודלית המלאה תפקדה בצורה הטובה ביותר בכל נקודות הקצה של השחזור. P@10 עלתה מ-0.394 בבסיס ל-0.624, R@10 מ-0.238 ל-0.492, ו-nDCG@10 מ-0.392 ל-0.634. הזמן הממוצע לתוצאה הרלוונטית הראשונה ירד מ-156.079 שניות ל-58.485 שניות, ושיעור החיפוש המוצלח עלה מ-5.0% ל-95.5% (401/420; 95% CI, 93.0%–97.1%). ערכים אלו מתאימים לרווחים מוחלטים של 0.230 עבור P@10, 0.254 עבור R@10, ו-0.242 עבור nDCG@10.
השליפה הספציפית לנושא השתפרה גם היא תחת אינטגרציה מלאה של מולטימודל. שיעורי החיפוש המוצלח עלו בין אנשים, מוסדות, מקומות, עיסוקים, אירועים ונושאים, כאשר קטגוריית המקצוע הציגה את הרווח המעשי הגדול ביותר, כאשר שיעור ההצלחה הבסיסי שלה היה 0.0% ועלה ל-90.0% בתנאי מולטימודלי מלא. שאילתות שמות מקומות הציגו את הביצועים הבסיסיים החזקים ביותר אך עדיין נהנו מאינטגרציה מולטימודלית.
הרווחים הרב-מודליים השתנו בין שכבות המסמכים, התקופה והשפה
ניתוחי תת-קבוצות הראו כי הרווחים הרב-מודאליים התפזרו באופן רחב בין סוגי מסמכים, תקופות היסטוריות והקשרים לשוניים, אם כי גודל השיפור השתנה. הטרוגניות זו מצביעה על כך שיש להעריך את זרימת העבודה בתוך כל אוסף יעד ולא להניח שהיא מניבה רווחים אחידים. איור 6 מראה את ההטרוגניות של הישגים בשחזור רב-מודלי בין סוגי המסמך היעד, התקופה ההיסטורית וההקשר השפתי.
ברמת סוג המסמך, nDCG@10 השתפר בכל מחלקות היעד. תמונות עם כיתובים, מכתבים בכתב יד, מפות, פנקסים וספרי רישום הראו שיפור משמעותי, בעוד שהעיתונים והמכתבים המוקלדים השתפרו במידה צנועה יותר. דפוסים אלה מצביעים על כך שרשומות עם מטא-דאטה התחלתי חלש או מבנה חזותי מורכב נהנות בעיקר משילוב אותות טקסט, תמונה ומטא-דאטה.
ברמת התקופה ההיסטורית, R@10 עלה מ-0.175 ל-0.429 בשנים 1850–1879 והגיע ל-0.506 בשנים 1880–1909, 0.501 בשנים 1910–1939, ו-0.519 בשנים 1940–1969 תחת אינטגרציה מולטימודלית מלאה. הרווחים היו דומים בקנה מידה מוחלט בין תקופות, מה שמרמז כי העשרה וזיהוי מתוקן סייעו הן לרשומות מוקדמות והן לרשומות מאוחרות יותר עם מטא-דאטה בסיסית עשירה יותר.
תוצאות בהקשר השפה הראו דפוס דומה. P@10 במצב רב-מודלי מלא הגיע ל-0.607 עבור תקליטים מעורבים בלטינית, 0.628 באנגלית, 0.618 בצרפתית, 0.661 בגרמנית, ו-0.639 בפורטוגזית וספרדית. השיפור הגדול ביותר בדיוק התרחש עבור תקליטים מעורבים בכתב לטיני, שהיו בעלי דיוק בסיסי חלש ביותר.
דפוסים ברמת רכיב: תרומות משלימות ולא מיותרות
יחד, התוצאות מראות שרכיבי הפרוטוקול משלימים זה את זה ולא מיותרים. תיקון OCR שיפר את זיהוי הטקסט, סיווג חזותי הוסיף אותות מסוג מסמך מודעים למבנה, והעשרת מטא-דאטה הרחיבה את שכבת התיאור הניתנת לחיפוש. המצב המולטימודלי המלא הניב את הרווחים החזקים והעקביים ביותר בשחזור, ותמך במטרת המחקר לבדוק תהליך עבודה שניתן לביקורת ומבוסס שליפה לארכיונים דיגיטליים הטרוגניים.
ממצאים אלו תומכים במודל פרוטוקול שבו בינה מלאכותית רב-מודלית מחזקת את החיפוש הארכיוני תוך שמירה על הצורך בממשל מאגרים, מקור נתונים ואימות מומחים.
זמינות נתונים:
מאגר הנתונים הלא מזוהה של 1,600 רשומות ששימש לניתוחים הראשיים זמין בזנודו כ-data.xlsx (https://doi.org/10.5281/zenodo.20774456).
איור 1: זרימת עבודה ניתנת לשחזור לגילוי ארכיון רב-מודלי. (א) בניית קורפוס מרשומות ארכיון ברמת המאגר עם סינון הכללה/החרגה. (ב) תיוג מקורות ובקרת איכות, כולל סוג מסמך, אזורי ייחוס OCR, הקשר שפה, תקופה היסטורית ושלמות מטא-דאטה. (ג) עיבוד מוקדם של תמונה, יצירת OCR ותיקון לאחר תיקון, סיווג מסמכים חזותיים והעשרת מטא-דאטה שמרנית. (ד) בניית אינדקס, הערכת שליפה בחמישה זרועות, ניתוח סטטיסטי ואריזת משאבים. קיצורים: OCR, זיהוי תווים אופטי; CER, שיעור שגיאות תווים; WER, שיעור שגיאות מילים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.
איור 2: מבנה שגיאות זיהוי תווים אופטי ברמת הרשומה ויכולת גילוי לאחר תיקון. (א) CER בסיסי לעומת WER בסיסי על פני 1,600 רשומות ארכיון, צבועות לפי סוג מסמך עבור מחלקות מייצגות. (ב) קשר בין עוצמת כתב יד מותאמת לשינוי ב-WER לאחר תיקון; ערכים שליליים מצביעים על WER נמוך יותר לאחר תיקון. הקו המותאם והרצועה האפורה מציגים את המגמה הליניארית ורווח הביטחון של 95%. (ג) ציון גילוי ברמת הרשומה לפני ואחרי תיקון לפי סוג המסמך, המדגים שינויים לאחר התיקון בראיות הניתנות לחיפוש. קיצורים: CER, שיעור שגיאות תווים; WER, שיעור שגיאות מילים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.
איור 3: סיווג מסמך חזותי לפני ואחרי כיוונון מדויק לארכיון. (א) דיוק טופ-1 לפי סוג מסמך בבסיס ואחרי כיוונון עדין. (ב) התפלגויות ביטחון לתחזיות נכונות ושגויות בתנאי בסיס ואחרי הכיוונון. (ג) מטריצת ביצועים ברמת המחלקה המסכמת דיוק ברמה העליונה וממוצע ביטחון אחורי לפני ואחרי הכיוון. נתוני אבחון המודל כוללים 20 תקופות של עקומות אובדן/דיוק, מאקרו-F1, משוקלל-F1, ROC-AUC ו-PR-AUC. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.
איור 4: שלמות מטא-דאטה והתאמת נושא-כותרת לאחר העשרה שמרנית. (א) שלמות מטא-דאטה ברמת רשומה לפני ואחרי העשרה. (B) שדות מטא-דאטה חדשים לפי סוג מסמך. (ג) רווח בהתאמה בין נושא לכותרות בין תקופות היסטוריות. השלמות חושבה כמספר שדות הליבה הרלוונטיים המאוכלסים חלקי המספר הכולל של שדות הליבה הרלוונטיים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.
איור 5: ביצועי שליפה בחמשת זרועות המערכת הניסויית. (א) P@10, R@10, nDCG@10, זמן לתוצאה הרלוונטית הראשונה, וקצב חיפוש מוצלח לתיקון זיהוי תווים אופטי בסיסי, סיווג ויזואלי, העשרת מטא-דאטה ואינטגרציה מולטימודלית מלאה. (ב) תרשים בועה של קצב חיפוש מוצלח לפי נושא שאילתה וזרוע מערכת; הצבע מציין זרוע מערכת, וגודל הבועה מציין אחוז הצלחה. (C) P@10, R@10 ו-nDCG@10 בשכבות קושי של שאילה, בינוני וקשה. (D) תצוגת שיעור הצלחה חלופית ברמת הנושא המציגה את התפלגות החיפושים המוצלחים בין נושאי שאילתות וזרועות מערכת. קיצורים: P@10, דיוק ב-10; R@10, קריאה ב-10; nDCG@10, רווח מצטבר מופחת מנורמל ב-10. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.
איור 6: הטרוגניות של רווחי שליפה רב-מודליים בין תת-קבוצות ארכיוניות. (A) nDCG@10 לפי סוג מסמך יעד ותנאי שחזור. (ב) R@10 לפי תקופה היסטורית ותנאי שחזור. (C) P@10 לפי הקשר לשפת היעד ותנאי שחזור. התנאים הם קו בסיס, תיקון OCR, סיווג חזותי, העשרת מטא-נתונים, אינטגרציה מולטימודלית מלאה, OCR+טקסט, טקסט+ויזואלי+מטא-דאטה, ווויזואלי+מטא-דאטה. התרשים מדגיש כי הרווחים הרב-מודליים נפוצים אך אינם אחידים בין שכבות המסמכים, התקופה והשפה. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.
| סוג מסמך | n רקורדס | עמודים חציוניים | רשומות בכתב יד | קו בסיס ממוצע WER | קו בסיס ממוצע מטא-דאטה שלמות | קו בסיס ממוצע גילוי |
| (%) | ||||||
| מכתב בכתב יד | 262 | 2 | 95 | 0.729 | 0.648 | 68.2 |
| פנקס חשבונות | 263 | 7 | 63.5 | 0.679 | 0.674 | 72.2 |
| מפה | 102 | 1 | 2.9 | 0.457 | 0.552 | 74.1 |
| עיתון | 261 | 8 | 0.8 | 0.495 | 0.66 | 75.5 |
| צילום עם כיתוב | 179 | 1 | 1.1 | 0.374 | 0.601 | 73.6 |
| פוסטר | 87 | 1 | 0 | 0.413 | 0.571 | 74.8 |
| ספר הרישום | 194 | 10 | 18 | 0.616 | 0.703 | 71.3 |
| התכתבות מוקלדת | 252 | 3 | 4 | 0.315 | 0.689 | 76.4 |
טבלה 1: מאפייני האוסף הארכיוני לפי סוג מסמך. הטבלה מדווחת על מספר הרשומות, מספר העמודים החציוני, אחוז הרשומות המכילות כתב יד, ממוצע WER בסיסי, שלמות מטא-דאטה ממוצעת בסיסית, וציון גילוי בסיסי ממוצע לכל אחת משמונה מחלקות המסמך.
| סוג מסמך | גודל המדגם | CER | CER | WER | WER | ישות בשם זימון מחדש | ישות בשם זימון מחדש | ΔWER |
| (נ) | (קו בסיס) | (פוסט) | (קו בסיס) | (פוסט) | (קו בסיס) | (פוסט) | ||
| מכתב בכתב יד | 262 | 0.531 | 0.363 | 0.729 | 0.531 | 0.302 | 0.44 | −0.198 |
| פנקס חשבונות | 263 | 0.49 | 0.326 | 0.679 | 0.485 | 0.336 | 0.471 | −0.194 |
| מפה | 102 | 0.322 | 0.228 | 0.457 | 0.347 | 0.38 | 0.503 | −0.11 |
| עיתון | 261 | 0.354 | 0.256 | 0.495 | 0.381 | 0.436 | 0.558 | −0.114 |
| צילום עם כיתוב | 179 | 0.257 | 0.181 | 0.374 | 0.286 | 0.494 | 0.616 | −0.088 |
| פוסטר | 87 | 0.287 | 0.199 | 0.413 | 0.316 | 0.448 | 0.57 | −0.097 |
| ספר הרישום | 194 | 0.442 | 0.293 | 0.616 | 0.439 | 0.369 | 0.504 | −0.177 |
| התכתבות מוקלדת | 252 | 0.219 | 0.155 | 0.315 | 0.232 | 0.524 | 0.646 | −.083 |
טבלה 2: ביצועי OCR לפני ואחרי התיקון לפי סוג מסמך. CER ו-WER חושבו מול תמלולי ייחוס; קריאת ישות בשם חושבה לפי ישויות מסומנות ידנית של אדם, מקום, מוסד ותאריך. Delta WER הוא WER לאחר תיקון ה-WER פחות WER קו בסיס.
| סוג מסמך | n | דיוק, קו בסיס | דיוק, פוסט | ביטחון, קו בסיס | ביטחון, פוסט | Δאקוריה |
| מכתב בכתב יד | 262 | 0.615 | 0.645 | 0.616 | 0.655 | 0.03 |
| פנקס חשבונות | 263 | 0.707 | 0.749 | 0.725 | 0.767 | 0.042 |
| מפה | 102 | 0.765 | 0.902 | 0.801 | 0.899 | 0.137 |
| עיתון | 261 | 0.716 | 0.843 | 0.728 | 0.83 | 0.127 |
| צילום עם כיתוב | 179 | 0.815 | 0.869 | 0.824 | 0.89 | 0.054 |
| פוסטר | 87 | 0.771 | 0.903 | 0.792 | 0.889 | 0.132 |
| ספר הרישום | 194 | 0.687 | 0.793 | 0.701 | 0.787 | 0.106 |
| התכתבות מוקלדת | 252 | 0.796 | 0.791 | 0.804 | 0.82 | -0.005 |
טבלה 3: ביצועי סיווג מסמכים חזותיים לפני ואחרי כיוונון מדויק לארכיון. הטבלה מדווחת על גודל המדגם, דיוק ב-Top 1, ממוצע הביטחון האחורי ושינוי הדיוק לפי סוג המסמך. נתוני האבחון כוללים 20 שורות ברמת אפוק עם מקרו-F1, משוקלל-F1, ROC-AUC, PR-AUC, אובדן אימון, אובדן אימות, דיוק אימון ודיוק אימות.
| שלמות | שלמות | שדות מיושבים | שדות מיושבים | כותרת נושא משחק | כותרת נושא משחק | Δ שלמות | Δ כותרת נושא משחק |
| (קו בסיס) | (פוסט) | (קו בסיס) | (פוסט) | (קו בסיס) | (פוסט) | ||
| 0.534 | 0.868 | 4.274 | 8.584 | 0.643 | 0.821 | 0.334 | 0.178 |
| 0.607 | 0.898 | 4.838 | 8.709 | 0.672 | 0.841 | 0.291 | 0.169 |
| 0.68 | 0.927 | 5.426 | 9.095 | 0.686 | 0.849 | 0.247 | 0.163 |
| 0.686 | 0.922 | 5.48 | 8.953 | 0.694 | 0.854 | 0.236 | 0.16 |
טבלה 4: העשרת מטא-דאטה לפי תקופה היסטורית. שלמות היא היחס של שדות תיאוריים מרכזיים רלוונטיים המאוכלסים עבור רשומה; שדות מיושבים מדווחים כספירות ממוצעות; התאמת נושא לכותרת מצביעה על האם ראיות ברמת הרשומה תמכו לפחות בתווית נושא מבוקרת אחת.
| זרוע מערכת | n שאילתות | P@10 | R@10 | nDCG@10 | הגיע הזמן להיות רלוונטי לראשונה תוצאה | שיעור חיפוש מוצלח |
| (%) | ||||||
| קו בסיס | 420 | 0.394 | 0.238 | 0.392 | 156.079 | 5 |
| תיקון OCR | 420 | 0.484 | 0.346 | 0.475 | 124.261 | 30.2 |
| סיווג חזותי | 420 | 0.49 | 0.302 | 0.478 | 131.985 | 22.9 |
| העשרת מטא-דאטה | 420 | 0.507 | 0.347 | 0.513 | 117.474 | 38.3 |
| מולטימודלי מלא | 420 | 0.624 | 0.492 | 0.634 | 58.485 | 95.5 |
טבלה 5: ביצועי שליפה עבור חמשת זרועות המערכת הניסיוניות. P@10, R@10, nDCG@10, זמן לתוצאה הרלוונטית הראשונה וקצב חיפוש מוצלח חושבו על פני 420 השאילתות בתנאי התאמה (matched-Equation).
דיון
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
פרוטוקול זה מראה כי הגילוי בארכיונים דיגיטליים היסטוריים השתפר בעיקר כאשר תיקון OCR, הבנת מסמכים חזותיים והעשרת מטא-נתונים שמרנית הוערכו כרכיבי שליפה מחוברים ולא כשדרוגים טכניים מבודדים. הרווחים הגדולים ביותר ב-OCR התרחשו בחומרים בכתב יד, טבלאי ורישום, מה שתומך בערך של תיקון לאחר תיקון עבור מחלקות מסמכים שבהן הזיהוי הבסיסי חלש ביותר. במקביל, שגיאה שאריתית לאחר תיקון מראה שניקוי OCR אינו יכול להיחשב כתמלול סופי וחייב להישאר ניתן לביקורת.
תוצאות הסיווג החזותי דורשות גם פרשנות זהירה. כיוונון עדין שיפר מחלקות ייחודיות ויזואלית כמו מפות, פוסטרים, עיתונים וספרי רישום, אך הרווחים היו קטנים יותר במכתבים ובספרי חשבונות בכתב יד, שבהם הפריסות חופפות, וגבולות המעמדות פחות ניתנים להפרדה ויזואלית. גודל הקורפוס הקטן יחסית אומר שביצועי הסיווג צריכים להתפרש כהוכחה לפרוטוקול ולא כהוכחה לכך שמודל מולטימודלי ייצור יכול להיות מאומן מ-1,600 רשומות בלבד. אימות עתידי צריך להשוות בין EfficientNet-B3 לשנאי מסמכים, Vision Transformers, Swin Transformers, ConvNeXt ומודלים מולטי-מודליים של יסודות מסמכים 8,11,12,13,14,15,16,17,18.
העשרת מטא-דאטה תרמה משמעותית לשחזור על ידי הרחבת רשומות תיאוריות דלילות לשדות ניתנים לחיפוש, תוך שמירה על מידע מקור ומידע אמין. ממצא זה תואם את הצורך הארכיוני בנקודות גישה עשירות יותר, אך הוא גם מעלה סיכוני ממשל. העשרה אוטומטית יכולה להעצים שגיאות OCR, לנרמל שמות היסטוריים עמומים בצורה אגרסיבית מדי, או להכניס הטיה אם אוצר המילים המבוקר אינו שלם. מסיבה זו, זרימת העבודה משתמשת בספי אמון, רישום מקורות ודגלי ביקורת במקום החלפה אוטומטית מלאה של רשומות קטלוג.
הערכת השחזור מספקת ראיות להשפעות מודול משלימות, אך יש לה מגבלות. ההשוואה הנוכחית השתמשה בתנאי אבלציה בסיסיים ופנימיים של מודול; הוא לא השוו את המדרגות השליפה הצפופות עם אינטראקציה מאוחרת כמו ColBERT, שליפה היברידית דלילה-צפופה, דירוג מחדש עצבי, או מערכות יצירה מוגברות בשחזור 22,23,24. גישות אלו צריכות להיות מוסיפות במחקר עתידי כדי לקבוע האם הרווחים הרב-מודאליים שנצפו עדיין תחרותיים מול ארכיטקטורות השליפה הנוכחיות.
היישום דורש גם תשומת לב לדליפת נתונים, מגבלות חישוביות ויכולת הרחבה. העשרה השתמשה בפלטי זיהוי תווים אופטי, תחזיות חזותיות ומטא-נתונים קיימים, ולכן יש לשמור על חלוקת אימון/אימות/בדיקות והערכת שאילתות בנפרד מהחלטות העשרה. פריסות עתידיות צריכות לדווח על חומרה, זמן ריצה, שימוש בזיכרון, גודל אינדקס ועלות לכל 1,000 רשומות. גישות הדמיה-שחזור מעבודות ראייה ממוחשבת סמוכות, כולל מודלים רב-קנה מידה ומבוססי קשב, עשויות להשריש ניסויים מוקדמים עתידיים, אך יש לבדוק אותן בזהירות כי זרימות עבודה ארכיוניות אינן אמורות להזות או לשנות תוכן ראייתי26,27.
בסך הכול, זרימת העבודה מובנת בצורה הטובה ביותר כפרוטוקול גישה שניתן לשחזור ולא כתחליף לתיאור ארכיוני. בינה מלאכותית רב-מודלית יכולה לשפר גילוי כאשר הפלטים שלה מוגבלים, מתועדים ונבדקים, אך הארכיונאים נשארים חיוניים להערכת מקור, החלטות ממשל גישה ופרשנות של רשומות מורכבותהיסטורית 21,25.
מסקנות:
מחקר זה בדק האם תיקון זיהוי תווים אופטי, סיווג מסמכים חזותיים והעשרת מטא-דאטה שמרנית יכולים לשמש כמרכיבים משלימים בארכיונים דיגיטליים היסטוריים. הפרוטוקול שיפר את התמלול, הסיווג, שלמות המטא-דאטה וביצועי השחזור המצטברים, תוך שמירה על ספים מפורשים, רישום מקורות ואמצעי הגנה של סקירה אנושית. לכן, יש להשתמש בזרימת העבודה כפרוטוקול תמיכה נגיש לביקורת, ולא כתחליף לשיקול דעת ארכיבאי או ממשל מאגר.
גילויים
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
למחברים אין מה לחשוף.
תודות
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
המחברים מודים בכנות לשני אנשי הצוות המנוסים בארכיון ולחוקר המדעי הרוח הדיגיטליים המקצועי על עזרתם היקרה בהערות טקסט ובקרת איכות. מחקר זה נתמך כלכלית על ידי תוכנית פרויקט המדע והטכנולוגיה של ארכיון מחוז ג'יאנגסו (מענק מס' 2024-9) לבניית מערכת ארכיונים אוראלית מבוססת דיבור חכמה, ועל ידי תוכנית פיתוח המדע והטכנולוגיה של מחוז ג'יאנגסו לרפואה סינית מסורתית (מענק מס' MS2025025) ללימוד הירושה וההתפתחות של בתי הספר לרפואה הסינית הסינית מנקודת מבט ארכיונית.
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| Python | קרן תוכנת Python | v3.11.8; https://www.python.org/ | סקריפט זרימה, עיבוד נתונים, תיקון פוסט של זיהוי תווים אופטי ותמיכה סטטיסטית |
| R | קרן R לחישוב סטטיסטי | v4.3.3; https://www.r-project.org/ | ניתוח סטטיסטי ויצירת דמויות סופיות |
| Tesseract OCR | פרויקט Tesseract OCR | v5.3.0; https://github.com/tesseract-ocr/tesseract | יצירת זיהוי תווים אופטי בסיסי |
| חבילות שפה של Tesseract | פרויקט Tesseract OCR | חבילות שפה ספציפיות למחקר; https://github.com/tesseract-ocr/tessdata | פענוח זיהוי תווים אופטי ראשוני ומעורב-שפות |
| OpenCV | צוות OpenCV | v4.9.0; https://opencv.org/ | הסרת הטיה, אומדן רעש ועיבוד מוקדם של תמונות |
| Pillow | תורמי ספריית התמונות של Python | v10.3.0; https://python-pillow.org/ | קלט/פלט תמונות ונורמליזציה של פורמט |
| NumPy | מפתחי NumPy | v1.26.4; https://numpy.org/ | חישוב מערכים לעיבוד תמונות ומטריקות |
| pandas | צוות הפיתוח של pandas | v2.2.2; https://pandas.pydata.org/ | טיפול בנתונים טבלאיים וייצוא סיכומים |
| SciPy | מפתחי SciPy | v1.13.1; https://scipy.org/ | מבחנים סטטיסטיים וכלי חישוב מספריים |
| statsmodels | מפתחי statsmodels | v0.14.2; https://www.statsmodels.org/ | מודלים סטטיסטיים ותמיכה בהשוואות זוגיות |
| scikit-learn | מפתחי scikit-learn | v1.4.2; https://scikit-learn.org/ | מדדי סיווג, אבחונים ROC/PR וכלי אימות |
| rapidfuzz | Max Bachmann ותורמים | v3.9.0; https://github.com/rapidfuzz/RapidFuzz | דירוג מועמדים בעזרת מרחק עריכה לתיקון זיהוי תווים אופטי |
| spaCy | Explosion AI | v3.7.4; https://spacy.io/ | עיבוד ישויות ממוינות עם טבלאות לקסיקון מותאמות אישית |
| PyTorch | קרן PyTorch | v2.2.2; https://pytorch.org/ | אימון מסווג מסמכים חזותיים |
| torchvision | קרן PyTorch | v0.17.2; https://pytorch.org/vision/ | יישום EfficientNet-B3 ותמורות תמונות |
| בסיס EfficientNet-B3 | משקלות מוכוונים מראש של torchvision / ImageNet | EfficientNet-B3; https://pytorch.org/vision/stable/models/efficientnet.html | בסיס לסיווג מסמכים חזותיים |
| sentence-transformers | UKP Lab / מערכת האקולוגית של Hugging Face | v2.7.0; https://www.sbert.net/ | הרחבה סמנטית עבור מועמדים עם אוצר מילים מבוקר |
| תוכנת מנוע חיפוש | Elastic | Elasticsearch v8.11.1; https://www.elastic.co/elasticsearch | אינדקס, אחזור ודירוג של BM25 |
| מנוע מיכולות | Docker Inc. | Docker v26.1.1; https://www.docker.com/ | סביבת אחזור מכולות |
| מערכת הפעלה לינוקס | Canonical | Ubuntu 22.04 LTS; https://ubuntu.com/ | סביבת הפעלה קבועה להפעלות אחזור |
| מערכת בקרת גרסאות | פרויקט Git | Git v2.44.0; https://git-scm.com/ | בקרת גרסאות עבור תצורה, אוצר מילים, סקריפטים וקוד דמויות |
| ggplot2 | tidyverse | v3.5.1; https://ggplot2.tidyverse.org/ | עיבוד דמויות מבוסס R |
| Matplotlib | מפתחי Matplotlib | v3.8.4; https://matplotlib.org/ | ויזואליזציות משלימות וגרפים להבטחת איכות |
| הנחיות ביצוע אנוטציות | מחברים | 5 חלקי אנוטציות; 8 תוויות סוגי מסמכים; אזורי OCR; תוויות ישויות; שיפוטי רלוונטיות; כללי פסיקה | הגדרות עבור סוגי מסמכים, אזורי OCR, ישויות, שיפוטי רלוונטיות ופסיקה |
| אוצר מילים ספציפי לארכיון | מחברים | 6 קטגוריות אוצר מילים: גרסאות של אנשים, שמות מקומות, שמות מוסדות, דפוסי תאריכים, מונחים מינהליים, קיצורים | שמות, מקומות, מוסדות, מונחים מינהליים ווריאציות איות |
| מיפוי אוצר מילים מבוקר | מחברים / מאגרי ארכיון | 5 כללי מיפוי המקשרים ישויות OCR, סיווג ויזואלי, מילות מפתח של כותרת, כיסוי תאריכי ונושא שאילתה לשדות מטא נתונים | התאמה של כותרת נושא ורחבה סמנטית |
| קבוצת שאילתות מדד | מחברים | 420 שאילתות מדד; 6 נושאי שאילתות; 3 רמות קושי; 8 סוגי מסמכי יעד; 4 תקופות היסטוריות; 6 הקשרים לשוניים | מדד אחזור תואם על פני חמישה זרועות מערכת |
| שיפוטי רלוונטיות | מחברים |
מקורות
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
- Xu Y, et al. LayoutLM: pre-training of text and layout for document image understanding. Presented at: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; Virtual Event; 2020:1192-1200. https://doi.org/10.1145/3394486.3403172.
- Aske K, Giardinetti M. (Mis)matching metadata: improving accessibility in digital visual archives through the EyCon project. J Comput Cult Herit. 2023;16(4):1-20. doi:10.1145/3594726.
- Jaillant L, Aske K. Are users of digital archives ready for the artificial intelligence era Obstacles to the application of computational research methods and new opportunities. J Comput Cult Herit. 2023;16(4):1-18. doi:10.1145/3631125.
- Sugimoto S. Digital archives and metadata as critical infrastructure to keep community memory safe for the future: lessons from Japanese activities. Arch Manuscr. 2014;42(1):61-72.
- Du L, Le B, Honig E. Probing historical image contexts: enhancing visual archive retrieval through computer vision. J Comput Cult Herit. 2023;16(4):84. doi:10.1145/3631129.
- Michalak H, Okarma K. Robust combined binarization method of non-uniformly illuminated document images for alphanumerical character recognition. Sensors. 2020;20(10):2914. doi:10.3390/s20102914.
- Kettunen K, et al. Optical character recognition quality affects subjective user perception of historical newspaper clippings. J Doc. 2023;79(7):137-156.
- Huang Y, et al. LayoutLMv3: pre-training for document AI with unified text and image masking. Presented at: Proceedings of the 30th ACM International Conference on Multimedia; Lisbon, Portugal; 2022:4083-4091. https://doi.org/10.1145/3503161.3548112.
- Blei DM, Ng AY, Jordan MI. Latent Dirichlet allocation. J Mach Learn Res. 2003;3:993-1022.
- Mikolov T, et al. Distributed representations of words and phrases and their compositionality. Presented at: Advances in Neural Information Processing Systems; Lake Tahoe, NV; 2013:3111-3119. https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.
- Harley AW, Ufkes A, Derpanis KG. Evaluation of deep convolutional nets for document image classification and retrieval. Presented at: 13th International Conference on Document Analysis and Recognition; Tunis, Tunisia; 2015:991-995. https://doi.org/10.1109/ICDAR.2015.7333910.
- Alghamdi T, Snoussi S, Hsairi L. Arabic document classification by deep learning. Int J Adv Comput Sci Appl. 2021;12(10):34-40.
- Afzal MZ, et al. Deepdocclassifier: document classification with deep convolutional neural network. Presented at: 13th International Conference on Document Analysis and Recognition; Tunis, Tunisia; 2015:1111-1115. https://doi.org/10.1109/ICDAR.2015.7333933.
- Tan M, Le QV. EfficientNet: rethinking model scaling for convolutional neural networks. Presented at: Proceedings of the 36th International Conference on Machine Learning; Long Beach, CA; 2019:6105-6114. https://proceedings.mlr.press/v97/tan19a.html.
- Reimers N, Gurevych I. Sentence-BERT: sentence embeddings using Siamese BERT-networks. Presented at: Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing; Hong Kong, China; 2019:3982-3992. https://doi.org/10.18653/v1/D19-1410.
- Devlin J, Chang MW, Lee K, Toutanova K. BERT: pre-training of deep bidirectional transformers for language understanding. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; Minneapolis, MN; 2019:4171-4186. https://doi.org/10.18653/v1/N19-1423.
- Wei Y, et al. Cross-modal retrieval with CNN visual features: a new baseline. IEEE Trans Cybern. 2017;47(2):449-460.
- He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. Presented at: IEEE Conference on Computer Vision and Pattern Recognition; Las Vegas, NV; 2016:770-778. https://doi.org/10.1109/CVPR.2016.90.
- Beshirov A, et al. Post-OCR text correction for Bulgarian historical documents. Int J Digit Libr. 2025;26(1):4. doi:10.1007/s00799-025-00415-x.
- Baltrušaitis T, Ahuja C, Morency LP. Multimodal machine learning: a survey and taxonomy. IEEE Trans Pattern Anal Mach Intell. 2019;41(2):423-443.
- Cushing AL, Osti G. "So how do we balance all of these needs": how the concept of AI technology impacts digital archival expertise. J Doc. 2023;79(7):12-29.
- Thakur N, et al. BEIR: a heterogeneous benchmark for zero-shot evaluation of information retrieval models. Presented at: Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track; Virtual Event; 2021. https://openreview.net/forumid=wCu6T5xFjeJ.
- Khattab O, Zaharia M. ColBERT: efficient and effective passage search via contextualized late interaction over BERT. Presented at: Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval; Virtual Event, China; 2020:39-48. https://doi.org/10.1145/3397271.3401075.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-9474.
- Wilkinson MD, et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016;3:160018. doi:10.1038/sdata.2016.18.
- Senussi MF, Kang HS. Occlusion removal in light-field images using CSPDarknet53 and bidirectional feature pyramid network: a multi-scale fusion-based approach. Appl Sci. 2024;14(20):9332. doi:10.3390/app14209332.
- Senussi MF, et al. U2-LFOR: a two-stage U2 network for light-field occlusion removal. Mathematics. 2025;13(17):2748. doi:10.3390/math13172748.
הדפסות חוזרות והרשאות
בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה
בקש הרשאה