מחקר על הערכה חזותית של מיומנויות הנדסיות ביישומי בריאות בהתבסס על מידול תלת-ממדי בעזרת בינה מלאכותית

סיכום

מחקר זה מציג מתודולוגיה רב-מודלית המונעת על ידי בינה מלאכותית למדידה אובייקטיבית של מיומנויות הנדסה במידול תלת-ממדי רפואי, המשלבת סמנים גיאומטריים, התנהגותיים וקוגניטיביים. מיזוג בייסיאני עם אנליטיקה ויזואלית בזמן אמת מאפשר דירוג מיומנויות מדויק שאומת במגוון רחב של משימות ורמות מיומנות משתתפים.

תקציר

המודלים התלת-ממדיים בסיוע בינה מלאכותית (AI) הפכו למרכזיים במערכת הבריאות המודרנית, אך התחום עדיין חסר דרך חוזרת וניתנת להרחבה להערכת מיומנות הנדסית למודלים דיגיטליים קליניים. בדיקות איכות קיימות נוטות להתמקד ביציאות הרשת הסופיות מבלי להתחשב בזרימת המידול, בהתנהגות המפעיל ובאינטראקציות עם סיוע בינה מלאכותית. פער זה מעכב את השחזוריות, ההכשרה היעילה ומגביל את עמידה ברגולציה. עבודה זו מציעה את מסגרת האנליטיקה הוויזואלית הראשונה מקצה לקצה, שנועדה למדוד ולתקשר מיומנות הנדסית במהלך משימות מידול תלת-ממדי ממוקדות בריאות. המסגרת המוצעת מגדירה מבנה מיומנות ספציפי לתחום הספציפי, החל מדיוק גיאומטרי ועד מיומנות תפעולית ויכולת התאמה קוגניטיבית, ומכמת ממדים אלו באמצעות סט של מדדים התנהגותיים, גיאומטריים ופיזיולוגיים ניתנים לפרשנות. היא משלבת, בתוך ארכיטקטורת ארבע שכבות, לכידת נתונים רב-מודליים, חילוץ תכונות בזמן אמת באמצעות מודלים קלים של למידה עמוקה, מיזוג ראיות בייסיאני להערכת מיומנות רציפה, ומודולים של משוב חזותי אינטואיטיביים. המערכת שומרת על כיול לכלים חדשים ולתרחישי מידול באמצעות מנגנון למידה פעילה מקוון שממזער את דרישות ההערות המומחים. המסגרת נבדקה עם 60 משתתפים שביצעו שתי משימות מידול קלינית ריאליסטיות בנוגע לעיצוב שתלים אורתופדיים ושחזור כלי דם. התוצאות הראו הסכמה חזקה עם הערכות המומחים, הבחנה ברורה בין רמות מיומנות ותחזית משמעותית של איכות המודלים העתידית. פייתון שימשה למשימות קורלציה, רגרסיה, בדיקות תוקף והדמיה, בהתאמה. בדיקות השימושיות הצביעו על קבלה גבוהה; המשתתפים העריכו מאוד את הבהירות של המשוב הוויזואלי שתמך בשיפור מונחה עצמי. בסופו של דבר, המסגרת המוצעת הזו משנה את הערכת המידול התלת-ממדי מתוצאה סטטית במקטע לסקירה דינמית וממוקדת תהליך, הנתמכת על ראיות רב-מודליות. התוצאה היא פתרון פרגמטי, ניתן לפענוח וניתן להרחבה להדרכה, הסמכה ופיקוח רגולטורי על תהליכי עבודה תלת-ממדיים קריטיים לבריאות, והבסיס לשיתוף פעולה עתידי וניתוח מיומנויות בין אדם לבינה מלאכותית בעיצוב רפואי.

מבוא

הקבלה המהירה של מידול תלת-ממדי מונע בינה מלאכותית במערכת הבריאות משנה את אופן יצירת שתלים, מדריכים ושחזורים אנטומיים, אך התחום עדיין חסר שיטה אמינה להערכת המיומנות ההנדסית שמאחורי מודלים אלו. הפרקטיקה הדומיננטית כיום נשענת במידה רבה על בדיקות מוצר סופי, שלמרות שהן שימושיות לחשיפת שגיאות גיאומטריות, אינן מעריכות את תהליך המידול, את האינטראקציה בין המשתמש לבינה מלאכותית, או את קבלת ההחלטות הרגעית ביצירתן. כתוצאה מכך, צוותים קליניים אינם יכולים לעיתים קרובות לקבוע אם מודל נוצר באמצעות תהליכים מיומנים וחוזרים או באמצעות ניסוי וטעייה^{מוצלחת 1}. הפער הזה מתגלה כבעל חשיבות גוברת. בתי חולים, רגולטורים ותוכניות הדפסה בתלת-ממד דורשים כיום הוכחה לאיכות עקבית של כל תהליך העבודה, ולא רק על רשת סופית נכונה, כי שגיאות במידול יכולות להשפיע על בטיחות ניתוחית, התאמת המכשיר ויכולת המעקב אחר הייצור. אין שיטה כיום ללכידת (או חישוב) מיומנות מידול בצורה משולבת, שיטתית וניתנת להרחבה, הכוללת את ההיבטים ההתנהגותיים, הקוגניטיביים והפרוצדורליים של מיומנות המידול. זו המניע המרכזי למאמר² הנוכחי, אך^{לא הוצעה} הגדרה תפעולית ל"מיומנות זרימת עבודה" למידול מרוכז באנטומיה ובבינה מלאכותית 3. הפער בין ציפיות רגולטוריות לפרקטיקה יומיומית הוא המוטיבציה הראשונה לעבודה הנוכחית. מניע שני הוא פדגוגי. סטארט-אפים בתחום הטכנולוגיה הרפואית ובתי חולים אוניברסיטאיים מאמנים חדשים על ידי שילוב עם מודליסטים בכירים למשך 6-18 חודשים. הגישה יעילה אך אינה מתרחבת: הבסיס העולמי המותקן של מושבי CAD רפואיים מבוססי בינה מלאכותית גדל ב-340% בין 2020 ל-2024, בעוד שמאגר המנטורים המוסמכים נותר שטוח⁴. מערכת ניתוח חזותי שיכולה לצפות, לאבחן ולאמן בזמן אמת תנתק את קצב ההכשרה מזמינות המנטורים ותקצר את עקומת הלמידה עבור מתחילים לא מסורתיים כמו רדיוגרפים או אחיות שמבצעים יותר ויותר סגמנטציה בחזית.

שלישית, יש טיעון מדעי קוגניטיבי. מידול רפואי הוא וריאציה עתירה של פתרון בעיות חזותי, המשלבת חשיבה מרחבית, ידע אנטומי ומיומנות תוכנה. הבנת האופן שבו המשאבים הללו מתוזמרים, מתי הם מתפרקים, ומתי הם מועברים לידי בינה מלאכותית דורשת לכידת אותות עין, יד ופיזיולוגיה רגע אחר-רגע. אותו זרם נתונים שמבהיר את המומחיות האנושית יכול לשמש גם להערכת המומחיות האנושית, וליצור לולאה חיובית בין מחקר ליישום. למרות ספרות עשירה על (i) הערכת מיומנות פרוצדורלית בכירורגיה ו-(ii) מדדי איכות גיאומטריים לרשתות CAD⁵, הצומת בין ההערכה הדו-ויזואלית של מיומנות הנדסית במודלים תלת-ממדיים ממוקדי בריאות בסיוע AI עדיין לא נחקר. בפרט, רובריקות הערכה קיימות חסרות מבנה מיומנות ייחודי לתחום ולכן מטפלות בתכונות קריטיות לאנטומיה, כגון זוויות פיצול כלי דם, בדומה לתכונות מכניות כלליות, כמו חורי בורגים. מגבלות מבוססות אנטומיה, כגון נקבוביות מילוי טרבקולרית או גבולות עקמומיות אוסטאוטומיה, חסרות מפונקציות הניקוד. לגבי חישה מקוטעת, מחקרי לכידת תהליכים ב-CAD, סימולציה כירורגית או משחקי VR לעיתים נדירות מסנכרן קינמטיקה, מבט, פיזיולוגיה וקול ברזולוציה תת-שנייה⁶. כתוצאה מכך, אימות בין-מודאלי אינו אפשרי, והערך הנוסף של כל ערוץ נשאר לא ידוע⁷. לגבי ניקוד סטטי, כלים קיימים בדרך כלל מייצרים תווית בינארית של מעבר/כישלון לאחר הסשן. הם חסרים שיטה עקרונית לביטוי אי-ודאות או לעדכן אמונות לגבי כשירות הלומד ככל שמגיעים ראיות חדשות – דרישה קריטית לפרוטוקולי הסמכה בייסיאניים⁸. לבסוף, בנוגע לאי-רציפות משוב, גם כאשר נאספים נתונים עשירים, הם לעיתים נשמרים לסקירה לאחר מכן או מוצגים כעקומות גולמיות. שכבת ויזואלית מותאמת לתפקיד, מותאמת לתיאוריה, שממפה אותות ברמה נמוכה לייעוץ מעשי בזמן אמת אינה קיימת כיום ^9,10. ארבעת החסרונות הללו מתורגמים לכאב מעשי: 30% מהמדריכים האנטומיים המודפסים בתלת-ממד עדיין דורשים עיבוד ידני, וה-FDA מזמן 2-3 אצוות שתלים ייעודיות למטופל ברבעון כי המהנדס המקורי לא הבין נכון את הסבילות¹¹. לכן נדרש מסגרת מקצה לקצה שסוגרת את הלולאה מבחישה רב-מודלית למשוב ניתן לפענוח.

מודלים תלת-ממדיים רפואיים שונים מ-CAD תעשייתי בשלושה מובנים שמשפיעים ישירות על הערכת מיומנויות: גאומטריה אנטומית אינה פרמטרית, סבילות לשגיאות קרובה לאפס, ומעקב רגולטורי הוא חובה¹². הפרדיגמה הדומיננטית להערכה היא עדיין סקירת מומחים מסכמת של רשת פוליגונלית סופית או קובץ STL. רובריקות טיפוסיות בוחנות סטייה גאומטרית מהתבנית הסטנדרטית הזהב, מניפולדות טופולוגית, ונוכחות של נקודות ציון שהוגדרו על ידי רופא. מכיוון שהבדיקה ידנית, ה-κ של המעריך כהן לעיתים רחוקות עולה על 0.65¹³. פלטפורמות מסחריות כמו Mimics Innovation Suite ו-3D Slicer מספקות דגלי מעבר וכישלון לאיכות רשת, אך הדגלים דטרמיניסטיים (יחס גובה-רוחב משולש, פנים מצטלבות) ומתעלמים ממסלול המידול האמיתי¹⁴. ויזואליזציה תלת-ממדית מונחית בינה מלאכותית משפרת את ההבנה האנטומית, אך שימוש יעיל תלוי מאוד במיומנות המידול של המפעיל. בעוד ש-VDR מספק תמונות וולומטריות מדויקות, אין שיטה מובנית להערכת האופן שבו משתמשים מפרשים, משפרים או מעבדים מודלים אלו. מחקר זה מתמודד עם פער זה על ידי הערכת מיומנות במידול תלת-ממדי בעזרת בינה מלאכותית¹⁵. המחברים מקליטים אירועי גלילה וקריאה לכלים יחד עם קואורדינטות סמן תלת-ממד בתדר 30 הרץ. הם משתמשים במקודד אוטומטי לזיכרון קצר טווח ארוך (LSTM) כדי לזהות "מסלולי כלים לא יעילים" ב-CAD מכני, ומשיגים ציון F1 של 0.81 מול תוויות אנושיות. בהרחבת הניתוח לתשומת לב חזותית, מערך הנתונים TAP-3D¹⁶ מכיל נתוני מבט מ-120 מהנדסים שביצעו תרגילי Solid Works. רצפי קיבוע סקאדה מקודדים כ-128-D ווקטורים word2vec; אשכולות חושפים חמש אסטרטגיות ויזואליות מובחנות עם קורלציה משמעותית לזמן המידול (r = 0.73). מעבר למדדי אינטראקציה עם משתמשים, מנדל, א. וגוש, א. ^ר.17 מעריכים מאפיינים מכניים של פיגומים מורכבים בהנדסת רקמות באמצעות CNNים תלת-ממדיים שהוכשרו לטופוגרפיות דיגיטליות תלת-ממדיות שמקורן במודלים^{CAD 17}. הגישה חוזה במדויק את התנהגות הפיגומים ומציעה מסלול תכנון מהיר יותר בעזרת בינה מלאכותית למבנים נקבוביים ומטא-חומריים. עם זאת, קצב השחזור של תחזית זו מושפע מהמגוון של מאגר הנתונים, במיוחד בגאומטריות לא סדירות במיוחד או פגמים בייצור.

עבודות עדכניות של שונפלדט, נ., הנקוק, פ. ובירט, ג'.¹⁸ הרחיב את לכידת הנתונים לכלול פרוטוקולים קוליים ופרוטוקולים של חשיבה בקול, במיוחד על ידי תמלול פרשנות מילולית להטמעות BERT 200-D כדי לקשר אותם להצלחה בניפוי שגיאות במשימות תוכנה¹⁸. למרות שמומחי מודלים רפואיים מדברים פחות ממתכנתים, הקלטות פיילוט במעבדה שלנו מראות שאמירות כמו "הרכס הזה נראה רועש" חופפות ל-40% מאירועי הביטול שלאחר מכן, מה שמרמז על ערך חיזוי. מחקרים אלו מראים שניתן ללכוד נתונים פרוצדורליים באופן לא מורגש, וכי מודלים של למידת מכונה יכולים למפות את הנתונים למבני ביצועים. עם זאת, אף אחד מהם לא מתמקד במודלים תלת-ממדיים ספציפיים לבריאות, שבהם שונות באנטומיה וסיוע בינה מלאכותית מוסיפים שכבות נוספות של מורכבות. אנליטיקה ויזואלית אומצה באופן נרחב למשוב מעצב בסימולציות ניתוחים והכשרה רובוטית. מערכת MiEye¹⁹ מכסה מפות חום שגיאות צבעוניות על וידאו לפרוסקופי מוקלט; המתאמנים משתפרים ב-26% מהר יותר מאשר עם משוב בינארי. לחינוך ב-CAD, צ'ו, י. ה. ואחרים.²⁰ להציע גרף רדאר שמבדיל בין מדדי תלמידים (ספירת תכונות, זמן בנייה מחדש, שגיאות בנייה מחדש) לבין אחוזוני הכיתה; תלמידים עם גישה לגרף מראים עלייה של 0.35 בסטיית התקן בציוני לאחר המבחן. הדמיה בזמן אמת עדיין לא נחקרת. קים, איי.-ג'יי. וקוטיינה, ה. ה.²¹ מציגים נתונים קינמטיים חיים כרצועות שקופות במציאות מדומה, אך המדד שלהם הוא טעות מיקום בלבד; העומס הקוגניטיבי לא מטופל. למיטב ידיעתנו, אין מסגרת קיימת שמשלבת זרמים גיאומטריים, התנהגותיים ופיזיולוגיים לשכבת משוב חזותית אחת, ניתנת לפענוח בזמן אמת, המותאמת למידול תלת-ממדי רפואי בסיוע בינה מלאכותית. הסקירה חושפת ארבעה ליקויים ספציפיים שמחקר זה שואף לטפל בהם: חוסר מבנה מיומנויות ספציפי לבריאות: הקריטריונים הנוכחיים מתייחסים למודלים רפואיים כ-CAD גנרי; הם מתעלמים ממגבלות מבוססות אנטומיה כמו מילוי עצם נקבובית או זוויות פיצול כלי דם. חישה מפוצלת: מחקרים בדרך כלל מנצלים מודאליות אחת (קינמטיקה, מבט או פיזיולוגיה). סנכרון רב-מודלי ברמה תת-שנייה נדיר לנסות להתקיים, וחסר אימות חוצה-מודלי. עדכון בייסיאני או מעקב ביטחון מקוון לא יושמו על מיומנויות מידול; לכן, מעריכים אינם יכולים לבטא אי-ודאות או לשלב ראיות חדשות ככל שהמשימה מתפתחת. אי-רציפות משוב: גם כאשר נתונים עשירים נאספים, הם נשמרים לסקירה לאחר מכן או מוצגים כעקומות גולמיות. אין שכבת ויזואלית עקרונית שממפה אותות ברמה נמוכה למשוב מעשי ומותאם לתיאוריה בזמן אמת. פערים אלו מצדיקים את פיתוח מסגרת קצה לקצה שמגדירה מבנה מיומנות רב-ממדי המבוסס על דרישות יישום בריאות, (ii) מאחדת נתונים פרוצדורליים הטרוגניים באמצעות הסקה בייסיאנית מכוילת, ו-(iii) הופכת את מצב האמונה המתפתח via ויזואליזציות אינטראקטיביות, ספציפיות לתפקידים. במובן המעשי, המסגרת המוצעת מספקת לבתי החולים כלי ניטור בזמן אמת למידול איכות, מפחיתה את התלות במחזורי סקירה ארוכים של מומחים, ומאפשרת שימוש קליני בטוח יותר במכשירים ייעודיים למטופל. מרכזי הכשרה יכולים להשתמש במסגרת כדי לספק משוב מובנה ומונע-נתונים, שמסייע בפיתוח הלומד ותומך בקביעת מדדי מיומנות סטנדרטיים בין קבוצות. עבור רגולטורים, המסגרת המוצעת מציעה מנגנון ביקורתי ושקוף לתיעוד מיומנויות זרימות עבודה, התואם לדרישות המתפתחות לאימות מתמשך של תהליכי הדפסה תלת-ממדיים רפואיים. בהתבסס על המניעים הללו, מחקר זה מעצב ומאמת מסגרת אנליטיקה חזותית שמכמת מיומנות הנדסית במידול תלת-ממדי בסיוע בינה מלאכותית וממוקד בריאות. באופן ספציפי, המסגרת שואפת להגדיר מבנה מיומנויות רב-ממדי המבוסס על מילוי עצם נקבובי, זוויות כלי דם וסבילות אנטומית נוספות; לסנכרן מבט, תנועות ידיים, אותות פיזיולוגיים ונתוני אינטראקציה בינה מלאכותית ברזולוציה תת-שנייה; למזג את זרמי הנתונים ההטרוגניים הללו באמצעות עדכון בייסיאני כדי ליצור אמונה מתפתחת של כשירות בביטחון מפורש; להציג אמונה זו באמצעות תרשימי רדאר בזמן אמת, מפות חום והערות תלת-ממדיות למטרות אימון מיידי או הסמכה; ולשמור על דיוק הערכה של לפחות 90% via כיול למידה פעילה שמתאים את עצמו למדפסות חדשות, מודלים של בינה מלאכותית או כללים קליניים ללא צורך בהכשרה מלאה.

המחקר הנוכחי עוסק בשתי שאלות מרכזיות: האם מיזוג נתונים רב-מודלי משפר את דיוק הערכת המיומנויות ביחס להערכת מומחים, והאם עדכון בייסיאני מאפשר שמירה על דיוק ההערכה מבלי לדרוש אימון מודל מלא.

פרוטוקול

מחקר זה כלל משתתפים אנושיים ונבחן ואושר על ידי ועדת האתיקה להגנה על מחקר אנושי, מכללת שיאנדה לכלכלה ומדעי הרוח, אוניברסיטת שנגחאי ללימודים בינלאומיים (אישור מס' 2025XD1221). כל המשתתפים חתמו על טפסי הסכמה מדעת והשלימו הכשרה מקדימה של 30 דקות: משתתפי EG למדו לפרש את המשוב הוויזואלי של המסגרת (תרשימי רדאר, מפות חום), בעוד שמשתתפי CG קיבלו רק הכשרה בתפעול הפלטפורמה. כדי להבטיח דיוק באיסוף הנתונים, הניסוי המקדים כלל גם כיול של 5 דקות של עוקבי העיניים והחיישנים הפיזיולוגיים.

מטרות המחקר וסקירת הפרוטוקול

מטרת המחקר הייתה ליצור מערכת סגורה, מקצה לקצה, המשלבת רכישת מולטימודלית, חילוץ תכונות, מיזוג בייסיאני ומשוב חזותי להערכת מיומנויות הנדסיות באופן שניתן לפרש. איור 1 מציג את דיאגרמת הפרוטוקול להערכת מיומנויות הנדסיות ביישומי בריאות המבוססים על מידול תלת-ממדי בסיוע בינה מלאכותית.

סקירת מסגרת ולוגיקה היררכית

מסגרת ההערכה הוויזואלית לכישורי הנדסה ביישומי בריאות תלת-ממדיים בסיוע בינה מלאכותית שהוצעה במחקר זה בנויה על בסיס לוגיקת הלולאה הסגורה של "מונחית נתונים - חילוץ תכונות - מיזוג ראיות - משוב חזותי". המטרה המרכזית שלו היא להשיג המרה מקצה לקצה מנתונים גולמיים רב-מודליים לתוצאות הערכת מיומנויות ניתנות לפרשנות²². כדי להבטיח חילוץ אמין של תכונות מולטימודליות להערכת מיומנויות הנדסיות, המסגרת לוכדת בו זמנית אינטראקציה, פיזיולוגית, מבט, מחוות ואותות קול עם סינכרון זמני ברמת אלפיות שנייה. המסגרת מאמצת עיצוב ארכיטקטורה היררכי, הכולל ארבע שכבות מרכזיות: שכבת רכישת נתונים רב-מודלית (L1), שכבת חילוץ תכונות בינה מלאכותית (L2), מנוע מיזוג ודירוג ראיות (L3), ושכבת משוב חזותי (L4). כל שכבה מממשת אינטראקציה דו-כיוונית דרך ממשקי נתונים סטנדרטיים, ומוצג בו זמנית מודול כיול מסגרת (L5) כדי להבטיח את התוקף הדינמי של תוצאות ההערכה. איור 2 מציג את הצינור מקצה לקצה, החל מרכישת נתונים מולטימודליים (מבט, קינמטיקה, פיזיולוגיה, קול) ועד חילוץ תכונות מבוסס בינה מלאכותית, ניקוד בייסיאני, ומשוב חזותי ואודיו-ויזואלי בזמן אמת. השכבות אינטראקטיביות, כאשר שכבה 5 מספקת כיול רציף. ארכיטקטורה זו מאפשרת עיבוד מתואם והערכת מיומנויות מאומתת למשתתפים תוך כדי ביצוע משימות מודל תלת-ממדי חיות.

משוואה (1) נוסחת עדכון ביטחון בייסיאני:

כאשר: P(θ) מייצג את ההסתברות הקודמת לרמת מיומנות θ (בהתבסס על נתוני הערכה היסטוריים); P(D∥θ) מציין את ההסתברות לצפייה בנתוני תכונה רב-מודאליים D ברמת מיומנות θ; P(D) היא ההסתברות השולית; P(D∥θ) היא ההסתברות הפוסטריורית לרמת מיומנות θ לאחר מיזוג הנתונים D, כלומר ציון הביטחון הסופי. מסגרת זו השתמשה בגישה מובנית של דלפי ו-AHP²³ למשקל מדדים. פאנל של עשרה מומחים (אורתופדים, מהנדסי ביו-רפואה ומודלים רפואיים מנוסים ב-CAD) השתתף בשלושה סבבים של Delphi שדרג את חשיבות המדד בסולם ליקרט של 9 נקודות עד שדירוג המומחים הגיע ליציבות (מקדם שונות <0.15)²⁴. לאחר מכן, באמצעות הציונים המתכנסים/המפוזרים של המומחים, נבנתה ואושרה מטריצת השוואה זוגית באמצעות קריטריון עקביות AHP עם יחס עקביות (CR) < 0.1. אם ה-CR עלה על 0.1, המטריצה הותאמה מחדש. יחסי העקביות של שיטות AHP למטריצות השוואה זוגיות היו בין 0.03 ל-0.08, מה שמעיד על עקביות לוגית פנימית גבוהה לאורך כל הגישה ההיררכית הרב-רמתית. עיצוב כל שכבה במסגרת עומד בעיקרון "מודולריזציה - הרחבה". לדוגמה, שכבה L1 יכולה להרחיב את ממד איסוף הנתונים הפיזיולוגי על ידי הוספת חיישנים ביולוגיים; שכבה L2 יכולה להתאים את עצמה לדרישות הערכת מיומנויות ביישומי בריאות שונים על ידי החלפת מודלים מאומנים מראש; שכבת L4 תומכת במידות ויזואליזציה מותאמות אישית בהתאם לתפקידי המשתמש. זה מספק גמישות ליישומים הבאים בחינוך למידול תלת-ממדי רפואי ותסריטי הסמכת מיומנויות מקצועיות.

שכבת רכישת נתונים רב-מודלית

זרם אירועי אינטראקציה תלת-ממדיים

מודול זה אוסף נתוני תפעול של מהנדסים מפלטפורמות מידול תלת-ממדי בסיוע בינה מלאכותית באמצעות תוספים תוכנתיים (16), ומכסה הן אירועי פעולה נפרדים והן נתוני פרמטרים רציפים. אירועים נפרדים כוללים בחירת מודלים, התאמת קודקודים והפעלת כלי בינה מלאכותית, בעוד שפרמטרים רציפים כוללים מהירות מידול, ספירות ביטול/ביצוע חוזר, ושיעורי קבלת הצעות בינה מלאכותית. כל אירוע מוקלט עם חותמת זמן בת 13 ספרות וערכי מערכת קואורדינטות של מודל תלת-ממדי מתאימים (x, y, z). לדוגמה, בעת כיוונון העקמומיות של מודל שתל אורתופדי, התוסף מתעד את זמני ההתחלה והסיום של הפעולה, את קואורדינטות הקודקודים המכוונים ואת וריאציות העקמומיות, ובכך יוצר יומן אירועים מובנה (ראו טבלה 1 לטבלה 3 לשדות נתונים). נתונים אלו מעובדים לאחר מכן באמצעות אלגוריתמים מותאמים אישית לחישוב אינדיקטורים גאומטריים, יעילים וקוגניטיביים ספציפיים לתחום, מה שמאפשר אפיון מדויק של התנהגויות מודל ביישומים הקשורים לבריאות.

תנועות עיניים ואותות מחוות

נתוני תנועות העיניים נאספים באמצעות מעקב עיניים שולחני, המתמקדים בנקודות קיבוע ופרמטרי סקאדה בממשק המידול התלת-ממדי, המשקפים את התפלגות הקשב הקוגניטיבית של המהנדס.

אותות מחוות נתפסים על ידי מצלמת עומק, שמחלצת 22 קואורדינטות מפרק מפתח של הגפה העליונה כדי לזהות מחוות מידול טיפוסיות²⁵. המצלמה ממירה נתוני קואורדינטות מחוות תלת-ממדיות לרצפי וקטור מנורמלים כדי לצמצם את ההבדלים בגודל הגוף האישי.

סנכרון נתונים עבור מודול זה נשען על טריגר חומרה מאוחד של המסגרת (חותמת זמן של 10 הרץ מתוכנת מידול תלת-ממדי), כאשר שגיאת הסנכרון נשלטת בתוך ±50 מילישניות (מחושבת באמצעות משוואה 3-2) כדי להבטיח קורלציה זמנית בין התנהגויות עיניים/מחוות לפעולות מידול ²⁶. משוואה (2) מציגה את חישוב שגיאת סנכרון הנתונים:

(2)

כאשר: E_t = שגיאת סנכרון בין זמן רכישת המכשיר (t_מכשיר) לחותמת זמן תוכנה (t_תוכנה); _מכשיר t = זמן הרכישה בפועל של מעקב עיניים/מצלמת עומק; _{t software} = חותמת זמן הפעלה מתוכנת מידול תלת-ממדי.

נתונים פיזיולוגיים וקוליים

הנתונים הפיזיולוגיים נאספים באמצעות חיישנים לבישה: חיישן אלקטרומיוגרפיה (EMG) (תדר דגימה 1000 הרץ) ²⁷, המחובר לאמה של המהנדס כדי להקליט מתח שרירים במהלך פעולות עדינות, המשקף יציבות תפעולית. חיישן אלקטרוקרדיוגרפיה (ECG) (תדר דגימה 250 הרץ) ²⁸: הוא נלבש על החזה לאיסוף מדדי שונות דופק (HRV), המאפיינים עומס קוגניטיבי. נתוני הקול נקלטים על ידי מיקרופון כיווני (תדר דגימה 44.1 kHz),²⁹, ומקליטים הערות מילוליות של מהנדסים במהלך המודלים כדי להשלים ניתוח מצב קוגניטיבי. כל הנתונים הפיזיולוגיים והקוליים עוברים עיבוד מוקדם לפני האחסון במסד הנתונים הרב-מודאלי המסומן בזמן. איור 3 ממחיש את תצורת החומרה הניסיונית הפיזית. נתוני חיישנים ממכשירי EMG/ECG, המיקרופון, מעקב העיניים ומצלמת עומק מחוברים כולם לתחנת עבודה למידול תלת-ממדי. לפני שנתוני זמן נשמרים במסד נתונים רב-מודלי, מודול סנכרון מתאים את כל הזרמים (בטווח של ±50 מילישניות). מפרט חומר זה אומר קלט אמין ומיושר בזמן לצינור חילוץ ודירוג תכונות.

שכבת חילוץ תכונות בינה מלאכותית

מדדי איכות גאומטריים

מודול זה מחלץ תכונות כמותיות המשקפות את הדיוק והרציונליות של מודלים תלת-ממדיים מזרם אירועי האינטראקציה התלת-ממדית ומפלט המודל הסופי, ומשמש כבסיס מרכזי להערכת כישורי "דיוק המידול" של מהנדסים. כדי להעריך דיוק מבני, התאמה אנטומית ושלמות מודל תלת-ממדי באמצעות מדדי סטייה, טופולוגיה ותכונות מבוססות תבניות, מעוצבים שלושה מדדים מרכזיים, כאשר שיטות החישוב והמשמעויות הפיזיקליות מפורטות להלן:

שיעור סטיית המודל (MDR)

זה מודד את הסטייה הגאומטרית בין התוצאה המדומה של המהנדס לתבנית הסטנדרטית. הסטייה מחושבת על ידי השוואת המרחק האוקלידי של נקודות תכונה מרכזיות בין שני המודלים. הנוסחה מוצגת במשוואה (3):

(3)

כאשר: n = מספר נקודות מפתח מוגדרות מראש (מוגדרות ל-50-100 בהתבסס על מורכבות המודל); P_i,engineer = קואורדינטות תלת-ממדיות של נקודת התכונה i במודל המהנדס; P_i,תקן = קואורדינטות תלת-ממדיות של נקודת התכונה ה-i בתבנית הסטנדרטית; |⋅| = אופרטור מרחק אוקלידי.

MDR נמוך יותר מציין עקביות גבוהה יותר עם המודל הסטנדרטי, עם סף של ≤ 5% למודלים רפואיים מוסמכים. מיומנויות המידול הוערכו בהתבסס על יעילות זמן, תנועות מיותרות, יציבות מחוות ודפוסי שימוש של כלי הבינה המלאכותית המוצעים במהלך תרחישי תפעול תלת-ממדיים בזמן אמת.

עקביות טופולוגית (TC)

זה בוחן האם המבנה הטופולוגי של המודל התלת-ממדי עומד בדרישות היישום הרפואי. האינדיקטור מחושב על ידי ספירת מספר הפגמים הטופולוגיים (D) ומספר האיברים הטופולוגיים הכולל (T, סכום הקודקודים, הקשתות והפאות) במודל, כפי שמוצג במשוואה (4):

(4)

לדוגמה, אם מודל מפרק ברך מכיל 2 קשתות שאינן מניפולד (D = 2) ו-1200 איברים טופולוגיים כוללים (T = 1200), הוא 99.83%. נדרש ≥-98% למודלים רפואיים כדי להימנע מסיכוני ייצור.

שלמות תכונות (FC)

זה מעריך האם המהנדס יישם במלואו את כל התכונות החובה של מודל יישום הבריאות. המדד נקבע על ידי השוואת מספר התכונות החובה שהושלמו (F_הושלמו) לבין מספר התכונות החובה הכולל (F_total) שהוגדרו בדרישות המשימה:

(5)

מדדי יעילות התנהגותית

מודול זה מעבד זרמי אירועי אינטראקציה תלת-ממדיים ואותות מחוות כדי לחלץ תכונות המשקפות את יעילות פעולות המידול של מהנדסים, ומעריך את כישורי "מיומנות התפעול" שלהם. הדרישות הקוגניטיביות הקשורות למידול נמדדו באמצעות אותות פיזיולוגיים, מבט ו-EMG מסונכרנים. מדדים אלו עוקבים אחר התפלגות הקשב לאורך זמן ושינויים בעומס העבודה במהלך תהליך המידול.

מידול יעילות זמן (MTE)

זה משווה את זמן המידול בפועל של המהנדס (T_בפועל) לזמן הממוצע של מומחים בכירים לאותה משימה (T_expert), המנורמל לציון 0-100:

(6)

לדוגמה, אם מהנדס לוקח 45 דקות להשלים משימה שמומחים מקדשים בממוצע 30 דקות, יש 100 - (45 - 30) x 50 = 75, מה שמעיד על יעילות בינונית.

קצב פעולה מיותר (ROR)

זה סופר את שיעור הפעולות המיותרות בתהליך המידול. הוא מחושב כיחס בין ספירת פעולות מיותרות (O_מיותר) לבין סך הפעולות (O_total):

(7)

פעולות מיותרות מזוהות על ידי אלגוריתם הבינה המלאכותית באמצעות התאמת כללים וניתוח עקביות מחוות.

שיעור ניצול כלי בינה מלאכותית (ATUR)

זה מודד את יכולתו של המהנדס לנצל פונקציות בסיוע בינה מלאכותית לשיפור היעילות. הוא מוגדר כיחס בין מספר הקריאות לכלי AI (I_AI) לסך כל הקריאות (I_total):

(8)

ATUR גבוה יותר מצביע על שילוב טוב יותר של כלי בינה מלאכותית בתהליך המידול, שהיא מיומנות מרכזית במידול תלת-ממדי רפואי מודרני.

חלקות מחוות (GS)

זה מעריך את יציבות תנועות הגפיים העליונות של המהנדס במהלך המידול. המדד מחושב על ידי סטיית התקן של מהירות 22 מפרקי מפתח בגפה עליונה (v_j) לאורך זמן:

(9)

סטיית תקן נמוכה יותר (ולכן GS גבוה יותר) מצביעה על תנועות חלקות יותר, המשקפות מיומנות תפעולית גבוהה יותר. מדדים אלו מופקים בזמן אמת במהלך תהליך המידול, כאשר אלגוריתם הבינה המלאכותית מעדכן את ערכי האינדיקטורים כל 5 דקות ואחסן אותם במסד הנתונים של התכונות למיזוג עתידי.

מדדי עומס קוגניטיבי

מודול זה מנתח אותות תנועות עיניים ונתונים פיזיולוגיים כדי לכמת את העומס הקוגניטיבי של המהנדס במהלך המידול, ומעריך את כישורי "ההתאמה הקוגניטיבית" שלו. מדדים מולטימודליים שוקללו באמצעות גישת Delphi-AHP ועדכוני ראיות בייסיאניות ליצירת ציוני מיומנות הנדסיים הסתברותיים בזמן אמת. שלושה מדדים מרכזיים מפותחים:

פיזור קיבוע (FD)

זה משקף את חלוקת תשומת הלב הוויזואלית של המהנדס. הוא מחושב כמרחק אוקלידי בין קואורדינטות נקודת הקיבוע המקסימלית והמינימלית ( (x_max,_{y max}) ו-(x_{min,y min}) ) בממשק המידול התלת-ממדי על פני חלון של 2 דקות:

(10)

FD גדול יותר מצביע על קשב מפוזר, שלעיתים קשור לעומס קוגניטיבי גבוה.

שונות בקצב הלב (HRV) - SDNN

SDNN (סטיית תקן של מרווחים נורמליים-לנורמליים) מופק מנתוני ECG כדי למדוד את התנודות בקצב הלב של המהנדס. SDNN נמוך יותר מצביע על פעילות עצבית סימפתטית גבוהה יותר, המשקף עומס קוגניטיבי מוגבר. אלגוריתם הבינה המלאכותית מסנן תחילה רעש ECG (באמצעות טרנספורמציית גל) ואז מחשב SDNN באמצעות משוואה (11):

(11)

כאשר: N = מספר פעימות לב תקינות בחלון של 5 דקות; RR_k = מרווח הזמן בין פעימות הלב התקינות של ה-k ל-(k + 1)-הן; = מרווח RR ממוצע בחלון.

אלקטרומיוגרפיה (EMG) - שורש ממוצע ריבוע (RMS)

RMS של אותות EMG באמה משקפים מתח שרירי: RMS גבוה יותר מצביע על נוקשות שרירים מוגברת עקב לחץ קוגניטיבי. נוסחת החישוב היא:

(12)

כאשר: m = מספר דגימות אות EMG בחלון של דקה, ו-EMG(t) = משרעת אות EMG בזמן t. נוצרה דיאגרמת סיכום כדי לסייע בבהירות מושגית ולהקל על שכפול המחקר. הוא ממחיש את הקשר ההיררכי בין עשרת מדדי ההערכה לבין שלושת המבנים העיקריים שמאחורי המסגרת המוצעת: איכות גיאומטרית, יעילות תפעולית ויכולת הסתגלות קוגניטיבית. דיאגרמה זו מתארת כיצד אותות קלט רב-מודליים מומרים למדדים מדידים, אשר לאחר מכן משולבים בגישה בייסיאנית ליצירת ציון מיומנות הנדסית מורכבת. סקירה זו מעבירה גרסה מצומצמת של לוגיקת ההערכה ומגבירה את השקיפות המתודולוגית של מחקר זה באופן מעצב ולכיוון חינוכי ורגולטורי עתידי. איור 4 מתאר את המבנה ההיררכי של מסגרת הערכת מיומנויות הנדסיות המוצעת, שמארגנת עשרה מדדים מולטימודליים לשלושה מבנים יסודיים: איכות גיאומטרית, יעילות תפעולית וגמישות קוגניטיבית. גורמים אלו תורמים לתוצאה הכוללת של מיומנויות להערכת ביצועי מידול תלת-ממדי בעזרת בינה מלאכותית.

מנוע מיזוג ראיות וניקוד

הקצאת משקל מדד (Delphi + AHP)

מודול זה מתמודד עם בעיית החשיבות המובחנת בין תכונות רב-ממדיות על ידי שילוב שיטת דלפי (קונצנזוס מומחים) ותהליך ההיררכיה האנליטית (AHP) כדי להקצות משקלים לעשרת האינדיקטורים שהופקו (שלושה מדדי איכות גאומטריים, ארבעה מדדי יעילות התנהגותית ושלושה מדדי עומס קוגניטיבי), ולייצג את המדדים המורכבים הרב-מודליים הללו בפורמטים ויזואליים וניתנים לפרשנות. כגון תרשימי רדאר, מפות חום, והשמעות מוערות להסקת אבחון ביו-רפואית רלוונטית.

שלב הקונצנזוס של דלפי

פאנל של עשרה מומחים העריך את חשיבות כל מדד באמצעות סולם של 9 נקודות (1 = "פחות חשוב", 9 = "הכי חשוב") בשלושה סבבים של שאלונים אנונימיים. לאחר כל סבב, סופק לוועדה משוב סטטיסטי - שכלל ציונים ממוצעים ומקדמי שונות (CV) - כדי להקל על התאמת הציונים. התכנסות הוגדרה כ-CV ≤ 0.15 לכל מדד. ראוי לציין כי קונצנזוס לגבי מדדים כמו שיעור סטיית המודל (MDR) ושיעור שימוש בכלי AI (ATUR) הושג בדרך כלל בסבב השני, בשל הרלוונטיות הקלינית הישירה שלהם.

כדי להבטיח עמידות טכנית, הפרוטוקול תקן יישור נתונים רב-מודאלי (סבילות סינכרון ≤ 50 מילישניות; שעון טריגר מאוחד של 30 הרץ) ושיטות חישוב אינדיקטור. לדוגמה, MDR נגזר מ-50-100 נקודות מפתח אנטומיות, בעוד שסף העקביות הטופולוגית (TC) נקבע על >98% לאלמנטים נטולי פגמים. ספים אלו הוצדקו לפי תקני סבילות קלינית, כגון סטייה <-5% לעצם נקבובית ושגיאה < של 3° בזוויות פיצול כלי דם. יתרה מזאת, המתודולוגיה שילבה ניקוד בייסיאני עם מודל סבירות גאוסיאני (באמצעות טווחי σ מכוילים לרמות מיומנות שונות) והשתמשה במחלץ תכונות CNN-LSTM מאומן בגודל אצווה של 32, קצב למידה של 1 x ^10-4, ו-120 אפוקים.

הקמת היררכיית AHP

נבנית היררכיה בת שלוש רמות: שכבת היעד (A): הערכה מקיפה של מיומנויות הנדסיות; שכבת הקריטריון (B): 3 מדדים ברמה ראשונה (B1: איכות גיאומטרית, B2: יעילות התנהגותית, B3: עומס קוגניטיבי); שכבת אינדיקטור (C): 10 מדדים ברמה שנייה (C1: MDR, C2: TC, ..., C10: EMG RMS).

השוואה זוגית ובדיקת עקביות

בהתבסס על תוצאות קונצנזוס דלפי, נבנית מטריצת השוואה זוגית עבור שכבת הקריטריון ושכבת האינדיקטור. אם לוקחים לדוגמה את שכבת הקריטריון, המטריצה מוגדרת כך:

(13)

כאשר:_{a ij} הוא יחס החשיבות של B_j ל-B_j. וקטור המשקל של שכבת הקריטריון (W_B = [w_{B1,w B2,w B3}]) מחושב באמצעות שיטת וקטור עצמי. כדי להימנע מסתירות לוגיות, יחס העקביות (CR) נבדק באמצעות משוואה (14):

(14)

כאשר: ( λ_max = ערך עצמי מקסימלי של המטריצה, = מספר האינדיקטורים), ו- הוא אינדקס העקביות האקראית (עבור n = 3, RI = 0.58). התוצאה מקובלת אם CR < 0.1.

בתהליך זה מתקבלים משקלים טיפוסיים: (איכות גאומטרית), (יעילות התנהגותית), (עומס קוגניטיבי); משקל MDR (C1) בשכבת האינדיקטור הוא בדרך כלל הגבוה ביותר (~0.25), בעוד ש-EMG RMS (C10) הוא הנמוך ביותר (~0.05).

עדכון ביטחון בייסיאני

מודול זה מאחד את המדדים המשוקלים ליצירת ציון הביטחון הסופי של הכישורים, ומתמודד עם "אי-הוודאות בהערכת תכונה בודדת" על ידי עדכון הסתברויות קודמות עם נתונים רב-מודליים בזמן אמת. התהליך מבוסס על משוואה (1) (נוסחת בייסיאנית) ומיושם בשני שלבים:

שלב 1: אתחול הסתברות מוקדמת (P(θ))

רמת המיומנות מחולקת ל-5 כיתות: (מתחיל), (מתחיל), (בינונית), (מתקדמת), (מומחה). ההסתברות הקודמת מאותחלת באמצעות נתונים היסטוריים: אם המערכת העריכה 500 מהנדסים, ו-100 מסווגים כ-θ₃, אז P(θ₃) = 100/500 = 0.2. למשתמשים חדשים ללא נתונים היסטוריים, מאומצת קודמת אחידה (P(θ_i) = 0.2 לכל i).

שלב 2: חישוב הסתברות פוסטריארית (P(θ∥D))

נתוני התכונות הרב-מודליות הם הסכום המשוקלל של 10 המדדים המנורמלים:

(15)

כאשר: w_Ck הוא משקל האינדיקטור k-th (מסעיף 3.4.1),_ונורמת Ck היא הערך המנורמל של האינדיקטור k-th (טווח [0,1]).

הסתברות הסבירות מדומה באמצעות התפלגות גאוסיאנית, בהנחה שנתוני התכונות של מהנדסים ברמת מיומנות עוקבים (ממוצע_{μ i}, שונות ). פרמטרים אלו מכוילים באמצעות 200 דגימות מסומנות.

לבסוף, ההסתברות הפוסטריורית מחושבת באמצעות משוואה (3-1), וציון המיומנות המתאים למקסימום הוא תוצאת ההערכה בזמן אמת. לדוגמה, אם הציון D של מהנדס = 0.72, ו(גבוה יותר מדרגות אחרות), הוא מסווג כ"מתקדם".

כדי להמחיש את תהליך עדכון הביטחון, איור 5 מראה כיצד הסתברויות מיומנות שוות ידועות מתעדכנות להתפלגות פוסטריורית באמצעות הסקה בייסיאנית ואותות בזמן אמת כראיה. לאחר התבוננות במשימה, המודל מתעדכן כדי לחזק את הראיות לכיוון דרגת המיומנות עם ההסתברות האחורית הגבוהה ביותר. מבחני האימות הצביעו על יציבות התכנסות חזקה של ציוני המיומנות המומחים, והציוני הבייסיאניים היו בקורלציה חזקה עם דירוגי מומחים, מה שתמך בשימוש האמין בעדכון בייסיאני בזרימת העבודה.

הפלט של שכבה זו הוא ציון מיומנות מקיף (0-100, ממופה מההסתברות האחורית המקסימלית) ורווח ביטחון, שמועבר לשכבת המשוב החזותי להצגה אינטואיטיבית.

שכבת משוב חזותי

תרשים רדאר בזמן אמת

מודול זה ממיר את 10 המדדים המנורמלים ו-3 ציוני קריטריון בשלוש רמות לתרשים רדאר, ומאפשר השוואה אינטואיטיבית של חוזקות וחולשות מיומנויות מהנדסים. תרשים הרדאר מעוצב עם 7 צירים (3 עבור קריטריונים ברמה הראשונה: B1-B3; 4 עבור מדדים מרכזיים ברמה השנייה: C1=MDR, C4=ATUR, C7=FD, C9=נבחר SDNN בשל משקלם הגבוה ויכולת הפרש), כאשר כל טווח צירים מנורמל ל-[0,100] (ממופה מהערכים המנורמלים [0,1] דרך משוואה 3-7). כדי לשפר באופן מתמיד את דיוק המדידה באמצעות הערות מקצועיות ועדכוני למידה פעילה בתחילת המסגרת, משולבים הקשר של מודלים בריאותיים והבנה הולכת וגוברת.

משוואה (16) מיפוי ערכי מדד לתרשים רדאר:

(16)

כאשר:_מכ" ם V = ערך המוצג על ציר מפת הרדאר; _נורמה Ck = ערך מנורמל של מדד ה-k (טווח [0,1]).

תרשים הרדאר מתעדכן בזמן אמת (כל 5 דקות) וכולל שני מדדי ייחוס: קו סטנדרטי (קו מקוו,_מכ"ם V = 80, המייצג את סף רמת המיומנות "המתקדם") וקו ממוצע מומחה (קו מקווקו, מחושב מנתוני היסטוריה של 50 מהנדסים בכירים). איור 6 מציג את התנהגות המהנדס על פני מדדים מרכזיים: איכות גאומטרית, עומס קוגניטיבי, יעילות שימוש בכלים ופיזור קיבועות, בהשוואה למדדים המומחים המתאימים. כחלק משכבת המשוב, ציונים אמיתיים, באמצעות מדדים מאוחדים, תורגמו לפרופיל שניתן לפרש. מחקרי משתמשים הצביעו על יישום מוצלח למציאת פערי מיומנויות במהירות, תוך קידום חישוב מובנה ומבוסס נתונים לשיפור במהלך משימות המידול.

מפת חום זמנית

מודול זה מציג את מגמת השינוי הדינמי של מדדי מיומנות לאורך כל תהליך המידול, ועוזר לזהות תקופות בהן מהנדסים מתמודדים עם קשיים. מפת החום משתמשת ברשת דו-ממדית: ציר ה-x מייצג מרווחי זמן (מקטעים של 10 דקות, בסך הכל 12 מקטעים למשימה של שעתיים), וציר ה-y מייצג 5 אינדיקטורים מרכזיים (C1=MDR, C4=ATUR, C6=GS, C7=FD, C9=SDNN). עוצמת הצבע של כל תא רשת תואמת לערך המנורמל של האינדיקטור, עם סולם צבע מכחול (ערך נמוך, ביצועים נמוכים:_נורמת Ck < 0.5) ועד אדום (ערך גבוה, ביצועים טובים:_נורמת Ck < 0.8), כפי שמוגדר במשוואה (17):

משוואה (3-8) מציגה חישוב עוצמת צבע עבור מפת חום:

(17)

כאשר:_{I color} = ערך עוצמת צבע RGB (0-255, 0=כחול, 255=אדום); min(_{Ck norm}) ו-max(_{Ck norm}) = ערכים מינימליים ומקסימליים של האינדיקטור בכל מרווחי הזמן.

איור 7 ממחיש שינויים שנפתרו בזמן בעומס קוגניטיבי, פיזור קיבוסין, יציבות המבט ומדדי השהיה של החלטה בקטעים של 10 דקות. שימו לב שהאזורים המסומנים מצביעים על ביקוש קוגניטיבי גבוה או הפרעות בזרימת העבודה. תצוגת הזמן הזו נוצרת ישירות מזרמים מולטימודליים מתאחדים, הנתמכים על ידי הערות של מומחים, המדגישה את תפקידה הקריטי בהתמודדות עם עייפות מודלים, שינויים קשביים וקושיים ספציפיים למשימה.

הערת השמעה D

מודול זה משלב הערות הערכת מיומנות על ניגון ההפעלה של המודל התלת-ממדי, ומאפשר ניתוח שלב אחר שלב של התנהגות המידול של המהנדס. מהירות ההשמעה מתכווננת (0.5×-2× בזמן אמת) ומסתנכרן עם חותמת הזמן של הנתונים הרב-מודלית. שלושה סוגי הערות מוטמעות: הערות שגיאות גאומטריות: מסגרות חוט אדומות מדגישות אזורים במודל שבהם MDR (C1) עולה על 5% (סף מוסמך), עם תוויות טקסט המציגות את ערך הסטייה. הערות אזהרת יעילות: סימני קריאה צהובים מופיעים במיקום הפעולות המיותרות, עם חלונות קופצים המציגים את סוג הפעולה. הערות לעומס קוגניטיבי: פס סטטוס ירוק/אדום בפינה מצביע על עומס קוגניטיבי בזמן אמת (בהתבסס על C9: SDNN ו-C10: EMG RMS), כאשר אדום משמעותו "עומס גבוה" (SDNN < 50 מילישניות) וירוק שפירושו "עומס נורמלי" (SDNN > 100 מילישניות).

כיול מסגרת ואיטרציה

ממשק הערות מומחה

מודול זה מספק ממשק אנושי בלולאה עבור מומחים בכירים לתקן ולסומן את תוצאות ההערכה של המסגרת, תוך התמודדות עם "סטיית דיוק ההערכה" הנגרמת משינויים בתרחישי יישום בריאות. הממשק מעוצב עם שלוש פונקציות מרכזיות: תיקון תוצאות, שינוי משקל מדדים ואחסון הערות.

פונקציית תיקון התוצאה

מומחים בוחנים תחילה את תוצאות המשוב הוויזואלי ואת ציון המיומנות המקיף של המסגרת (0-100). אם הציון סוטה מהשיקול דעת המומחה, המומחה יכול להתאים ידנית את הציון ולתעד את הסיבה. גודל התיקון מכומת באמצעות משוואה (18):

(18)

כאשר: S_תוקן = הציון הסופי שתוקן; _מסגרת S = הציון ההתחלתי שפלט המסגרת; S_expert = הציון הידני של המומחה; α = משקל תיקון (מוגדר כברירת מחדל ל-0.8, מה שמבטיח שיקול דעת מומחה שולט תוך שמירה על רציונליות מסגרתית).

פונקציית המשקל מחדש של אינדיקטור

לכיול ספציפי לתרחיש, מומחים יכולים להתאים את משקל המדדים הבודדים באמצעות מוט הזזה (טווח 0-0.5). הממשק מחשב מחדש אוטומטית את יחס העקביות (CR) לאחר ההתאמה (באמצעות משוואה 3-6) ומתריע למומחים אם (התפלגות משקל לא הגיונית), ומבטיח שהמשקלים המותאמים נשארים תקפים מתמטית.

פונקציית אחסון הערות

כל הציונים המתוקנים, המשקלים המותאמים וההערות המומחים נשמרים במסד נתונים עם הערות עם חותמות זמן ותגיות תרחיש. מאגר נתונים זה משמש כנתוני ההדרכה למודול הלמידה הפעילה המקוון הבא, עם סכמת נתונים טיפוסית המוצגת בטבלה 2.

עדכון למידה פעילה באינטרנט

מודול זה משתמש בנתונים המוערים כדי לאופטימיזציה איטרטיבית של האלגוריתמים המרכזיים של המסגרת (מודלים של חילוץ תכונות בינה מלאכותית בשפה 2 ומנוע ניקוד בייסיאני בלגה 3), מה שמאפשר למסגרת להסתגל לתרחישי יישום בריאות חדשים ללא הכשרה מלאה. תהליך העדכון מתבצע לפי אסטרטגיית שאילתה על ידי ועדה (QBC), המחולקת לשלושה שלבים:

שלב 1: חישוב אי-ודאות

שלושה "מודלים של ועדה" מקבילים מופעלים (כולם מבוססים על אותה ארכיטקטורה כמו מודל חילוץ תכונות L2 אך מאומנים על מערכי נתונים היסטוריים שונים):

מודל א': מאומן בנתוני מידול שתלים אורתופדיים;

מודל B: מאומן על נתוני שחזור איברים;

מודל C: מאומן על נתוני מידול שתלים דנטליים.

עבור כל מדגם לא מתויג (נתוני המידול של מהנדס), המודלים של הוועדה מפיקים שלושה ציוני מיומנות חזויים. אי-הוודאות של המדגם מחושבת באמצעות מקדם השונות (CV) של שלושת הציונים:

(19)

כאשר: S_{A,SB,S C} = ציונים שנחזו על ידי שלושת מודלי הוועדות; std (⋅)= סטיית תקן; = ממוצע של שלושת הציונים.

CV גבוה יותר מצביע על חוסר הסכמה גדול יותר בין מודלי הוועדה (אי-ודאות גבוהה יותר), כלומר המדגם בעל ערך רב יותר להערות.

שלב 2: בחירת דגימות

המסגרת בוחרת את 10% הדגימות המובילות עם קורות החיים הגבוהים ביותר ושולחת אותן לממשק ההערות המומחה לצורך תיוג. אסטרטגיית הבחירה האקטיבית הזו מפחיתה את מספר הדגימות שדורשות הערות מקצועיות (בהשוואה לברירה אקראית) ב-40-60%, ומשפרת את יעילות הכיול.

שלב 3: אימון מחדש של מודלים ועדכון

הדגימות החדשות עם הערות משמשות לכוונון מדויק של האלגוריתמים של המסגרת:

למודלים של חילוץ תכונות בשפה 2: המודל מאומן מחדש עם קצב למידה של 1e-5 (10% מקצב האימון ההתחלתי) באמצעות נתוני השגיאה הגאומטריים המוערים, ומעדכן רק את שתי השכבות האחרונות כדי למנוע התאמת יתר.

עבור מנוע ניקוד בייסיאני L3: פרמטרי ההתפלגות הגאוסיאנית () עבור כל רמת מיומנות מתעדכנים באמצעות נתוני הניקוד המוערים, כאשר נוסחת העדכון מוצגת במשוואה (20):

(20)

כאשר: = ממוצע מיומנות מעודכן θ_i; = ממוצע מקורי לפני עדכון; _S-θi = ציון ממוצע מתוקן של דגימות עם הערות המסומנות כ-θ_i; β = גורם השכחה (מוגדר כ-0.7, מאזן בין נתונים היסטוריים להערות חדשות).

המסגרת המעודכנת נפרסת אונליין מיד לאחר ההכשרה מחדש, עם בדיקת ביצועים לפני הפריסה: אם השגיאה המוחלטת הממוצעת בין הפלט החדש של המסגרת לבין הערות המומחים היא ≤3 (מופחתת ב-≥20% מהגרסה הקודמת), העדכון מאושר; אחרת, תהליך ההכשרה מחדש חוזר על עצמו עם דגימות נוספות עם הערות.

מנגנון כיול איטרטיבי זה מבטיח שדיוק ההערכה של המסגרת יישאר מעל 90% גם כאשר טכנולוגיות המודלים התלת-ממדיים של יישומי בריאות מתפתחות, תוך שמירה על גמישות ארוכת טווח.

תוצאות

התוצאות מעריכות את תוקף, אמינותה ושימושיותה של המסגרת באמצעות הערכה ניסויית של הבחנת מיומנויות, תוקף מבנה, תוקף חיזוי ויעילות המשוב בזמן אמת.

עיצוב ניסיוני

הניסויים בוצעו בסביבת פייתון על מחשב עם מעבד אינטל בעל 12 ליבות, 32 ג'יגה-בייט זיכרון RAM ו-1 טרה-בייט אחסון SSD. NumPy ו-Pandas שימשו לסנכרון נתונים. לצורך חילוץ תכונות, נעשה שימוש בספריות OpenCV ו-SciPy. מודלי CNN-LSTM בוצעו באמצעות PyTorch. עדכון בייסיאני בוצע...

דיון

למרות שמסגרות המידול והאינטראקציה התלת-ממדיות הקיימות הן מועטות במספרן ובמקרים מסוימים יכולות לספק מידע שימושי, הן מעריכות יכולת הנדסית במשימות מידול תלת-ממדי. רוב המחקרים הקודמים של מעקב מחוות וממשק¹⁹ מעריכים את ההתנהגות האינטראקטיבית ולא את הערכת יכולת המשתמש. באופן דומה, במקרה^{של מערכות חינוך} מבוססות VR/הפטיקה, הלומד מקבל הבנה מעמיקה יותר של אנטומיה, אך אינו יכול לכמת דיוק זרימת העבודה, וגם לא ניתן לאמת החלטות. אותו דבר לגבי כלי ויזואליזצ...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
תוכנת מידול תלת-ממדי בסיוע בינה מלאכותית	Materialise NV, בלגיה	מחקה את AI גרסה 25.0	משמש למידול שתלי גבעול הירך ולמשימות שחזור כלי דם בכבד עם סגמנטציה וזיהוי פגמים באמצעות בינה מלאכותית.
Eye Tracker (מחשב שולחני)	טובי פרו פיוז'ן	TPF-120	לוכד נתוני קיבוע וסקדה ב-120 הרץ כדי לכמת את תשומת הלב הוויזואלית במהלך המידול.