מאמר מחקר

ניתוח מרחבי-זמני מבוסס למידה עמוקה של סרטוני ניתוח קטרקט להערכת סיכון כירורגי

DOI:

10.3791/70025

⸱

15 במאי 2026

 ,  , 
1Associate Chief Physician and Director of Ophthalmology, North Sichuan Medical College, 2Attending Physician of Ophthalmology, Guangyuan Central Hospital, 3Associate Chief Physician, and Chief Technician of Health Management, North Sichuan Medical College

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג מסלול למידה עמוקה לחיזוי סיכון כירורגי מסרטוני מיקרוסקופיה תוך ניתוחית באמצעות עיבוד מקדים של cGAN, סגמנטציה, GCN, ASFO ומודלים של טרנספורמר. ביצועים גבוהים מושגים במאגרי CaDIS ו-SICS-105, אם כי תוקף קליני מוגבל על ידי סימון עקיף.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סיבוכים לאחר ניתוח ממשיכים להיות אתגר משמעותי בניתוחי ויטרקטומיה, לעיתים קרובות מובילים לפגיעה בראייה ולהתערבויות חזרותיות. מחקר זה מציג מסגרת למידה עמוקה לחיזוי סיכון ניתוחי על ידי הפקת תכונות מרחב-זמניות מסרטוני מיקרוסקופיה תוך ניתוחית. במהלך העיבוד המוקדם, טכניקות שיפור וידאו, כולל ייצוב תנועה, נרמול תאורה ודיכוי ארטיפקטים מבוססי cGAN, מיושמות לשיפור איכות הקלט. סגמנטציה אדפטיבית לקווי מתאר משמשת לזיהוי אזורים כירורגיים רלוונטיים, ואחריה רשתות קונבולוציונליות גרפיות להפקת תכונות מודעות למבנה. שיטת Adaptive Sunflower Optimization משולבת לשיפור בחירת תכונות, ומודל מבוסס שנאי לוכד תלות זמנית לחיזוי סיכון סופי. המסגרת מוערכת על שני מאגרי נתונים ציבוריים, CaDIS ו-SICS-105. המודל השיג דיוק של 98.9%, דיוק של 97.5%, זיכרון של 98.2%, ציון F1 של 97.9%, ו-AUC של 98.1% במאגר הנתונים של CaDIS. יתרה מזאת, מודול הסגמנטציה השיג דיוק פיקסלים של 98.9%, דיוק של 98.5% לפי מחלקה, ו-mIoU של 96.6%. המודל השיג דיוק של 99.1%, ציון F1 של 98.5%, רגישות של 98.7%, ספציפיות של 98.7%, ודירוג AUC של 99.10% במאגר הנתונים SICS-105. תוצאות אלו מראות שיפורים עקביים לעומת מודלים בסיסיים. בסך הכל, שילוב עיבוד מוקדם משופר ב-GAN, למידת תכונות מבוססת גרפים, אופטימיזציה ומידול שנאי משפר את האמינות החיזויית. גישה זו מדגישה את הפוטנציאל של ניתוח וידאו תוך ניתוחי לתמיכה בהחלטות קליניות בזמן אמת ולשיפור הסטרוטיפיקציה של הסיכון לאחר הניתוח.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרס פלאנה ויטרקטומיה (PPV) היא בסיס להליכים כירורגיים בניהול מחלות זגוגית שונות, כולל היפרדות רשתית, רטינופתיה סוכרתית, חור מקולרי ודימום זגוגי1. למרות ההתקדמות בציוד הכירורגי וההדמיה, סיבוכים לאחר ניתוח נותרו מקור משמעותי לתחלואה, עם תוצאות הנעות מהפרעות ראייה קלות ועד אירועים מסכני ראייה כמו היפרדות רשתית חוזרת, אנדופטלמיטיס או לחץ תוך-עיני בלתי נשלט2. זיהוי מטופלים בסיכון גבוה יותר לסיבוכים אלו הוא צורך חיוני שלא נענה בפרקטיקה הקלינית, שכן הוא מאפשר תכנון ניתוחי מושכל יותר, טיפול אישי לאחר ניתוח והתערבויות בזמן3. באופן מסורתי, הערכת סיכון ב-PPV התבססה על גורמים סטטיים לפני הניתוח (כגון מחלות נלוות ומצבים עיניים לפני הניתוח) ועל שיפוט סובייקטיבי תוך ניתוחי על ידי המנתח 4,5,6,7. יתרה מזאת, ניתוחי ויטרקטומיה עדכניים מתועדים בהרחבה באמצעות סרטון מיקרוסקופיה כירורגית ברזולוציה גבוהה, ומציע מקור נתונים עשיר אך לא מנוצל מספיק. הקלטות אלו לוכדות לא רק תכונות אנטומיות ופתולוגיות אלא גם אינטראקציות בין מנתח לרקמה, אירועים תוך ניתוחיים ותנועות כירורגיות שעשויות לחזות סיבוכים נוספים 8,9,10,11.

למידה עמוקה הראתה ביצועים מרשימים בתחומים מגוונים באופתלמולוגיה, כולל סיווג תמונות קרקעית, הערכת מיומנויות כירורגיות אוטומטית וניתוח טומוגרפיה קוהרנטית אופטית (OCT)12. יתרה מזאת, מחקרים מסוימים ניצלו באופן שיטתי נתוני וידאו תוך ניתוח כדי לחזות תוצאות לאחר הניתוח. האופי המרחבי-זמני של סרטוני ניתוח מציב אתגרים ייחודיים: נתונים בממדים גבוהים, שונות בין המנתחים, תלות זמנית, אנטומיה של המטופל ומכשירים 13,14,15,16. עם זאת, אינטגרציה רהוטה של התחום הקליני דורשת לא רק תחזיות מדויקות או מדויקות, אלא גם עמידות, פרשנות והכללה בין סביבות ניתוחיותבזמן אמת.

בתחומי האופתלמולוגיה ומדעי הנתונים הכירורגיים18, למידת מכונה (ML) ולמידה עמוקה (DL) הפכו לאחרונה לפופולריים מאוד. היישומים שלהם כוללים חיזוי תוצאות, הערכת מיומנות ניתוחית ודימות אבחוני19. מסגרות מבוססות DL להבנת מצבים כירורגיים תוך ניתוחיים נחקרו במספר מחקרים. לדוגמה, נספולו20 הדגים הכללה בין משימות על ידי הצעת צינור DL לפרשנות סמנטית של רקמות וכלים בניתוח זגוגית ואורטינה. כדי להקל על הערכת ביצועים אובייקטיבית, הדבר הורחב עוד יותר כדי לאפשר חילוץ נתונים מקיפים על טכניקות ניתוחיות ואינטראקציות בין כלי לרקמה. בהקשר דומה, נספולו ואח' הדגימו את היתכנות ההנחיה הכירורגית על ידי פיתוח מודל גילוי וסגמנטציה בזמן אמת המשתמש במיקרוסקופיה תוך-ניתוחית וברשת סגמנטציה של מופעים (YOLACT++).

בנוסף, שיטות מונעות בינה מלאכותית הוכרו ככלים שימושיים לשיפור זרימת העבודה, הכשרה והערכה כירורגית22,23. טכניקות אלו מאפשרות חלוקת פאזה, מעקב בזמן אמת אחר מכשירים והגברת הבטיחות במיקרוכירורגיה עינית. השימוש ההולך וגדל בלמידת מכונה (ML) בניתוח הקלטות כירורגיות תוך-ניתוחיות הודגם עוד יותר בסקירה שיטתית של Mueller ואח' 23, שהדגישה גם בעיות עכשוויות בתרגום קליני ובאמינות. מספר מחקרים השתמשו במודלים של DL עם דימות ונתונים קליניים לחיזוי תוצאות לאחר הניתוח. לדוגמה, מודלים המבוססים על OCT ומאפיינים קליניים שימשו לחיזוי תוצאות ויזואליות במקרים של ממברנה אפירטינלית אידיופתית24, ושיטות דומות הראו יעילות בחיזוי תוצאות לאחר ניתוח בקרב חולי חור מקולרי במגוון מרכזים25. מחקרים נוספים התמקדו בקביעת חומרת ה-vitreoretinopathy הפרובליברטיבית באמצעות מסגרות DL רב-מודליות26 ובחיזוי הישנות היפרדות רשתית באמצעות הדמיה רחבת שדהאולטרה-27. יתרה מזאת, תוצאות חזותיות וגורמים בסיסיים במחלות זגוגית ורשתית נחזו באמצעות מודלים של למידת מכונה המשלבים משתנים דמוגרפיים, קליניים וכירורגיים 28,29,30.

למרות ההתפתחויות הללו, רוב השיטות הנוכחיות שמות דגש מועט על דינמיקה תוך-ניתוחית ומתבססות בעיקר על נתונים טרום-ניתוחיים או הדמיה סטטית לאחר הניתוח. למרות שחלק מהמחקרים משתמשים בניתוח וידאו כירורגי לסגמנטציה והערכה 20,21,22,23, הם אינם משלבים ישירות נתוני מרחב-זמן תוך ניתוח כדי לחזות את הסבירות לסיבוכים. כתוצאה מכך, עדיין קיים פער משמעותי בשימוש בנתוני וידאו מיקרוסקופיים תוך-ניתוחיים למידול חיזוי. כדי ליצור מסגרות מדויקות ומשמעותיות קלינית לחיזוי סיבוכי ויטרקטומיה לאחר ניתוח, יש למלא פער זה.

במחקר זה מוצגת מסגרת DL רב-מודלית חדשנית המשלבת תכונות מרחב-זמן שהופקו מסרטוני ויטרקטומיה תוך ניתוח עם מטא-דאטה קלינית מובנית לחיזוי הסיכון לסיבוכים לאחר הניתוח. באמצעות שימוש במקודדי וידאו מתקדמים (כגון ארכיטקטורות קונבולוציונליות ומבוססות טרנספורמרים) יחד עם אסטרטגיות מיזוג מטא-דאטה18, תוכנית זו שואפת לזהות אירועים תוך ניתוחיים בסיכון גבוה, לספק הסתברויות סיבוכים מכויינות, וליצור ויזואליזציות ניתנות לפרשנות לרופאים. באמצעות הערכה רב-מרכזית, ניתוחי פרשנות ומחקרים השוואתיים, הוכחת היתכנות השימוש בווידאו תוך ניתוחי כסמן ביולוגי לחיזוי לתוצאה הניתוחית18. המטרה העיקרית של הפרויקט הזה היא פיתוח מסגרת DL חזקה המשתמשת בנתוני מרחב-זמן מהקלטות מיקרוסקופ תוך ניתוח כדי לחזות סיבוכים לאחר ניתוח בניתוח ויטרקטומיה. מבחינת דיוק חיזוי והכללה, הגישה המשולבת המוצעת, המשלבת עיבוד מוקדם מבוסס cGAN, חילוץ תכונות מונחה GCN, אופטימיזציה מבוססת ASFO ומידול מבוסס טרנספורמר, צפויה לעקוף את השיטות הנוכחיות.

עבודה זו מנצלת ביעילות סרטוני מיקרוסקופ תוך ניתוח כדי להציג מסגרת מקיפה של DL לחיזוי בעיות ויטרקטומיה לאחר ניתוח. בניגוד לשיטות הנוכחיות, שמתבססות בעיקר על שיטות דימות סטטיות או נתונים קליניים טרום-ניתוחיים, המתודולוגיה המוצעת משלבת טכניקות למידת מכונה מתקדמות עם ניתוח וידאו מרחבי-זמני בצורה חדשנית. במיוחד, המתודולוגיה עושה שימוש ברשתות קונבולוציונליות גרפיות (GCNs) ללכידת קשרים מבניים ויחסיים בסצנות ניתוח, בסגמנטציה אדפטיבית קונטור (CAS) להגדרת אזורים מדויקת, ובמודול שיפור וידאו מבוסס cGAN לדיכוי ארטיפקטים. יתרה מזאת, לשיפור התכנסות המודל וכוח ההבחנה, נעשה שימוש באלגוריתם אופטימיזציה אדפטיבית של חמניות (ASFO) לאיזון בין חקירה לניצול בבחירת תכונות. לבסוף, דינמיקת הזמן בין רצפי ניתוח מדומה באמצעות ארכיטקטורה מבוססת טרנספורמר עם איגום תשומת לב מרחבי-זמן. שיפור משמעותי לעומת הצינורות הנוכחיים, האינטגרציה המקיפה הזו של קדם-עיבוד, סגמנטציה, למידת תכונות מבוססת גרף, אופטימיזציה וחיזוי מונחה קשב מאפשרת חיזוי סיכונים מדויק, אמין ומשמעותי קלינית יותר. מאגרי הנתונים CaDIS ו-SICS-105 משמשים במחקר זה כמאגרי נתונים ויזואליים חלופיים ללימוד תכונות מרחב-זמניות תוך ניתוח, למרות שמטרתם העיקרית היא ניתוח ניתוח קטרקט. במקום להשתמש בתוויות סיבוכים מסומנות במפורש, תכונות אלו משמשות למידול ולהסקת הסיכון לבעיות ויטרקטומיה לאחר ניתוח.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מערכי הנתונים של CaDIS ו-SICS-105 ששימשו במחקר זה זמינים לציבור ונאספו במקור באישור מוקדם של ועדת הביקורת המוסדית ובהסכמה מדעת, כפי שדווח בפרסומיהם. מחקר זה כולל רק ניתוח משני של נתונים אנונימיים לחלוטין, ולכן לא נדרשה אישור אתי נוסף או הסכמה מדעת.

המודל המוצע תוכנן לחזות סיבוכים של ויטרקטומיה לאחר ניתוח באמצעות דפוסים מרחביים-זמניים מסרטוני מיקרוסקופיה תוך ניתוחית. הצינור כולל ארבעה שלבים עיקריים: עיבוד מוקדם, סגמנטציה, חילוץ תכונות, אופטימיזציה וסיווג, כפי שמוצג באיור 1.

הערכת הסיכון לסיבוכים לאחר הניתוח היא יעד החיזוי של המחקר. המודל אינו יכול לחזות אירועים לאחר ניתוח מאומתים קלינית בתוך חלון זמן מסוים, משום שמאגרי הנתונים CaDIS ו-SICS-105 חסרים נתוני מעקב לאורך זמן. במקום זאת, הוא משתמש בדפוסי ניתוח תוך ניתוח כדי להסיק את הסבירות לבעיות אפשריות. הגדרות תפעוליות של "סיבוך" בהקשר זה כוללות מעברי פאזה לא סדירים, אינטראקציות חריגות בין כלי לרקמה, ושינויים בזרימת העבודה הכירורגית הקשורה למורכבות ניתוחית גבוהה יותר. כדי להבטיח פרשנות והערכה אמינה, משימת החיזוי מעוצבת כבעיית סיווג בינארית שמסווגת מקרים לקבוצות סיכון נמוך וגבוה. במקום לשמש כמערכת אבחון קלינית ישירה, נוסחה זו מאפשרת למסגרת המוצעת לשמש ככלי תמיכה בהחלטות תוך ניתוח.

תיאור מאגר נתונים:

המודל המוצע הוערך על שני מערכי נתונים: מערך נתונים A (CaDIS, מערך נתונים לקטרקט לפילוח תמונה) ומאגר הנתונים SICS-105 (ניתוח קטרקט עם חתך קטן).

(i) CaDIS31: מאגר נתונים זה פותח למשימת סגמנטציה בסרטוני ניתוח קטרקט. זה הוצג כדי להשלים את מאגר הנתונים הזמין לציבור של אתגר CATARACT, ולכן מטרתו לקדם את פיתוח שיטות DL לניתוח סרטוני וידאו כירורגיים. מערך הנתונים כולל 25 הקלטות וידאו בסך כולל 4,670 פריימים עם הערות, המתארים מספר שלבים של ניתוח קטרקט (איור משלים 1). כל פריים מסומן בקפידה, ומספק תוויות ברמת פיקסל הנדרשות לאימון ולהערכת סכמת הסגמנטציה. הוא משמש כמדד להערכת ביצועי מודל DL בסרטוני ניתוח.

(ii) מערך נתונים SICS-105 (ניתוח קטרקט חתך קטן)32: מאגר נתונים זה כולל 105 הקלטות שבוצעו על ידי מנתחים והערו על ידי ארבעה רופאי עיניים לאורך תקופה של 6 חודשים בין 2023–2024, המכסים 20 שלבים (איור משלים 2). משך הווידאו הכולל הוא 22 שעות ו-39 דקות, עם רזולוציה של 1920 × 1080 פיקסלים (הורד ל-960 × 540) ו-30 פריימים לשנייה. אורך הווידאו הממוצע הוא 12 דקות ו-57 שניות (σ=4:31 דקות). מאגר נתונים נגיש לציבור במאגר זנודו בכתובת URL: https://doi.org/10.5281/zenodo.13847781. דגימות קלט מייצגות מוצגות באיור משלים 1 ובתרשים המשלים 2. למרות שמאגרי הנתונים CaDIS ו-SICS-105 תוכננו במקור לזיהוי וחלוקת שלבים כירורגיים בניתוחי קטרקט, יש מידע מוגבל על סיבוכי ויטרקטומיה לאחר הניתוח. כדי להתמודד עם חוסר המידע על סיבוכי ויטרקטומיה לאחר הניתוח, אנו מציעים סט תוויות פרוקסי למידע סיכון בהתבסס על דפוסי ראייה תוך ניתוח ואירועים ברצף הווידאו. הפריימים ורצפי הווידאו במאגרי הנתונים סומנו במידע סיכון בשלוש רמות (נמוך, בינוני, גבוה) בהתאם למערכת היוריסטיקות בהשראת הבנה קלינית, כולל מורכבות אינטראקציה בין כלי לרקמה, חריגות משך ניתוח, חסימה, חוסר יציבות ותנועה לא תקינה. הנוסחה המוצעת אינה משתמשת בתוצאות קליניות כתוויות, אלא מתייחסת אליהן כתוויות פרוקסי למידע סיכון על סיבוכים פוטנציאליים לאחר הניתוח.

עיבוד מוקדם באמצעות גישת cGAN

בדרך כלל, מסגרות גולמיות נפגעות לעיתים קרובות עקב שינויים בתאורה, טשטוש וארטיפקטים ספקולריים. כדי להתמודד עם זה, נעשה שימוש ברשת עוינת גנרטיבית מותנית (cGAN) לשיפור הווידאו. פריימים גולמיים הם המסגרות המקוריות והלא מעובדות שמופקות ישירות מהקלטות וידאו מיקרוסקופיות תוך ניתוח, לפני כל שיפור או נרמל. פריימים אלו בדרך כלל מכילים ארטיפקטים כמו שונות בתאורה, טשטוש תנועה, השתקפויות ספקולריות ורעש הנובעים מכלי כירורגיה ותנועות מצלמה. גנרטור משחזר פריימים נקיים בעוד שהדיסקרימינטור מחזק ריאליזם חזותי. פונקציית המטרה שמשלבת שחזור פיקסלים, אובדן עקביות יריבה וזמן, ומבטיח רצפי וידאו יציבים וללא ארטיפקטים לניתוח נוסף.

מסגרת מדורגת It בצעד הזמן t היא קלט הגנרטור, בעוד שמסגרת משופרת Yt = G(It) היא הפלט שלו. בהתבסס על הקלט It, המבחין מאומן להבחין בין הפלט שנוצר לבין מסגרת האמת הנקייה Yt. מטרת האימון כוללת מספר פונקציות הפסד כדי להבטיח שחזור איכותי: (i) הפסד עוין לאכיפת ריאליזם; (ii) אובדן שחזור פיקסלים (L1) לשמירה על נאמנות העוצמה; (iii) אובדן תפיסתי לשימור עקביות מבנית באמצעות ייצוגים של תכונות עמוקות; ו-(iv) אובדן עקביות זמן כדי להבטיח מעברים חלקים בין פריימים עוקבים ולמנוע ארטיפקטים מהבהבים.

כדי להבטיח קלט איכותי להפקת תכונות, סרטוני מיקרוסקופיה תוך ניתוח משודרגים תחילה באמצעות cGAN. כל מסגרת גולמית It* נחשבת לתצפית מתדרדרת של פריים נקי . מחולל G לומד מיפוי G(It) = It לשחזור פריימים משופרים, בעוד שהדיסקרימינטור D מבחין בין דגימות אמיתיות לדגימות שנוצרות. מטרת אימון משלבת אובדן עוין Ladv, אובדן תפיסתי Lperc מבוסס פיקסלים Ll1, ועקביות זמנית בטמפרטורה L. מודל זה מדכא טשטוש, ארטיפקטים ספקולריים ורעש תוך שמירה על קוהרנטיות זמנית ומבנית, ומספק רצפי וידאו יציבים וללא ארטיפקטים לניתוח במורד הזרם. הניסוח של GAN מבוטא במשוואות [1-6] של קובץ התוספת 1.

סגמנטציה באמצעות סגמנטציה אדפטיבית קונטור (CAS)

בזה, סגמנטציה מתבצעת באמצעות מודל סגמנטציה אדפטיבי לקווי מתאר. זה מגדיר קווי מתאר ראשוניים לחלוקת תמונות ויטרקטומיה מושפעות בתמונות מיקרוסקופיה, ובכך מפחית את פונקציית האנרגיה, כפי שמוצג במשוואות [7-12] בקובץ המשלים 1. ערך האנרגיה הנמוך מבטיח ייצוגים מדויקים והערכה מקומית של אזורים בסיכון. דבר זה, בתורו, מאפשר סגמנטציה מדויקת של האזורים המושפעים, מה שמקל בהמשך על חילוץ תכונות בחלק הבא.

חילוץ תכונות באמצעות GCN מרחבי-זמני דינמי (dGCN)

לאחר סיום שלב העיבוד המוקדם, השלב הבא הוא להוציא תכונות מרחב-זמניות מובחנות. מסיבה זו, משתמשים ברשת קונבולוציונית גרפית (GCN), שכן היא יעילה בלכידת תלויות מובנות. המודל שאומץ כולל שכבות GCN מוערמות עם הפעלות לא ליניאריות שמפחיתות התאמת יתר ומטפלות בבעיית היעלמות הגרדיאנט באמצעות מנגנון נרמליזציה. ניסוח ה-GCN נשען על קירוב ספקטרלי מסדר ראשון של קונבולוציות גרפיות, מה שהופך אותו מתאים למשימות למידה חצי-מפוקחות בקנה מידה גדול. יתרה מזאת, הייצוג הלינארי מפשט אופטימיזציה, ובכך מבטיח למידה יעילה של פרמטרים. הפעולה של GCN מפושט מבוטאת במשוואות [13–15] של קובץ משלים 1. בעת יישום, GCN מפיקה ביעילות ייצוגים מבניים ברמה גבוהה יותר מנתוני וידאו תוך ניתוח. בהמשך, רק התכונות הרלוונטיות או המתאימות ביותר נשמרות על פני מנגנון בחירה בסיוע אופטימיזציה, שמתואר בסעיף הבא.

אופטימיזציה של תכונות באמצעות אופטימיזציה אדפטיבית מבוססת חמניות (ASFO)

אלגוריתם אופטימיזציה אדפטיבי לחמנייה (ASFO) הוא גרסה משופרת של גישת אופטימיזציית החמנייה הקלאסית (SFOA). במודל המוצע, תהליך מונע ביולוגית זה מדומה מתמטית כדי לטפל בשיפור ובחירת תכונות במאגר נתונים מממד גבוה. גישה זו מותאמת במיוחד לשיפור מהירות ההתכנסות, לאזן בין חקירה וניצול לשימור גיוון בפתרונות ולהפחתת התכנסות מוקדמת. הניסוח המתמטי של ASFO מפורט במשוואות [16–21] של קובץ משלים 1. תכנית זו מאיצה את ההתכנסות כאשר הפתרונות קרובים לאופטימליים. האלגוריתם המפורט מסופק בקובץ משלים 1. בצינור המוצע, ASFO משמש לשיפור וקטור התכונה לאחר מיזוג מבוסס טרנספורמרים. המאפיינים שנבחרו הם מבוססי מרקם, צבע ועוצמה, מורפולוגיים ומבניים, תנועה וזמן, ממדים גבוהים ומונחי קשב. המטרה היא למזער את פונקציית אובדן הרלוונטיות לתכונות, ובכך לבחור ולשקל תכונות שמשפרות את דיוק הסיווג על ידי הפחתת כפילות.

ראש סיווג מבוסס שנאי עם איגום תשומת לב מרחבי-זמני

מודל מבוסס שנאי משמש ללכידת תלות זמנית בין רצפי וידאו כירורגיים. המודל מוגדר עם ריכוז עצמי מרובה ראשים, קידוד מיקום ושכבות מחוברות לחלוטין לחיזוי סיכון סופי. אופטימיזציה של היפרפרמטרים מתבצעת באמצעות ASFO. הצינור המשולב משלב עיבוד מוקדם, חילוץ תכונות, אופטימיזציה וסיווג מבוסס שנאי כדי לאפשר חיזוי סיכוני ניתוחי מדויק.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

כדי להעריך את יעילות המודל המוצע, נערכו ניסויים נרחבים באמצעות מערכי נתונים של ויטרקטומיה מהעולם האמיתי. הביצועים הוערכו בעיבוד מוקדם, יעילות חילוץ תכונות ודיוק חיזוי.

ניתוח ביצועים והערכה השוואתית

המתודולוגיה המוצעת הושוותה למודלים בסיסיים תוך שימוש במדדים הכוללים דיוק, דיוק, שלירה, ציון F1, mIoU, דיוק פיקסלים (PA), דיוק לכל סוג (PAC), רגישות, ספציפיות, ROC ו-AUC. שיעורי חיובי אמיתי (TP), שלילי אמיתי (TN), חיובי שג...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הערכה ניסויית על מערכי הנתונים CaDIS ו-SICS-105 מאשרת את החוסן והעליונות של המודל המוצע על פני הגישות המסורתיות. מודלים בסיסיים כמו ResNet-50, LSTM-CNN ורשתות מונעות סגמנטציה (UNet, DeepLabV3+, UPerNet, HRNetV2) מבצעים ביצועים סבירים אך מוגבלים על ידי שונות וידאו מובנית בתוך הניתוח, כולל שינויים בתאורה, סתימות, טשטוש תנועה ואינטראקציות בין כלי לרקמה22,23. מגבלות אלו הובילו לירידה בדיוק, לזכירות נמוכות ולתחזיות לא יציבות במחלקות מ...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין ניגודי עניינים לחשוף.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים רוצים להודות למכללת הרפואה של צפון סצ'ואן על מתן התמיכה והמשאבים המוסדיים הנדרשים. תודה מיוחדת לצוות הקליני בבית החולים המרכזי גואנגיואן על סיועו באיסוף סרטוני מיקרוסקופיה תוך-ניתוחית.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
תחנת עבודה בעלת ביצועים גבוהיםתאגיד NVIDIA, ארה"בRTX-A6000שימש לאימון דגמים; כרטיס גרפי VRAM בנפח 48GB עם מעבד Intel Core i9 ו-128 GB זיכרון RAM
פייתון (v3.10)קרן התוכנה של פייתוןקוד פתוחשפת תכנות מרכזית לפיתוח וניסויים במודלים
TensorFlow (v2.15)מחקר גוגלקוד פתוחמסגרת המשמשת ליישום קדם-עיבוד cGAN ומסווג טרנספורמר
פייטורץ' (v2.2.0)מטא AIקוד פתוחמשמש ליישום מודולי GCN ו-Adaptive Sunflower Optimization
CUDA Toolkit (v12.1)תאגיד NVIDIACUDA-12.1מספק האצת GPU לכל חישובי הלמידה העמוקה
רשת יריבה מותנית גנרטיבית מותנית (cGAN)מותאם ממסגרת Pix2Pixלא זמיןמשמש לשיפור וידאו והסרת פריטים במהלך עיבוד מוקדם
מעריך זרימה אופטי (RAFT)טיד & דנג (ECCV 2020)לא זמיןמבטיח עקביות זמנית בין פריימים במהלך העיבוד המוקדם
מודל סגמנטציה אדפטיבית קונטור (CAS)מימוש מותאם אישיתלא זמיןמודל קונטור אקטיבי מותאם לצורך סגמנטציה מדויקת של גבולות בסרטוני ויטרקטומיה
רשת קונבולוציה דינמית של גרף (GCN)מימוש מותאם אישית (מבוסס על Kipf ו-Kipf וולינג, 2017)לא זמיןמחלץ יחסי מרחב-זמן בין צמתים של תכונת וידאו
אלגוריתם אופטימיזציה אדפטיבי לחמנייה (ASFO)מימוש מותאם אישיתלא זמיןמשמש לבחירת תכונות אופטימלית והפחתת ממדיות
מודל מקודד הטרנספורמרמימוש מותאם אישית (מבוסס על וסוואני ואחרים, 2017)לא זמיןמשמש לסיווג סיבוכים סופי לאחר הניתוח עם ריכוז קשב מרחבי-זמני
Matplotlib (גרסה 3.8)קרן התוכנה של פייתוןקוד פתוחמשמש להמחשת מדדי ביצועים וגרפים
סיבורן (v0.13)קרן התוכנה של פייתוןקוד פתוחמשמש לוויזואליזציה מתקדמת וגרפיקה סטטיסטית
אדם אופטימייסרTensorFlow מובנהלא זמיןשימש לאימון דגמים; קצב למידה = 1e-4, &בטא; 1=0.9, &בטא; 2=0.999
Loss Function Suite (L_adv, L_l1, L_perc, L_temp, L_G)מימוש מותאם אישיתלא זמיןמגדיר הפסדים יריבים, תפיסתיים, פיקסלים וזמניים לאימון GAN
מערכת הפעלהUbuntu Linux 22.04 LTSלא זמיןסביבה בסיסית לניסויים בלמידה עמוקה
חבילת מדדי הערכהScikit-Learn (v1.5.0)קוד פתוחמשמש לחישוב דיוק, דיוק, שחזור, ציון F1, AUC ו-mIoU

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Zhang, Z. R., Li, J. J., Li, K. R. Artificial intelligence in individualized retinal disease management. Int. J. Ophthalmol. 17, 1519(2024).
  2. Liu, Y., et al. Automated detection of nine infantile fundus diseases and conditions in retinal images using a deep learning system. EPMA J. 15, 39-51 (2024).
  3. Wang, X. N., et al. A deep learning system for detection of optic disc neovascularization in diabetic retinopathy. Vis. Comput. 41, 1293-1302 (2025).
  4. Ni, L., et al. Prediction of postoperative macular hole status by automated preoperative retinal OCT analysis. Ophthalmic Surg. Lasers Imaging Retina. 56, 355-360 (2025).
  5. Mathews, M. R., Anzar, S. M. Advancing computer-assisted diabetic retinopathy grading. Int. J. Imaging Syst. Technol. 35, e70152(2025).
  6. Wu, X. Y., et al. Bibliometric analysis of global myopia research. Int. J. Ophthalmol. 17, 940(2024).
  7. Rahat, S. R. U. I., et al. Advancing diabetic retinopathy detection with AI and deep learning. Br. J. Nurs. Stud. 5, 1-13 (2025).
  8. Rezaei, A., et al. Automated multimodal severity assessment of diabetic retinopathy. SSRN. , (2024).
  9. Suzue, M., et al. Predicting visual outcomes after vitrectomy. Graefes Arch. Clin. Exp. Ophthalmol. 263, 2505-2513 (2025).
  10. Sabeena, A. S., Jeyakumar, M. K. Ensemble deep learning for diabetic retinopathy classification. Biomater. Devices. , (2025).
  11. Gencer, K., et al. GAN-based approach for diabetic retinopathy detection. Photodiagn. Photodyn. Ther. 53, 104552(2025).
  12. Huang, Z., et al. Risk prediction model for neovascular glaucoma. Front. Cell Dev. Biol. 13, 1604832(2025).
  13. Wang, Y., Liu, L., Wang, C. Trends in deep learning for biomedical prediction. Front. Neurosci. 17, 1256351(2023).
  14. Tang, J., et al. Ectopic inner foveal layer as prognostic predictor. Sci. Rep. 15, 25066(2025).
  15. Shamsan, A., et al. Predicting diabetic retinopathy stages using deep learning. PLoS One. 18, e0289555(2023).
  16. Baldi, P. F., et al. Vitreoretinal surgical instrument tracking. Transl. Vis. Sci. Technol. 12, 20(2023).
  17. Yuan, S., et al. Risk factors after vitrectomy with silicone oil. Sci. Rep. 13, 10423(2023).
  18. Wei, Y., et al. DRDB platform for diabetic retinopathy. Oxid. Med. Cell Longev. 2022, 1718353(2022).
  19. Yagin, F. H., et al. Explainable AI for metabolomics analysis. Diagnostics. 14, 1364(2024).
  20. Nespolo, R. G. Intraoperative artificial intelligence in ophthalmology. , University of Illinois Chicago. Doctoral dissertation (2024).
  21. Nespolo, R. G., et al. Real-time segmentation in vitreoretinal surgery. Ophthalmol. Retina. 7, 236-242 (2023).
  22. Mishra, K., Leng, T. Artificial intelligence and ophthalmic surgery. Curr. Opin. Ophthalmol. 32, 425-430 (2021).
  23. Mueller, S., et al. AI in cataract surgery: systematic review. Transl. Vis. Sci. Technol. 13, 20(2024).
  24. Wen, D., et al. Postoperative visual acuity prediction. BMC Ophthalmol. 23, 361(2023).
  25. Hu, Y., et al. Prediction of macular hole status. Ann. Transl. Med. 9, 51(2021).
  26. Catania, F., et al. Deep learning for retinal detachment recurrence. Acta Ophthalmol. 102, e984-e993 (2024).
  27. Gan, F., et al. AI-PVR Insight system. Quant. Imaging Med. Surg. 15, 2774(2025).
  28. Lee, S. S., et al. Prediction after diabetic vitrectomy. Transl. Vis. Sci. Technol. 11, 25(2022).
  29. Kamnig, R., et al. Neural network for visual acuity prediction. Ophthalmol. Sci. 5, 100762(2025).
  30. Kim, J., et al. Prediction of vitreous hemorrhage causes. Diagnostics. 15, 371(2025).
  31. Flouty, E., et al. CaDIS dataset. CoRR. abs/1905.08993, (2019).
  32. Mueller, S., et al. Phase recognition in cataract surgery. Sci. Rep. 15, 16886(2025).
  33. Aravinda, C. V., et al. Hybrid architecture for video frame prediction. J. Real-Time Image Process. 22, 50(2025).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

Transformer

מאמרים קשורים