Summary
המחקר הנוכחי השתמש ב-U-Net ובאלגוריתמים אחרים של למידה עמוקה כדי לפלח תמונת לשון והשווה את תוצאות הסגמנטציה כדי לחקור את החפצת אבחון הלשון.
Abstract
אבחון לשון הוא טכניקה חיונית של אבחון הרפואה הסינית המסורתית (TCM), והצורך בהחפצת תמונות לשון באמצעות טכנולוגיית עיבוד תמונה הולך וגדל. המחקר הנוכחי מספק סקירה כללית של ההתקדמות שחלה בהחפצת לשון בעשור האחרון ומשווה מודלים של סגמנטציה. מודלים שונים של למידה עמוקה נבנים כדי לאמת ולהשוות אלגוריתמים באמצעות ערכות תמונות לשון אמיתיות. נקודות החוזק והחולשה של כל מודל מנותחות. הממצאים מצביעים על כך שהאלגוריתם של U-Net עולה בביצועיו על מודלים אחרים הנוגעים למדדי דיוק דיוק (PA), היזכרות וממוצע הצטלבות על פני איחוד (MIoU). עם זאת, למרות ההתקדמות המשמעותית ברכישה ובעיבוד של תמונות לשון, טרם נקבע סטנדרט אחיד לאבחון החפצת לשון. כדי להקל על היישום הנרחב של תמונות לשון שצולמו באמצעות מכשירים ניידים בהחפצה של אבחון לשון, מחקר נוסף יכול להתמודד עם האתגרים שמציבות תמונות לשון שצולמו בסביבות מורכבות.
Introduction
תצפית לשון היא טכניקה נפוצה ברפואה האתנית הסינית המסורתית (TCM). הצבע והצורה של הלשון יכולים לשקף את המצב הגופני ואת תכונות המחלה, חומרותיה ופרוגנוזות שונות. לדוגמה, ברפואת המונג המסורתית, צבע הלשון משמש לזיהוי טמפרטורת הגוף, למשל, לשון אדומה או סגולה מצביעה על גורמים פתולוגיים הקשורים לחום. ברפואה הטיבטית, מצב נשפט על ידי התבוננות בלשון של מטופל, תוך שימת לב לצבע, לצורה וללחות של הריר. לדוגמה, הלשונות של חולים עם מחלת היי הופכות אדומות ומחוספסות או שחורות ויבשות1; חולים עם מחלת Xieri2 יש לשון צהובה ויבשה; בינתיים, לחולים עם מחלת בדקאן3 יש לשון לבנה, לחה ורכה4. תצפיות אלה חושפות את הקשר ההדוק בין תווי הלשון לבין פיזיולוגיה ופתולוגיה. באופן כללי, מצב הלשון ממלא תפקיד חיוני באבחון, זיהוי מחלות והערכת השפעת הטיפול.
במקביל, בשל תנאי חיים מגוונים ומנהגי תזונה בין קבוצות אתניות שונות, ניכרים הבדלים בדימויי הלשון. מודל המעבדה, שנקבע על בסיס תקן בינלאומי לקביעת צבע, גובש על ידי הוועדה הבינלאומית לאקלראז' (CIE) בשנת 1931. בשנת 1976 שונתה תבנית צבע וקיבלה את שמה. מודל הצבע Lab מורכב משלושה אלמנטים: L מתאים לבהירות, בעוד a ו-b הם שני ערוצי צבע. A כולל צבעים מירוק כהה (ערך בהירות נמוכה) דרך אפור (ערך בהירות בינונית) עד ורוד בהיר (ערך בהירות גבוהה); B עובר מכחול בהיר (ערך בהירות נמוכה) לאפור (ערך בהירות בינונית) לצהוב (ערך בהירות גבוהה). על ידי השוואת ערכי L x a x b של צבע הלשון של חמש קבוצות אתניות, יאנג ואחרים מצאו כי המאפיינים של תמונות לשון של קבוצות המונג, חוי, ג'ואנג, האן ומונגוליה היו שונים באופן משמעותי זה מזה. לדוגמה, למונגולים יש לשונות כהות עם ציפוי לשון צהוב, בעוד שלבני המונג יש לשון בהירה עם ציפוי לשון לבן, דבר המצביע על כך שתווי הלשון יכולים לשמש כאינדיקטור אבחוני להערכת מצב הבריאות של אוכלוסייה. יתר על כן, תמונות לשון יכולות לתפקד כמדד הערכה לרפואה מבוססת ראיות במחקר קליני של רפואה אתנית. הוא ועמיתיו השתמשו בתמונות לשון כבסיס לאבחון TCM והעריכו באופן שיטתי את הבטיחות והיעילות של כדורי Chou-Ling-Dan (גרגרי CLD המשמשים לטיפול במחלות דלקתיות וחום, כולל שפעת עונתית ב- TCM) בשילוב עם רפואה סינית ומערבית. התוצאות ביססו את התוקף המדעי של תמונות לשון כמדד הערכה למחקרים קליניים. עם זאת, רופאים מסורתיים מסתמכים בדרך כלל על סובייקטיביות כדי לבחון את מאפייני הלשון ולהעריך את מצבם הפיזיולוגי והפתולוגי של החולים, הדורשים אינדיקטורים מדויקים יותר.
הופעתם של האינטרנט וטכנולוגיית הבינה המלאכותית סללה את הדרך לדיגיטציה והחפצה של אבחון לשון. תהליך זה כרוך בשימוש במודלים מתמטיים כדי לספק תיאור איכותי ואובייקטיבי של תמונות לשון7, המשקף את התוכן של תמונת הלשון. התהליך כולל מספר שלבים: רכישת תמונה, פיצוי אופטי, תיקון צבע וטרנספורמציה גיאומטרית. התמונות המעובדות מראש מוזנות לאחר מכן למודל אלגוריתמי למיקום וסגמנטציה של תמונות, חילוץ תכונות, זיהוי תבניות וכו '. תוצר תהליך זה הוא אבחון יעיל ומדויק ביותר של נתוני תמונת לשון, ובכך משיג את המטרה של החפצה, כימות ואינפורמציה של אבחון לשון8. כך מושגת המטרה של יעילות גבוהה ועיבוד מדויק של נתוני אבחון הלשון. בהתבסס על ידע באבחון לשון וטכנולוגיית למידה עמוקה, מחקר זה הפריד באופן אוטומטי את גוף הלשון ואת ציפוי הלשון מתמונות לשון באמצעות אלגוריתם ממוחשב, על מנת לחלץ את התכונות הכמותיות של הלשון עבור רופאים, לשפר את האמינות והעקביות של האבחון, ולספק שיטות למחקר החפצה של אבחון לשון לאחר מכן9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
מחקר זה אושר על ידי הקרן הלאומית למדעי הטבע של סין, בניית כללי שינוי דינמי של תמונת פנים TCM בהתבסס על ניתוח אסוציאציות. מספר אישור האתיקה הוא 2021KL-027, וועדת האתיקה אישרה את המחקר הקליני לביצוע בהתאם למסמכים המאושרים הכוללים פרוטוקול מחקר קליני (2021.04.12, V2.0), הסכמה מדעת (2021.04.12, V2.0), חומרי גיוס נבדקים (2021.04.12, V2.0), מקרי מחקר ו/או דיווחי מקרה, כרטיסי יומן נושא ושאלונים אחרים (2021.04.12, V2.0), רשימת המשתתפים בניסוי הקליני, אישור פרויקט מחקר וכו'. התקבלה הסכמה מדעת של החולים שהשתתפו במחקר. הגישה הניסויית העיקרית של מחקר זה היא להשתמש בתמונות לשון אמיתיות כדי לאמת ולהשוות את השפעות פילוח המודל. איור 1 מציג את המרכיבים של החפצת אבחון לשון.
1. רכישת תמונות
- השתמש במכשיר לאבחון פנים לשוני ידני שפותח בעצמו כדי לאסוף תמונות פנים לשוניות של מטופלים.
- מלא את שם החולה, מינו, גילו ומחלתו בדף המחשב. התמונות הכלולות כאן הן של מטופלים שהגיעו למרפאה והסכימו להצטלם לאחר שנודע להם על מטרת המחקר ותוכנו. ודאו שהמטופל יושב זקוף, הניחו את כל הפנים במכשיר לרכישת תמונה, והנחו את המטופל להוציא את לשונו מהפה במידה המרבית.
- החזיקו את מכשיר רכישת התמונות המחובר למחשב וודאו באמצעות התמונות על מסך המחשב שהמטופל נמצא במיקום הנכון ושהלשון והפנים חשופות במלואן.
- לחץ על לחצן צלם במסך המחשב שלוש פעמים כדי לצלם שלוש תמונות.
הערה: מכשיר רכישת התמונה נמצא כרגע רק בשלב בקשת הפטנט ואינו לשימוש מסחרי, ולכן הוא אינו למכירה. - בחר וסנן ידנית את תמונות הלשון והפנים שנאספו. סנן ולא הכלול תמונות עם חשיפה חלקית של הלשון והפנים, וכן תמונות כהות מדי עקב אור לא מספיק. איור 2 מציג את דף רכישת התמונות של התוכנה.
- בתכנון הניסוי, אספו שלוש תמונות מכל מטופל בכל פעם כחלופות ובחרו תמונה סטנדרטית יחסית, חשופה במלואה, מוארת היטב וברורה כדגימה לאימון ובדיקת האלגוריתמים הבאים.
- לאסוף נתונים לאחר הצילום, לייצא את הנתונים להקרנה ידנית, ולמחוק את התמונות הלא סטנדרטיות גלוי לעין בלתי. השתמש בקריטריוני הסינון וההדרה הבאים: חשיפה חלקית של לשון ופנים, ותמונות כהות מדי כתוצאה מאור לא מספיק. דוגמה לתמונה שאינה מוארת כראוי, תמונה חלקית ותמונה סטנדרטית מוצגת באיור 3.
הערה: אור לא מספיק נגרם בדרך כלל על ידי כישלון של המטופל למקם את הפנים לחלוטין לתוך המכשיר. חשיפה מלאה מושגת בדרך כלל רק על ידי צילום נכון של המטופל.
2. פילוח לשון
- בצע פילוח תמונות לשון באמצעות כלי ביאור מקוון, כמתואר להלן.
- התקן את Labelme, לחץ על כפתור פתח בפינה השמאלית העליונה של ממשק התווית, בחר את התיקיה שבה נמצאת התמונה ופתח את התמונות.
- לחץ על צור מצולע כדי להתחיל לעקוב אחר נקודות, לעקוב אחר הלשון והצורות הלשוניות, לתת להן שם בהתאם לאזורים שנבחרו (למשל, לשון ומשטח לשוני) ולשמור אותן.
- לאחר השלמת כל הסימונים, לחץ על שמור כדי לשמור את התמונה בתיקיית הנתונים. ראו איור 4 לקבלת תרשים זרימה מפורט.
הערה: מכיוון שלתמונות עשויים להיות הבדלים בפיקסלים, לא ניתן להשתמש בתמונות ישירות לאימון ובדיקה של אלגוריתמים.
- אחד את התמונות לאותו גודל על-ידי מילוי קצוות של התמונות, כאשר הצד הארוך של התמונה הוא אורך מילוי היעד וביצוע מילוי קצוות לבן כדי למלא את התמונות לריבוע, כאשר הצד הארוך של התמונה הוא אורך הקצוות. גודל התמונה שצולם על ידי המכשיר הוא 1080 x 1920 פיקסלים, וגודל התמונה המלאה הוא 1920 x 1920 פיקסלים. ראו איור 5.
- החל שיפור תמונה במידת הצורך. במחקר זה לא יושם שיפור, שכן התמונות בהן נעשה שימוש צולמו בסצנה קבועה והושפעו פחות מהסביבה, מהתאורה ומגורמים אחרים.
- מכיוון ששלוש תמונות נאספו עבור כל מטופל במהלך תהליך הצילום כדי לקחת בחשבון גורמים בלתי נשלטים, כגון מצמוץ נושא וחסימת עדשה, סנן ידנית את התמונות מכל מטופל כדי לשמור תמונה אחת לכל מטופל.
- לצורך אימון המודל, לאסוף נתונים מ -200 אנשים, או 600 תמונות. לאחר ההקרנה, שמרו כ-200 תמונות שמישות.
- על פי מספר התמונה, חלקו באופן אקראי את כל תמונות הלשון, והכניסו 70% מהן לסט האימונים ו-30% לסט המבחנים בגיליון אלקטרוני.
3. סיווג לשון
- עבור אל האתרים הרשמיים והורד והתקן את Anaconda, Python ו- Labelme. הפעל את הסביבה והשלם את ההתקנה וההתאמה של הסביבה הכוללת. ראה איור 6 לקבלת תרשים זרימה המתאר את ההתקנה וההגדרה של התוכנה.
- בנה את מודל אלגוריתם הלמידה העמוקה בסביבה המותקנת, כוונן את הפרמטרים והשלם את אימון המודל באמצעות ערכת ההדרכה. בצע בחירת דגם וכוונון כמתואר בשלבים הבאים.
- בחירת מודל: בחר את המודל המתאים בהתבסס על מטרת המחקר. לאחר סקירת מחקרים על עיבוד תמונות לשון ב-5 השנים האחרונות, נבחרו ארבעה אלגוריתמים, U-Net, Seg-Net, DeeplabV3 ו-PSPNet, לאימות במחקר זה (ראו קובץ קידוד משלים 1, קובץ קידוד משלים 2, קובץ קידוד משלים 3 וקובץ קידוד משלים 4 לקודי מודל).
- בניית ערכת הנתונים: לאחר השלמת בחירת הדגם, בנו את מערך הנתונים הנדרש בשילוב עם תוכן המחקר, בעיקר באמצעות ביאור Labelme ושיטות גודל התמונה האחידות, כמתואר לעיל.
- בצע אימון מודל כמתואר להלן. איור 7 מציג פרטים על פעולת אימון האלגוריתם.
- הזן את הנתונים לרשת העצבית לצורך התפשטות קדימה, כאשר כל תא עצב מזין תחילה הצטברות משוקללת של ערכים ולאחר מכן מזין פונקציית הפעלה כערך הפלט של אותו נוירון כדי לקבל את התוצאה.
- הזן את התוצאה לפונקציית השגיאה והשווה אותה לערך הצפוי כדי לקבל את השגיאה ולשפוט את מידת הזיהוי בטעות. ככל שפונקציית ההפסד קטנה יותר, כך המודל יהיה טוב יותר.
- צמצם את השגיאה על ידי התפשטות לאחור וקבע את וקטור השיפוע. התאימו את המשקולות של וקטור מעבר הצבע למגמה לעבר התוצאות כך שהשגיאה נוטה לאפס או מתכווצת.
- חזור על תהליך אימון זה עד להשלמת הערכה או עד שערך השגיאה אינו יורד עוד, ואז אימון המודל הושלם. ראו איור 8 לתרשים זרימה של מודל האלגוריתם באימון ובבדיקות.
- בדוק את ארבעת המודלים באמצעות אותם נתוני בדיקה עבור סגמנטציה ושפוט את ביצועי המודל בהתאם לאפקט הסגמנטציה. ארבעת המדדים של דיוק, היזכרות, דיוק פיקסלים ממוצע (MPA) ו-MIoU מספקים הערכת ביצועי מודל מקיפה יותר.
- לאחר יצירת התוצאות של ארבעת המודלים, השווה את ערכיהם אופקית; ככל שהערך גבוה יותר, כך דיוק הפילוח גבוה יותר וביצועי המודל טובים יותר. ראו איור 9, איור 10 ואיור 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
לתוצאות ההשוואה, ראו איור 12, איור 13 וטבלה 1, שם הסביבה שנבנתה במחקר זה משתמשת באותן דגימות כדי לאמן ולבדוק את מודל האלגוריתם. מחוון MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3; מחוון MPA: U-Net > Seg-Net > PSPNet > DeeplabV3; מחוון דיוק: U-Net > Seg-Net > DeeplabV3 > PSPNet; נזכיר: U-Net > Seg-Net >-PSPNet >-DeeplabV3. ככל שערך המדד גדול יותר, כך דיוק הפילוח גבוה יותר וביצועי המודל טובים יותר. על פי תוצאות המדד, ניתן לנתח כי אלגוריתם U-Net עדיף על האלגוריתמים האחרים ב-MIoU, MPA, דיוק והיזכרות, וגם דיוק הפילוח שלו גבוה יותר משאר האלגוריתמים. לכן, לאלגוריתם U-Net יש את הביצועים הטובים ביותר מבין ארבעת האלגוריתמים השונים. PSPNet טוב יותר מ- DeeplabV3 ב- MIoU, MPA ו- recall, בעוד שמודל DeeplabV3 נמוך ממודל Seg-Net בכל המדדים. לכן, ניתן להסיק כי לאלגוריתם DeeplabV3 יש את הביצועים המקיפים הכי פחות רצויים מבין ארבעת האלגוריתמים בסביבת מחקר זו.
מדדי הערכה
במחקר זה, הביצועים של מודל האלגוריתם אומתו בעיקר על ידי דיוק, היזכרות, MPA ו- MIoU. מדדי הביצועים של המודל קשורים ישירות למטריצת הבלבול, המורכבת מתוצאות סיווג המודל, ומשקפת את מספר הדגימות שהמודל סיווג בצורה נכונה ולא נכונה. המטריצה מייצגת את הערך המשוער, שווה ערך לתוצאות קבוצת הבדיקה, והמטריצה בפועל מייצגת את האמת הקרקעית. שתי הקטגוריות מחולקות ל- true ו- false, המיוצגות על ידי T ו- F בהתאמה, והתוצאה היא ארבעה שילובים: TP, FP, FN ו- TN.MPA הוא הערך הממוצע של החלק היחסי של פיקסלים המסווגים כהלכה בכל קטגוריה, ו- MIoU הוא יחס ההצטלבות הממוצע למיזוג. זהו המדד הנפוץ ביותר לפילוח סמנטי; הוא מחשב את היחס בין הצומת וממזג את הערכים האמיתיים והחזויים10. הנוסחה עבור אלה הם:
דיוק = , היזכרות = , MPA = (CPA = , כאשר N הוא המספר הכולל של קטגוריות), ו- MIoU = (IoU = 
).
ארבעת המדדים הללו מספקים הערכה מקיפה יותר של אפקט הפילוח של תמונות לשון.
מחקר זה בחר ארבעה מודלים של אלגוריתמי למידה עמוקה, U-Net, Seg-Net, DeeplabV3 ו-PSPNet, כדי לאמן ולבדוק את מודלי האלגוריתם באמצעות נתוני תמונה לשוניים אמיתיים. ל- U-Net11 ארכיטקטורה בצורת U, המורכבת ממקודד משמאל ומפענח מימין, ויש לה את היתרון של אימון תוצאות סיווג מדויקות יותר עם פחות נתונים וחילוץ תכונות תמונה מקיפות. בהתבסס על רשת Res-Net כדי לפתור את בעיית פילוח המטרות בקנה מידה רב, DeepLabV3 מאמץ את מבנה הפיתול החלול, מתכנן את המודול כך שילכוד את ההקשר הרב-משני, מסיר את השדה האקראי המותנה (CRF) ומשדרג את מודול איגום הפירמידה המרחבית (ASPP), תוך שיפור משמעותי בביצועי המודל. פילוח סמנטי נועד לקבל את תווית הקטגוריה עבור כל פיקסל של האובייקט המקוטע. Seg-Net היא ארכיטקטורת רשת עצבית קונבולוציונית (CNN) עם מבנה סימטרי לסגמנטציה סמנטית, כולל מקודד ומפענח. היתרון בכך הוא ששיטת הדגימה של המפענח לדיאגרמות תכונות ברזולוציה נמוכה יותר מבטלת את זמן הלמידה של הדגימה המוגברת. מודל PSPNet מיושם בעיקר על ניתוח סצנות, הוספת מידע הקשר לפילוח סמנטי, שיכול למנוע שגיאה חלקית, לפתור את הבעיה של היעדר אסטרטגיות מתאימות לשימוש במידע סיווג סצנה גלובלי, ולשפר את האמינות של התוצאות החזויות הסופיות.
איור 1: מרכיבי החפצת אבחון הלשון. רכיבי אבחון לשון, כולל אלמנטים של צילום תמונות, פילוח לשון וסיווג לשון. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 2: דף רכישת תמונות. ממשק רכישת תמונות לשון ותוכן השאלון. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 3: קריטריונים לסינון ודחיית תמונות. סימן שנתות ירוק מייצג קריטריוני הכללה וצלב אדום מייצג קריטריוני אי-הכללה. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 4: דיאגרמה סכמטית של תהליך סימון Labelme. תוכנת Labelme משמשת לביאור כל התהליך של התמונה, החל מפתיחת התיקיה ועד לשמירת הקובץ. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 5: דיאגרמת קדם-עיבוד תמונה. גודל התמונה המצולמת הוא 1080 x 1920 פיקסלים, וגודל תמונת המילוי הוא 1920 x 1920 פיקסלים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 6: תרשים זרימה של תצורת סביבה. האלגוריתם יכול לפעול רק לאחר הגדרת הסביבה. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 7: דיאגרמת פירוט של אימון אלגוריתמים. שלבים מפורטים ושיטות ביצוע בפעולת האלגוריתם. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 8: תרשים זרימה של מודל אלגוריתם באימון ובבדיקות. השלבים החשובים של האלגוריתם, כולל עיבוד נתונים, אימון אלגוריתמים ובדיקת אלגוריתם. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 9: מבנה אלגוריתם Seg-Net. אלגוריתם Seg-Net מבנה לוגי ותהליך הרצת קוד. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 10: מבנה האלגוריתם של U-Net. אלגוריתם U-Net מבנה לוגי ותהליך הרצת קוד. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 11: זרימה של מחקרי פילוח תמונות לשון. האזור האדום בתמונה הוא תוצאה של פילוח הלשון, והאזור הירוק הוא תוצאה של פילוח ציפוי הלשון. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
תרשים 12: טבלת השוואה של ארבעה מדדי אלגוריתמים. MIoU, MPA, דיוק והיזכרות הם כולם מדדי הערכה של ביצועי אלגוריתמים. ככל שהערך גדול יותר, כך ביצועי האלגוריתם טובים יותר ודיוק הפילוח גבוה יותר. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 13: השוואת התוצאות של ארבעת האלגוריתמים לפילוח לשון. האזור האדום בתמונה הוא תוצאה של פילוח הלשון, והאזור הירוק הוא תוצאה של פילוח ציפוי הלשון. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 14: דיאגרמת מבנה אלגוריתם U-Net. התיבות הכחולות/לבנות מציינות את מפת התכונות, ואילו המספר שמעל מפת התכונות מייצג את מספר הערוצים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.
| MIoU | .MPA | דיוק | זוכר | |
| יו-נט | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| סגנט | 80.09% | 87.14% | 88.53% | 87.14% |
טבלה 1: השוואה בין ארבעה מדדי תוצאות פילוח אלגוריתמים. המדדים היו MIoU, MPA, דיוק וזכירה.
קובץ קידוד משלים 1: U-Net_training. קוד הדרכה מודל U-Net. אנא לחץ כאן כדי להוריד קובץ זה.
קובץ קידוד משלים 2: סג-Net_training. קוד הדרכה מודל Seg-Net. אנא לחץ כאן כדי להוריד קובץ זה.
קובץ קידוד משלים 3: DeeplabV3_training. קוד אימון מודל DeeplabV3. אנא לחץ כאן כדי להוריד קובץ זה.
קובץ קידוד משלים 4: PSPNet_training. קוד אימון מודל PSPNet. אנא לחץ כאן כדי להוריד קובץ זה.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
בהתבסס על תוצאות ההשוואה שהוצגו לעיל, ניכר כי המאפיינים של ארבעת האלגוריתמים הנדונים מגוונים, והיתרונות והחסרונות המובהקים שלהם מתוארים להלן. מבנה U-Net, המבוסס על שינוי והרחבה של רשת קונבולוציה מלאה, יכול לקבל מידע קונטקסטואלי ומיקום מדויק באמצעות נתיב התקשרות ונתיב התרחבות סימטרי. על ידי סיווג כל נקודת פיקסל, אלגוריתם זה משיג דיוק סגמנטציה גבוה יותר ומפלח את התמונה עם המודל המיומן מהר יותר. מצד שני, לאלגוריתם Seg-Net, המורכב ממבנה סימטרי של מקודד ומפענח, יש את היתרון של הסתגלות מהירה לבעיות חדשות וביצועים טובים במשימות כגון דיבור, סמנטיקה, ראייה ומשחקים. עם זאת, האלגוריתם דורש כמות גדולה של נתונים, מה שהופך אותו תובעני במונחים של תצורת חומרה, ולכן הוא ישים רק עבור משימות מסוימות. כמסגרת כללית יותר, לאלגוריתם DeeplabV3 יש את היתרון של שיפור מודולי ASSP עבור רוב הרשתות ופריסתם במפל או במקביל לשיפור הביצועים הכוללים. עם זאת, יש להשיג את מפת התכונות הסופית עם דגימה מוגברת בשיעורים 8 ו -16, שהיא גסה יחסית וניתן לשפר אותה מאוחר יותר. יתר על כן, מודל PSPNet כולל את התכונה המשמעותית ביותר של צבירת מידע הקשרי מאזורים שונים באמצעות מודול PSP, ובכך לשפר את הגישה למידע גלובלי ולספק תוצאות טובות על ערכות נתונים מרובות. התוצאות מצביעות על כך שלמודל U-Net יש את דיוק הפילוח הגבוה ביותר ואת אפקט הפילוח הטוב ביותר בסביבת מחקר זו.
ארכיטקטורת U-Net מדגימה את עליונותה בפילוח תמונות רפואיות12. האלגוריתם של U-Net, שתוכנן במקור עבור פילוח תמונות תאים דו-ממדיות, פותח עוד יותר על ידי החלפת המודול הדו-ממדי שלו במודול תלת-ממדי. שינוי זה חיזק את יכולתו לעבד תמונות תלת-ממדיות כגון דימות תהודה מגנטית (MRI), טומוגרפיה ממוחשבת (CT) ותמונות אולטרסאונד תלת-ממדיות (תלת-ממדיות). על ידי פילוח תמונות רפואיות לאיברים, רקמות ונגעים, ניתן לקבל נתונים קליניים יקרי ערך. האלגוריתם המשופר של U-Net מהווה כלי יעיל לבדיקות וטיפולים עוקבים. באבחון רפואי, סיווג התמונות הוא חלק מכריע בתהליכי אבחון רבים. הרפואה המסורתית מסתמכת על התבוננות בכל הסימנים הנראים לעין, כולל הלשון, העור וההבעה. להופעתה ופיתוחה של טכנולוגיית פילוח התמונה הרפואית חשיבות רבה באבחון רפואי. ב- TCM, ניתוח תמונות פנים ולשון דורש שימוש באלגוריתמים שונים של למידה עמוקה לסיווג חילוץ תכונות. מצד שני, אלגוריתמים של פילוח תמונות נמצאים בשימוש נרחב ברפואה המערבית, ומספקים בסיס לאבחון קליני ופתולוגיה13.
תהליך המחקר של מחקר זה כולל שלבים קריטיים, כולל עיבוד מקדים של נתונים, אימון ובדיקה של אלגוריתמים והשוואת ביצועי אלגוריתמים. בתחילה, הנתונים הגולמיים עוברים עיבוד, תיוג וחלוקה לאימונים וערכות בדיקה כדי להקל על בניית האלגוריתם שלאחר מכן. הנתונים המעובדים מוזנים לאחר מכן לרשת העצבית, ופונקציית האובדן מוגדרת לקבוע את וקטור השיפוע באמצעות התפשטות לאחור. לאחר מכן, הפרמטרים מותאמים עד להשלמת תהליך ההכשרה. ביצועי האלגוריתם מוערכים על ידי בדיקת אפקט פילוח התמונה באמצעות אינדקסים מרובים, כגון MIoU, MPA, דיוק ואחזור כדי להעריך את ביצועיו באופן מקיף. במהלך תהליך אימון האלגוריתם בפועל, יכולה להתרחש התאמת יתר, שבה המודל לומד את הנתונים בצורה יסודית מדי, כולל המאפיינים של נתוני הרעש. התוצאה היא זיהוי נתונים במהלך בדיקות מאוחרות יותר, סיווג שגוי של נתונים ויכולת הכללה ירודה. אם מתרחשת התאמת יתר, ניתן להגדיל את נתוני האימון או לנקות מחדש את הנתונים. במחקר זה מאומצת השיטה האיטרטיבית של ירידה הדרגתית. ניתן למנוע התאמת יתר גם על ידי ניתוק איטרציה מראש.
מגבלתו של מחקר זה ניכרת; התמונות נאספו באמצעות מכשירים קבועים, ומכשירי הניסוי אינם יכולים לשמש כיום למטרות מסחריות. כתוצאה מכך, תמונות הלשון במחקר זה הן מסצנה אחת ואינן משקפות לחלוטין את הרקע הקליני ואת תנאי האור המורכבים והמשתנים. לכן, יש צורך במחקר נוסף כדי ללמוד טכניקות עיבוד תמונה בסביבות מורכבות ובתנאי תאורה גרועים. מחקרי החפצה של אבחון לשון מכילים תוכן עשיר, ולכן פילוח מדויק של גוף הלשון הוא חיוני. כתוצאה מכך, השוואה ואימות אלגוריתמים עם אפקט הפילוח המתאים ביותר הוא משמעותי למחקרים הבאים. שילוב של פילוח לשון עם סיווג יכול תיאורטית להשיג שיפוט אוטומטי של תמונת הלשון ולסייע באבחון; חוקרים חקרו וחקרו את הנושא הזה. בתחום הבריאות, שימוש באינטרנט של הדברים ובטכנולוגיות תקשורת אלחוטית כדי לעבד תמונות ביו-רפואיות, כמו גם סיוע באבחון, יכול לשפר את יעילות המערכות. מנסור ואחרים עיצבו תמונת צבע לשון אוטומטית (ASDL-TCI) המבוססת על למידה עמוקה משותפת ואינטרנט של הדברים. הוא כולל רכישת נתונים, עיבוד מראש, חילוץ תכונות, סיווג ואופטימיזציה של פרמטרים. הדיוק, קצב ההיזכרות והדיוק של דגם זה הם 0.984, 0.973 ו-0.983, בהתאמה, שהם עדיפים על שיטות אחרות.
רכישה ועיבוד מקדים של תמונות
במהלך תהליך רכישת התמונה, העוצמה והמגוון של מקורות האור יכולים להשפיע ישירות על איכות התמונה, אשר בתורו משפיע על פילוח התמונה ועל תוצאות הסיווג. לכן, חיוני להגדיר את מקור האור כך שיחקה את ההשפעה של מקורות אור טבעיים קרוב ככל האפשר. בנוסף, שיטות כגון שימוש במקורות אור סטנדרטיים או שימוש במספר מקורות אור וצילום בסצנה קבועה יכולות למנוע את ההשפעה השלילית של אור, רקע וגורמים אחרים, ובכך לשפר את הדיוק של סגמנטציה אלגוריתמית. פרמטרי תאורת המכשירים המשמשים לאיסוף תמונות לשון אינם זהים להארה רגילה, המשפיעה על אפקט עיבוד הצבע של תמונות הלשון. לפיכך, שיטת העיבוד מראש הנפוצה ביותר בשימוש היא תיקון צבע. Cai et al.15 מצאו שכדי להתמודד עם הפער בין נתוני הצבע של תמונת הלשון לבין כרומת הצבע של הלשון המתאימה, יש צורך לנרמל את המרת מרחב הצבע ותיקון הצבע של תמונת הלשון. ביצועי הצבע של מכשיר התצוגה חורגים גם הם מגוף הלשון האמיתי, ומחייבים בדיקה והתאמה. יתר על כן, גודל התמונה משתנה עקב מכשירי רכישה שונים המשמשים בתהליך איסוף התמונות16. כדי לשפר את יעילות ההדרכה ולחסוך מקום אחסון, לרשת הלמידה העמוקה יש מגבלות על גודל תמונת הקלט. לכן, גודל התמונה חייב להיות סטנדרטי במהלך שלב עיבוד התמונה מראש. בדרך כלל, הדבר מושג על ידי עיצוב מחדש אחיד של גודל תמונת הקלט לצורך אימון מודל, כאשר שיטות העיצוב מחדש הנפוצות הן אינטרפולציה, גזירה, הכללה, אריחים ושיקוף.
פילוח תמונת לשון
ניתן לסווג את פילוח תמונות הלשון לשני סוגים: שיטות סגמנטציה מסורתיות ושיטות פילוח למידה עמוקה17. שיטות פילוח מסורתיות של תמונות לשון מורכבות מאלגוריתמים כגון אלגוריתם סנייק ואלגוריתם אוטסו. כמודל מתאר פעיל, אלגוריתם סנייק18 מגדיר תחילה עקומת פרופיל ולאחר מכן מתאים את הפרופיל הראשוני כדי להתפתח לעקומת פרופיל אמיתית. רכישת קווי מתאר ראשוניים ואבולוציה של קווי מתאר הם מוקד המחקר העיקרי של אלגוריתם הנחש. מצד שני, אלגוריתם Otsu הוא אלגוריתם פילוח סף קלאסי המשתמש בסף אחד או יותר כדי לחשב את הערך האפור בתמונה המקורית ולהשוות את ערך גווני האפור של כל פיקסל לערך הסף. בהתבסס על תוצאות ההשוואה, הלשון והרקע מתוארים לפני הופעת שיטות הלמידה העמוקה. שני אלגוריתמים אלה משמשים בדרך כלל בעיבוד תמונות לשון ובהחפצה של אבחון לשון.
מאז הופעתה של תיאוריית הלמידה העמוקה, חוקרים רבים חקרו את השילוב של אבחון לשון החפצה ולמידה עמוקה. Zheng et al.19 פיתחו שיטת זיהוי לשון המבוססת על פילוח תמונה על ידי מיזוג אלגוריתמים שונים וחקר שיטת זיהוי הלשון בסביבה פתוחה, ובסופו של דבר השיגו תוצאות פילוח לשון חיוביות. יואן ועמיתיו הציעו שיטת פילוח לשון המבוססת על פונקציית אובדן פיקסל בודד של שיוך אזור, שבה פונקציית האובדן המשופרת אחראית למתאם בין פיקסלים באזור. תוך שימוש בסמנטיקה של תוויות פיקסלים בפיקוח למידה, יעילות אימון המודל שופרה, ובאה לידי ביטוי במדד MIoU שהגיע ל -96.32%. תמונת הלשון הציגה מאפיינים מורפולוגיים ספציפיים כגון סימני שיניים, סדקים ונקבים, הקשורים קשר הדוק להתפרצות המחלה. לפיכך, התבוננות לשון יכולה לסייע באבחון התקדמות המחלה. וואנג ועמיתיו בניה-21 הציעו גישה של פילוח שברי לשון בלמידה עמוקה עבור מערכי נתונים של מדגם קטן שהניבו דיוק ויציבות משופרים. שיטה זו כללה תחילה פיצול גוף הלשון, ולאחר מכן סדקים בלשון, ושיפרה את אלגוריתם U-Net על ידי שילוב אובדן מיקוד כאובדן תפקוד.
סיווג תמונת לשון
סיווג תמונות לשון כרוך בעיקר בזיהוי מאפיינים כגון צבע לשון, קוצים, סדקים וצבע ציפוי. וואנג ועמיתיו השתמשו באלגוריתם סנייק כדי לפלח את גוף הלשון והשתמשו בטכניקות כגון רישום תמונות מידע הדדי, זיהוי קצה יומן, קו מקבילי ושיטות אחרות לזיהוי נקבים. גישה זו פתרה למעשה את בעיית זיהוי וספירת הנקבים האוטומטיים תוך הקלה על גילוי מוקדם ומניעה. כדי להתמודד עם המגבלות הקשורות לאימון אלגוריתם תמונת הלשון, כגון נפח נתונים גדול, זמן אימון ארוך ודרישות ציוד גבוהות, יאנג ואחרים הציעו רשתעצבית מחוברת במלואה המבוססת על למידת העברה. שיטה זו מנצלת את Inception_v3 המאומנים היטב כדי לחלץ תכונות ולשלב אותן עם הרשת העצבית המחוברת במלואה (FCN), ולהשיג שיעור דיוק של מעל 90%. גישה זו פתרה את בעיית הלמידה העמוקה במדגמים קטנים ובסיווגים מרובים. Song et al.24 השתמשו במסווג מפל כדי לאתר תמונות ב- GoogLe-Net וב- Res-Net לצורך למידת העברה, אימון ויישום למידה עמוקה כדי לסווג באופן אוטומטי שלוש תכונות של תמונות לשון: סימני שיניים, סדקים ועובי ציפוי הלשון. הדיוק הממוצע של תוצאות הסיווג עלה על 94%. עם זאת, אלגוריתם סיווג תמונות הלשון רגיש מאוד להפרעות מחלקים אחרים של הפנים שאינם קשורים, ומשפיע ישירות על דיוק הסיווג25.
Zhai et al.26 פיתחו אלגוריתם רב-שלבי לסיווג תמונות לשון באמצעות מנגנוני קשב. שיטה זו משפרת את הדיוק של זיהוי אזורי לשון על ידי חילוץ תכונות משדות ראייה תפיסתיים שונים, אשר מתמזגים בשלב לוקליזציה של הלשון. יתר על כן, מודול מנגנון הקשב משפר את דיוק סיווג תמונת הלשון, אשר מדכא הפרעות מזיהומים בלשון. מול הבעיה של סיווג תכונות לשון של מחלות שונות27, אלגוריתמים של למידה עמוקה עשויים גם לספק גישות חדשניות. בנוסף, Shi et al.28 חקרו שיטת סיווג טיפוסית לסרטן ריאות של תאים לא קטנים המבוססת על אלגוריתם עץ ההחלטה C5.0. הם זיהו שבעה כללי סיווג תכונות הרלוונטיים לתעודת חסר צ'י ולסיווג תעודת חסר יין. דיוק המודל נמצא 80.37%. בנוסף, Li et al.29 פיתחו מודל אבחון לסוכרת באמצעות אלגוריתם היער הסטוכסטי. הם גם ניתחו תכונות מרקם וצבע מתמונות לשון כדי לשפר את ביצועי הדגם.
מסקנה
בניגוד לגישות האבחון העכשוויות של הרפואה המערבית, שיטות האבחון של רפואה סינית מסורתית הן זעיר פולשניות וכרוכות בנזק מינימלי. בנוסף, ארבע שיטות האבחון של התבוננות, הקשבה או ריח, חקירה ומישוש מבוססות על היבטים מגוונים של TCM. עם זאת, בשל ההסתמכות הכבדה של אבחון וטיפול ברפואה סינית מסורתית על מומחיות המטפל ותפיסות טיפול אישיות, ייתכן שחסרות אובייקטיביות ותקינה. כתוצאה מכך, המגמה של החפצת האבחנה של TCM התפתחה ככיוון למחקר נוסף, אשר יכול לקדם את ההתקדמות של TCM.
החפצת אבחון הלשון טומנת בחובה פוטנציאל לעבד תמונות וכמויות גדולות של נתונים ביעילות גבוהה, מה שיכול לסייע משמעותית לרופאים. עם זאת, חשוב לציין כי אבחון לשון הוא לא רק שיטה מסורתית, אלא גם אומת. חן ועמיתיו ערכו מחקר שבו אספו נתונים קליניים על תמונות לשון של 382 חולי קורונה. הם ניתחו סטטיסטית את תכונות תמונת הלשון ואת פרמטרי תבנית הצבע של המעבדה עבור כל קבוצות ההדמיה. ממצאי המחקר חשפו מתאם בין תכונות תמונות הלשון לבין סוג הרפואה המערבית בה נעשה שימוש. בנוסף, השינויים בתמונות הלשון מתיישרים עם הפתוגנזה הכוללת של המחלה. פרמטרים מסוימים של תמונות לשון עשויים לסייע בחיזוי שינויים פתוגניים של COVID-19 ב- TCM31.
תוך החפצת אבחנת הלשון הרפואית המסורתית, חוקרים רבים השתמשו בשיטת הסגמנטציה והסיווג. למידה עמוקה ורשתות עצביות קונבולוציה חיוניות לסיווג מאפייני תמונת הלשון. הדיוק של אלגוריתם פילוח תמונות הלשון הוא קריטי מכיוון שהוא קובע אם ניתן להפריד במדויק את הלשון מהפנים, ובכך להשפיע על הדיוק של סיווג התכונות לאחר מכן. כתוצאה מכך, שיפור הדיוק של מודל האלגוריתם הנוכחי הוא מוקד מחקר מכריע בתחום זה. כרגע, שיפור מודל האלגוריתם והדיוק שלו הוא נקודה חמה למחקר.
מחקר זה השתמש באותם נתוני ערכת בדיקות כדי להשוות את הביצועים של האלגוריתמים U-Net, Seg-Net, DeeplabV3 ו- PSPNet4. צעד זה ננקט כדי להבטיח עקביות באיכות הנתונים המשמשים. במסגרת סביבת הניסוי ששימשה במחקר זה, אלגוריתם U-Net השיג ביצועים טובים יותר משלושת האלגוריתמים האחרים באופן משמעותי מבחינת דיוק הסגמנטציה. MIoU הוא מדד הביאור של אלגוריתם הפילוח הסמנטי32, המדד החשוב ביותר המשמש להערכת ביצועי האלגוריתם. ערך ה-MIoU של אלגוריתם U-Net היה גבוה ב-3.91% מזה של אלגוריתם Seg-Net, גבוה ב-23.32% מזה של DeeplabV3 וב-16.2% מזה של PSPNet. זה מספק ראיות לכך שהאלגוריתם של U-Net מתפקד טוב יותר מהאלגוריתמים האחרים.
עם זאת, ישנן כמה בעיות בפילוח ובסיווג של תמונות לשון באמצעות אלגוריתמים של למידה עמוקה. לדוגמה, בשל פרטיות המטופלים, מערכי נתונים של תמונות רפואיות קטנים מדי בהשוואה למערכי נתונים סמנטיים מפולחים אחרים, מה שמגביל את היתרונות של למידה עמוקה בביג דאטה. פילוח מודל פרמטרים גדולים מועד לבעיית ההתאמה. לכן, יש להתאים את מבנה הרשת על ידי בחירת מצבי השיפור המתאימים. נכון לעכשיו, מחקר ההחפצה של אבחון לשון עדיין לא גיבש סטנדרט איסוף אחיד; סביבת הרכישה וסוג מקור האור חסרים תקינה מתאימה. חוקרים בדרך כלל מקימים את סביבת האיסוף ובונים מסד נתונים משלהם שאינו ציבורי. יחד עם זאת, למרות שהמודלים האלגוריתמיים הנוכחיים יכולים להשיג דיוק טוב, הנתונים המשמשים מסוננים בקפידה ומעובדים מראש, דבר שקשה להשיג בסביבת האבחון והטיפול בפועל, ובכך להגביל את היישום הקליני. בנוסף, החפצה נוספת של אבחון לשון תעסוק בסביבות מורכבות או בתמונות לשון שצולמו על ידי מכשירים שונים33. מגמה נוספת היא עיבוד מידע דינמי, ובפרט עיבוד תמונת וידאו, המספק מידע מפורט יותר על הלשון ומשקף באופן מקיף יותר את יתרונות אבחון הלשון. לכן, יש צורך לפתח אלגוריתמים למידה עמוקה כדי לעבד פרטים דינמיים. באופן כללי, החפצה של אבחון לשון רפואית בשילוב עם אלגוריתמים של למידה עמוקה טומנת בחובה הבטחה להפחתת הסובייקטיביות באבחון TCM.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
למחברים אין ניגוד עניינים להצהיר.
Acknowledgments
עבודה זו נתמכה על ידי הקרן הלאומית לטבע של סין (מענק מס' 82004504), התוכנית הלאומית למחקר ופיתוח מפתח של משרד המדע והטכנולוגיה של סין (מענק מס' 2018YFC1707606), מינהל הרפואה הסינית של מחוז סצ'ואן (מענק מס' 2021MS199) וקרן הטבע הלאומית של סין (מענק מס' 82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
