Summary
استخدمت الدراسة الحالية U-Net وغيرها من خوارزميات التعلم العميق لتقسيم صورة اللسان ومقارنة نتائج التجزئة للتحقيق في تجسيد تشخيص اللسان.
Abstract
تشخيص اللسان هو تقنية أساسية لتشخيص الطب الصيني التقليدي (TCM) ، وتتزايد الحاجة إلى تجسيد صور اللسان من خلال تقنية معالجة الصور. تقدم هذه الدراسة لمحة عامة عن التقدم المحرز في تشييء اللسان على مدى العقد الماضي وتقارن نماذج التجزئة. يتم إنشاء نماذج التعلم العميق المختلفة للتحقق من الخوارزميات ومقارنتها باستخدام مجموعات صور اللسان الحقيقية. يتم تحليل نقاط القوة والضعف في كل نموذج. تشير النتائج إلى أن خوارزمية U-Net تتفوق على النماذج الأخرى فيما يتعلق بدقة الدقة (PA) ، والاستدعاء ، ومتوسط التقاطع عبر مقاييس الاتحاد (MIoU). ومع ذلك ، على الرغم من التقدم الكبير في الحصول على صورة اللسان ومعالجتها ، لم يتم بعد وضع معيار موحد لتشخيص اللسان الموضوعي. لتسهيل التطبيق الواسع النطاق لصور اللسان الملتقطة باستخدام الأجهزة المحمولة في تشييء تشخيص اللسان ، يمكن إجراء مزيد من الأبحاث معالجة التحديات التي تفرضها صور اللسان الملتقطة في بيئات معقدة.
Introduction
مراقبة اللسان هي تقنية مستخدمة على نطاق واسع في الطب العرقي الصيني التقليدي (TCM). يمكن أن يعكس لون وشكل اللسان الحالة البدنية وخصائص المرض المختلفة وشدته وتوقعاته. على سبيل المثال ، في طب الهمونغ التقليدي ، يتم استخدام لون اللسان لتحديد درجة حرارة الجسم ، على سبيل المثال ، يشير اللسان الأحمر أو الأرجواني إلى العوامل المرضية المتعلقة بالحرارة. في الطب التبتي ، يتم الحكم على الحالة من خلال مراقبة لسان المريض ، مع الانتباه إلى لون وشكل ورطوبة المخاط. على سبيل المثال ، تصبح ألسنة المرضى الذين يعانون من مرض Heyi حمراء وخشنة أو سوداء وجافة1 ؛ المرضى الذين يعانون من مرض Xieri2 لديهم ألسنة صفراء وجافة. وفي الوقت نفسه ، فإن المرضى الذين يعانون من مرض Badakan3 لديهم لسان أبيض ورطب وناعم4. تكشف هذه الملاحظات عن العلاقة الوثيقة بين سمات اللسان وعلم وظائف الأعضاء وعلم الأمراض. بشكل عام ، تلعب حالة اللسان دورا حيويا في التشخيص وتحديد المرض وتقييم تأثير العلاج.
وفي الوقت نفسه، وبسبب تنوع الظروف المعيشية والممارسات الغذائية بين المجموعات العرقية المختلفة، تتباينات في صور اللسان بشكل واضح. تمت صياغة نموذج المختبر ، الذي تم إنشاؤه على أساس معيار دولي لتحديد اللون ، من قبل اللجنة الدولية للإكلير (CIE) في عام 1931. في عام 1976 ، تم تعديل نمط اللون وتسميته. يتكون نموذج ألوان Lab من ثلاثة عناصر: L يتوافق مع السطوع ، بينما a و b هما قناتان لونيتان. (أ) يشمل ألوانا من الأخضر الداكن (قيمة سطوع منخفضة) إلى الرمادي (قيمة سطوع متوسطة) إلى الوردي الفاتح (قيمة سطوع عالية)؛ ينتقل b من الأزرق الساطع (قيمة سطوع منخفضة) إلى الرمادي (قيمة سطوع متوسطة) إلى الأصفر (قيمة سطوع عالية). من خلال مقارنة قيم L x a x b للون اللسان لخمس مجموعات عرقية ، وجد Yang et al.5 أن خصائص صور اللسان لمجموعات الهمونغ والهوي وتشوانغ والهان والمنغولية كانت متميزة بشكل كبير عن بعضها البعض. على سبيل المثال ، لدى المنغوليين ألسنة داكنة مع طلاء لسان أصفر ، في حين أن الهمونغ لديهم ألسنة فاتحة مع طلاء لسان أبيض ، مما يشير إلى أنه يمكن استخدام ميزات اللسان كمؤشر تشخيصي لتقييم الحالة الصحية للسكان. علاوة على ذلك ، يمكن أن تعمل صور اللسان كمؤشر تقييم للطب القائم على الأدلة في البحوث السريرية للطب العرقي. استخدم He et al.6 صور اللسان كأساس لتشخيص الطب الصيني التقليدي وقيم بشكل منهجي سلامة وفعالية كريات Chou-Ling-Dan (حبيبات CLD - المستخدمة لعلاج الأمراض الالتهابية والحموية ، بما في ذلك الأنفلونزا الموسمية في الطب الصيني التقليدي) جنبا إلى جنب مع الطب الصيني والغربي. أثبتت النتائج الصلاحية العلمية لصور اللسان كمؤشر تقييم للدراسات السريرية. ومع ذلك ، يعتمد الممارسون الطبيون التقليديون عموما على الذاتية لمراقبة خصائص اللسان وتقييم الظروف الفسيولوجية والمرضية للمرضى ، مما يتطلب مؤشرات أكثر دقة.
مهد ظهور الإنترنت وتكنولوجيا الذكاء الاصطناعي الطريق لرقمنة تشخيص اللسان وتشييئه. تتضمن هذه العملية استخدام نماذج رياضية لتقديم وصف نوعي وموضوعي لصور اللسان7 ، مما يعكس محتوى صورة اللسان. تتضمن العملية عدة خطوات: الحصول على الصور ، والتعويض البصري ، وتصحيح الألوان ، والتحويل الهندسي. ثم يتم إدخال الصور المعالجة مسبقا في نموذج خوارزمي لتحديد موضع الصورة وتجزئتها ، واستخراج الميزات ، والتعرف على الأنماط ، وما إلى ذلك. ناتج هذه العملية هو تشخيص عالي الكفاءة والدقة لبيانات صورة اللسان ، وبالتالي تحقيق هدف التشييء والقياس الكمي والمعلوماتية لتشخيص اللسان8. وبالتالي ، يتم تحقيق الغرض من الكفاءة العالية والمعالجة عالية الدقة لبيانات تشخيص اللسان. استنادا إلى معرفة تشخيص اللسان وتكنولوجيا التعلم العميق ، قامت هذه الدراسة تلقائيا بفصل جسم اللسان وطلاء اللسان عن صور اللسان باستخدام خوارزمية الكمبيوتر ، من أجل استخراج السمات الكمية للألسنة للأطباء ، وتحسين موثوقية واتساق التشخيص ، وتوفير طرق لأبحاث تشييء تشخيص اللسان اللاحقة9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
تمت الموافقة على هذه الدراسة من قبل مشروع المؤسسة الوطنية للعلوم الطبيعية في الصين ، بناء قواعد التغيير الديناميكي لصورة الوجه TCM بناء على تحليل الارتباط. رقم الموافقة على الأخلاقيات هو 2021KL-027 ، وقد وافقت لجنة الأخلاقيات على الدراسة السريرية التي سيتم إجراؤها وفقا للوثائق المعتمدة والتي تشمل بروتوكول البحث السريري (2021.04.12 ، V2.0) ، الموافقة المستنيرة (2021.04.12 ، V2.0) ، مواد توظيف الموضوع (2021.04.12 ، V2.0) ، حالات الدراسة و / أو تقارير الحالة ، بطاقات مذكرات الموضوع والاستبيانات الأخرى (2021.04.12 ، V2.0) ، قائمة المشاركين في التجربة السريرية ، الموافقة على مشروع البحث ، إلخ. تم الحصول على موافقة مستنيرة من المرضى المشاركين في الدراسة. النهج التجريبي الرئيسي لهذه الدراسة هو استخدام صور اللسان الحقيقية للتحقق من صحة ومقارنة تأثيرات تجزئة النموذج. يعرض الشكل 1 مكونات تشييء تشخيص اللسان.
1. الحصول على الصور
- استخدم أداة تشخيص الوجه اللساني المحمولة باليد المطورة ذاتيا لجمع صور الوجه اللسانية للمرضى.
- املأ اسم المريض وجنسه وعمره ومرضه على صفحة الكمبيوتر. الصور المدرجة هنا هي من المرضى الذين جاءوا إلى العيادة ووافقوا على تصويرهم بعد إبلاغهم بالغرض من الدراسة ومحتواها. تأكد من أن المريض يجلس في وضع مستقيم ، ضع الوجه بالكامل في أداة التقاط الصور ، واطلب من المريض مد لسانه خارج فمه إلى أقصى حد.
- أمسك جهاز التقاط الصور متصلا بجهاز كمبيوتر وتحقق من خلال الصور الموجودة على شاشة الكمبيوتر من أن المريض في الموضع الصحيح وأن اللسان والوجه مكشوفان تماما.
- اضغط على زر Shoot على شاشة الكمبيوتر ثلاث مرات لالتقاط ثلاث صور.
ملاحظة: أداة الحصول على الصور حاليا في مرحلة طلب البراءة فقط وليست للاستخدام التجاري ، لذا فهي ليست للبيع. - حدد يدويا وتصفية صور اللسان والوجه التي تم جمعها. قم بتصفية واستبعاد الصور التي تحتوي على تعرض غير مكتمل للسان والوجه ، وكذلك الصور المظلمة جدا بسبب عدم كفاية الإضاءة. يوضح الشكل 2 صفحة الحصول على الصور الخاصة بالبرنامج.
- في التصميم التجريبي ، اجمع ثلاث صور من كل مريض في وقت واحد كبدائل وحدد صورة قياسية نسبيا ومكشوفة بالكامل ومضاءة جيدا وواضحة كعينة للتدريب والاختبار الخوارزمية اللاحق.
- اجمع البيانات بعد التصوير ، وقم بتصدير البيانات للفحص اليدوي ، واحذف الصور غير القياسية المرئية بالعين المجردة. استخدم معايير التصفية والاستبعاد التالية: التعرض غير الكامل للسان والوجه ، والصور المظلمة جدا نتيجة لعدم كفاية الإضاءة. يوضح الشكل 3 مثالا على صورة غير مضاءة وغير مكتملة وقياسية.
ملاحظة: يحدث الضوء غير الكافي بشكل عام بسبب فشل المريض في وضع الوجه بالكامل في الجهاز. عادة ما يتم الحصول على التعرض الكامل فقط عن طريق تصوير المريض بشكل صحيح.
2. تجزئة اللسان
- قم بإجراء تجزئة صورة اللسان باستخدام أداة التعليقات التوضيحية عبر الإنترنت ، كما هو موضح أدناه.
- قم بتثبيت Labelme ، وانقر فوق الزر "فتح " في الزاوية اليسرى العليا من واجهة التسمية ، وحدد المجلد الذي توجد به الصورة ، وافتح الصور.
- انقر فوق إنشاء مضلع لبدء نقاط التتبع ، وتتبع اللسان والأشكال اللغوية ، وقم بتسميتها وفقا للمناطق المحددة (على سبيل المثال ، اللسان والسطح اللغوي) ، واحفظها.
- عند اكتمال جميع العلامات ، انقر فوق حفظ لحفظ الصورة في مجلد البيانات. انظر الشكل 4 للحصول على مخطط انسيابي مفصل.
ملاحظة: نظرا لأن الصور قد تحتوي على اختلافات في وحدات البكسل ، فلا يمكن استخدام الصور مباشرة للتدريب على الخوارزمية واختبارها.
- قم بتوحيد الصور بنفس الحجم عن طريق تعبئة الصور بالحافة ، مع الجانب الطويل من الصورة كطول التعبئة المستهدفة وإجراء تعبئة حافة بيضاء لتعبئة الصور إلى مربع ، مع الجانب الطويل من الصورة كطول الحافة. حجم الصورة الملتقطة بواسطة الجهاز هو 1080 × 1920 بكسل ، وحجم الصورة المملوءة 1920 × 1920 بكسل. انظر الشكل 5.
- تطبيق تحسين الصورة إذا لزم الأمر. لم يتم تطبيق أي تحسين في هذه الدراسة ، حيث تم التقاط الصور المستخدمة في مشهد ثابت وكانت أقل تأثرا بالبيئة والإضاءة وعوامل أخرى.
- نظرا لأنه تم جمع ثلاث صور لكل مريض أثناء عملية التصوير لحساب العوامل التي لا يمكن السيطرة عليها ، مثل وميض الهدف وحجب العدسة ، قم بفحص الصور يدويا من كل مريض للاحتفاظ بصورة واحدة لكل مريض.
- لغرض تدريب النموذج ، اجمع البيانات من 200 شخص ، أو 600 صورة. بعد الفحص ، احتفظ بحوالي 200 صورة قابلة للاستخدام.
- وفقا لرقم الصورة ، قسم جميع صور اللسان بشكل عشوائي ، وضع 70٪ منها في مجموعة التدريب و 30٪ في مجموعة الاختبار في جدول بيانات.
3. تصنيف اللسان
- انتقل إلى المواقع الرسمية وقم بتنزيل وتثبيت Anaconda و Python و Labelme. تنشيط البيئة واستكمال تثبيت وتعديل البيئة العامة. انظر الشكل 6 للحصول على مخطط انسيابي يصف تثبيت البرنامج وإعداده.
- قم ببناء نموذج خوارزمية التعلم العميق في البيئة المثبتة ، وضبط المعلمات ، وإكمال تدريب النموذج باستخدام مجموعة التدريب. قم بإجراء تحديد النموذج وضبطه كما هو موضح في الخطوات التالية.
- اختيار النموذج: اختيار النموذج المناسب بناء على الغرض من البحث. بعد مراجعة الأبحاث حول معالجة صور اللسان في السنوات الخمس الماضية ، تم اختيار أربع خوارزميات ، U-Net و Seg-Net و DeeplabV3 و PSPNet ، للتحقق من صحتها في هذه الدراسة (انظر ملف الترميز التكميلي 1 ، ملف الترميز التكميلي 2 ، ملف الترميز التكميلي 3 ، وملف الترميز التكميلي 4 لرموز النماذج).
- بناء مجموعة البيانات: بعد الانتهاء من اختيار النموذج ، قم ببناء مجموعة البيانات المطلوبة بالتزامن مع محتوى البحث ، بشكل أساسي باستخدام التعليق التوضيحي Labelme وطرق حجم الصورة الموحدة ، كما هو موضح أعلاه.
- قم بإجراء تدريب نموذجي كما هو موضح أدناه. يوضح الشكل 7 تفاصيل عملية تدريب الخوارزمية.
- أدخل البيانات في الشبكة العصبية للانتشار الأمامي ، حيث تقوم كل خلية عصبية أولا بإدخال تراكم مرجح للقيم ثم إدخال وظيفة تنشيط كقيمة خرج لتلك الخلية العصبية للحصول على النتيجة.
- أدخل النتيجة في وظيفة الخطأ وقارنها بالقيمة المتوقعة للحصول على الخطأ والحكم على درجة التعرف عن طريق الخطأ. كلما كانت وظيفة الخسارة أصغر ، كان النموذج أفضل.
- تقليل الخطأ عن طريق الانتشار الخلفي وتحديد متجه التدرج. اضبط الأوزان حسب متجه التدرج إلى الاتجاه نحو النتائج بحيث يميل الخطأ إلى الصفر أو يتقلص.
- كرر عملية التدريب هذه حتى تكتمل المجموعة أو لا تنخفض قيمة الخطأ ، وعند هذه النقطة يكتمل تدريب النموذج. انظر الشكل 8 للحصول على مخطط انسيابي لنموذج الخوارزمية في التدريب والاختبار.
- اختبر النماذج الأربعة باستخدام نفس بيانات الاختبار للتجزئة واحكم على أداء النموذج وفقا لتأثير التجزئة. توفر المقاييس الأربعة للدقة والاستدعاء ومتوسط دقة البكسل (MPA) و MIoU تقييما أكثر شمولا لأداء النموذج.
- بعد إنشاء نتائج النماذج الأربعة ، قارن قيمها أفقيا ؛ كلما زادت القيمة ، زادت دقة التجزئة وكان أداء النموذج أفضل. انظر الشكل 9 والشكل 10 والشكل 11.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
للحصول على نتائج المقارنة ، انظر الشكل 12 والشكل 13 والجدول 1 ، حيث تستخدم البيئة التي أنشأتها هذه الدراسة نفس العينات لتدريب واختبار نموذج الخوارزمية. مؤشر MIoU: U-Net > Seg-Net > PSPNet > DeeplabV3 ؛ مؤشر MPA: U-Net > Seg-Net > PSPNet > DeeplabV3 ؛ مؤشر الدقة: U-Net > Seg-Net > DeeplabV3 > PSPNet ؛ أذكر: يو نت > Seg-Net > PSPNet > DeeplabV3. كلما كانت قيمة المؤشر أكبر ، زادت دقة التجزئة وكان أداء النموذج أفضل. وفقا لنتائج المؤشر ، يمكن تحليل أن خوارزمية U-Net متفوقة على الخوارزميات الأخرى في MIoU و MPA والدقة والاستدعاء ، كما أن دقة التجزئة الخاصة بها أعلى أيضا من الخوارزميات الأخرى. لذلك ، تتمتع خوارزمية U-Net بأفضل أداء بين الخوارزميات الأربعة المختلفة. PSPNet أفضل من DeeplabV3 في MIoU و MPA و Recall ، في حين أن نموذج DeeplabV3 أقل من نموذج Seg-Net في جميع الفهارس. لذلك ، يمكن الاستنتاج أن خوارزمية DeeplabV3 لديها أقل أداء شامل مرغوب فيه بين الخوارزميات الأربعة في بيئة البحث هذه.
مؤشرات التقييم
في هذه الدراسة ، تم التحقق من صحة أداء نموذج الخوارزمية بشكل أساسي من خلال الدقة والاستدعاء و MPA و MIoU. ترتبط مقاييس أداء النموذج ارتباطا مباشرا بمصفوفة الارتباك ، والتي تتكون من نتائج تصنيف النموذج ، وتعكس عدد العينات التي صنفها النموذج بشكل صحيح وغير صحيح. تمثل المصفوفة القيمة المقدرة ، أي ما يعادل نتائج مجموعة الاختبار ، ويمثل الفعلي الحقيقة الأساسية. تنقسم كلتا الفئتين إلى صواب وخطأ ، ممثلة ب T و F على التوالي ، مما ينتج عنه أربع مجموعات: TP و FP و FN و TN.MPA هي القيمة المتوسطة لنسبة وحدات البكسل المصنفة بشكل صحيح في كل فئة ، و MIoU هو متوسط نسبة التقاطع إلى الدمج. هذا هو المقياس الأكثر شيوعا للتجزئة الدلالية. يحسب نسبة التقاطع ويدمج القيم الحقيقية والمتوقعة10. الصيغة لهذه هي:
الدقة = ، الاستدعاء = ، MPA = (CPA = ، حيث N هو العدد الإجمالي للفئات) ، و MIoU = (IoU = 
).
توفر هذه المقاييس الأربعة تقييما أكثر شمولا لتأثير تجزئة صور اللسان.
اختارت هذه الدراسة أربعة نماذج خوارزمية للتعلم العميق ، U-Net و Seg-Net و DeeplabV3 و PSPNet ، لتدريب واختبار نماذج الخوارزمية باستخدام بيانات الصورة اللغوية الحقيقية. يحتوي U-Net11 على بنية على شكل حرف U ، تتكون من جهاز تشفير على اليسار ووحدة فك ترميز على اليمين ، وله ميزة تدريب نتائج تصنيف أكثر دقة مع بيانات أقل واستخراج ميزات الصورة بشكل شامل. استنادا إلى شبكة Res-Net لحل مشكلة تجزئة الهدف متعدد النطاقات ، يتبنى DeepLabV3 هيكل الالتفاف المجوف ، ويصمم الوحدة لالتقاط السياق متعدد المقاييس ، ويزيل الحقل العشوائي الشرطي (CRF) ، ويقوم بترقية وحدة تجميع الهرم المكاني (ASPP) ، مما يحسن بشكل كبير من أداء النموذج. يهدف التقسيم الدلالي إلى الحصول على تسمية الفئة لكل بكسل من الكائن المجزأ. Seg-Net هي بنية شبكة عصبية تلافيفية (CNN) ذات بنية متماثلة للتجزئة الدلالية ، بما في ذلك جهاز تشفير ووحدة فك ترميز. ميزة هذا هو أن طريقة أخذ العينات الخاصة بوحدة فك الترميز لمخططات المعالم منخفضة الدقة تقضي على وقت تعلم أخذ العينات. يتم تطبيق نموذج PSPNet بشكل أساسي على تحليل المشهد ، وإضافة معلومات السياق إلى التجزئة الدلالية ، والتي يمكن أن تتجنب الخطأ الجزئي ، وتحل مشكلة الافتقار إلى الاستراتيجيات المناسبة لاستخدام معلومات تصنيف المشهد العالمي ، وتحسين موثوقية النتائج النهائية المتوقعة.
الشكل 1: مكونات تجسيد تشخيص اللسان. مكونات تشخيص اللسان ، بما في ذلك عناصر التقاط الصور وتجزئة اللسان وتصنيف اللسان. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 2: صفحة الحصول على الصور. واجهة الحصول على صورة اللسان ومحتوى الاستبيان. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 3: معايير تصفية الصور ورفضها. تمثل علامة التجزئة الخضراء معايير التضمين ويمثل الصليب الأحمر معايير الاستبعاد. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 4: رسم تخطيطي لعملية وضع العلامات Labelme. يستخدم برنامج Labelme للتعليق على العملية الكاملة للصورة ، من فتح المجلد إلى حفظ الملف. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 5: مخطط المعالجة المسبقة للصورة. حجم الصورة الملتقطة 1080 × 1920 بكسل ، وحجم صورة التعبئة 1920 × 1920 بكسل. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 6: مخطط انسيابي لتكوين البيئة. لا يمكن تشغيل الخوارزمية إلا بعد تكوين البيئة. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 7: مخطط تفاصيل تشغيل تدريب الخوارزمية. الخطوات التفصيلية وطرق التنفيذ في عملية الخوارزمية. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 8: مخطط انسيابي لنموذج الخوارزمية في التدريب والاختبار. الخطوات المهمة للخوارزمية ، بما في ذلك معالجة البيانات والتدريب على الخوارزمية واختبار الخوارزمية. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 9: هيكل خوارزمية Seg-Net. الهيكل المنطقي لخوارزمية Seg-Net وعملية تشغيل التعليمات البرمجية. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 10: هيكل خوارزمية U-Net. الهيكل المنطقي لخوارزمية U-Net وعملية تشغيل التعليمات البرمجية. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 11: دراسات تدفق تجزئة صورة اللسان. المنطقة الحمراء في الصورة هي نتيجة تجزئة اللسان ، والمنطقة الخضراء هي نتيجة تجزئة طلاء اللسان. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 12: مخطط مقارنة لأربعة مقاييس خوارزمية. MIoU و MPA والدقة والاستدعاء كلها فهارس تقييم لأداء الخوارزمية. كلما زادت القيمة ، كان أداء الخوارزمية أفضل وزادت دقة التجزئة. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 13: مقارنة نتائج الخوارزميات الأربعة لتجزئة اللسان. المنطقة الحمراء في الصورة هي نتيجة تجزئة اللسان ، والمنطقة الخضراء هي نتيجة تجزئة طلاء اللسان. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 14: مخطط هيكل خوارزمية U-Net. تشير المربعات الزرقاء/البيضاء إلى خريطة المعالم، بينما يمثل الرقم الموجود أعلى خريطة المعالم عدد القنوات. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
| MIoU | .MPA | دقة | استذكر | |
| يو نت | 84.00% | 89.38% | 91.90% | 89.38% |
| ديب لاب V3 | 59.68% | 61.33% | 84.21% | 61.33% |
| بي إس بي نت | 67.80% | 72.56% | 82.71% | 72.56% |
| سيجنيت | 80.09% | 87.14% | 88.53% | 87.14% |
الجدول 1: مقارنة بين أربعة مقاييس لنتائج تجزئة الخوارزمية. كانت المقاييس MIoU و MPA والدقة والاستدعاء.
ملف الترميز التكميلي 1: U-Net_training. كود تدريب نموذج U-Net. الرجاء الضغط هنا لتنزيل هذا الملف.
ملف الترميز التكميلي 2: Seg-Net_training. رمز تدريب نموذج Seg-Net. الرجاء الضغط هنا لتنزيل هذا الملف.
ملف الترميز التكميلي 3: DeeplabV3_training. رمز تدريب نموذج DeeplabV3. الرجاء الضغط هنا لتنزيل هذا الملف.
ملف الترميز التكميلي 4: PSPNet_training. رمز تدريب نموذج PSPNet. الرجاء الضغط هنا لتنزيل هذا الملف.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
بناء على نتائج المقارنة المعروضة أعلاه ، من الواضح أن خصائص الخوارزميات الأربعة قيد النظر متنوعة ، ومزاياها وعيوبها المميزة موصوفة أدناه. يمكن لهيكل U-Net ، القائم على تعديل وتوسيع شبكة التفاف كاملة ، الحصول على معلومات سياقية وتحديد المواقع بدقة من خلال مسار تعاقد ومسار توسع متماثل. من خلال تصنيف كل نقطة بكسل ، تحقق هذه الخوارزمية دقة تجزئة أعلى وتقسم الصورة مع النموذج المدرب بسرعة أكبر. من ناحية أخرى ، تتمتع خوارزمية Seg-Net ، التي تضم بنية متماثلة لجهاز التشفير ووحدة فك التشفير ، بميزة التكيف بسرعة مع المشكلات الجديدة والأداء الجيد في مهام مثل الكلام والدلالات والرؤية والألعاب. ومع ذلك ، تتطلب الخوارزمية كمية كبيرة من البيانات ، مما يجعلها متطلبة من حيث تكوين الأجهزة ، وبالتالي فهي قابلة للتطبيق فقط لبعض المهام. كإطار عمل أكثر عمومية ، تتمتع خوارزمية DeeplabV3 بميزة تحسين وحدات ASSP لمعظم الشبكات ووضعها في تسلسل أو بالتوازي لتحسين الأداء العام. ومع ذلك ، يجب الحصول على خريطة المعالم النهائية مع أخذ عينات بمعدلين 8 و 16 ، وهو أمر تقريبي نسبيا ويمكن تحسينه لاحقا. علاوة على ذلك ، يتمتع نموذج PSPNet بأهم ميزة تتمثل في تجميع المعلومات السياقية من مناطق مختلفة من خلال وحدة PSP ، وبالتالي تحسين الوصول إلى المعلومات العالمية وتحقيق نتائج جيدة على مجموعات بيانات متعددة. تشير النتائج إلى أن نموذج U-Net يتمتع بأعلى دقة تجزئة وأفضل تأثير تجزئة في هذه البيئة البحثية.
توضح بنية U-Net تفوقها في تجزئة الصور الطبية12. تم تصميم خوارزمية U-Net في البداية لتجزئة صورة الخلية ثنائية الأبعاد ، وقد تم تطويرها بشكل أكبر عن طريق استبدال وحدة 2D الخاصة بها بوحدة 3D. عزز هذا التعديل قدرته على معالجة الصور ثلاثية الأبعاد مثل التصوير بالرنين المغناطيسي (MRI) والتصوير المقطعي المحوسب (CT) وصور الموجات فوق الصوتية ثلاثية الأبعاد (3D). من خلال تقسيم الصور الطبية إلى أعضاء وأنسجة وآفات ، يمكن الحصول على بيانات سريرية قيمة. تمثل خوارزمية U-Net المحسنة أداة فعالة للفحص والعلاج اللاحق. في التشخيص الطبي ، يعد تصنيف الصور جزءا مهما من العديد من عمليات التشخيص. يعتمد الطب التقليدي على مراقبة جميع العلامات المرئية ، بما في ذلك اللسان والجلد والتعبير. إن ظهور وتقدم تقنية تجزئة الصور الطبية لهما أهمية كبيرة في التشخيص الطبي. في الطب الصيني التقليدي، يتطلب تحليل صور الوجه واللسان استخدام خوارزميات التعلم العميق المختلفة لتصنيف استخراج الميزات. من ناحية أخرى ، تستخدم خوارزميات تجزئة الصور على نطاق واسع في الطب الغربي ، مما يوفر أساسا للتشخيص السريري وعلم الأمراض13.
تشتمل عملية البحث في هذه الدراسة على خطوات حاسمة ، بما في ذلك المعالجة المسبقة للبيانات ، والتدريب على الخوارزميات واختبارها ، ومقارنة أداء الخوارزمية. في البداية ، تخضع البيانات الأولية للمعالجة ووضع العلامات والتقسيم إلى مجموعات تدريب واختبار لتسهيل بناء الخوارزمية اللاحقة. ثم يتم تغذية البيانات المعالجة في الشبكة العصبية ، ويتم تعيين وظيفة الخسارة لتحديد متجه التدرج من خلال الانتشار الخلفي. بعد ذلك ، يتم ضبط المعلمات حتى الانتهاء من عملية التدريب. يتم تقييم أداء الخوارزمية عن طريق اختبار تأثير تجزئة الصورة باستخدام فهارس متعددة ، مثل MIoU و MPA والدقة والاستدعاء لتقييم أدائها بشكل شامل. أثناء عملية التدريب على الخوارزمية الفعلية ، يمكن أن يحدث الإفراط في التركيب ، حيث يتعلم النموذج البيانات بدقة شديدة ، بما في ذلك خصائص بيانات الضوضاء. ينتج عن هذا تحديد البيانات أثناء الاختبارات اللاحقة ، والتصنيف غير الصحيح للبيانات ، وضعف القدرة على التعميم. في حالة حدوث زيادة في التجهيز ، يمكن للمرء زيادة بيانات التدريب أو إعادة تنظيف البيانات. في هذه الدراسة ، تم اعتماد طريقة النسب التكرارية المتدرجة. يمكن أيضا منع الإفراط في التركيب عن طريق قطع التكرار مقدما.
إن حدود هذه الدراسة واضحة. تم جمع الصور باستخدام أدوات ثابتة ، ولا يمكن حاليا استخدام الأدوات التجريبية لأغراض تجارية. وبالتالي ، فإن صور اللسان في هذه الدراسة مأخوذة من مشهد واحد ولا تعكس تماما الخلفية السريرية وظروف الإضاءة المعقدة والمتغيرة. لذلك ، من الضروري إجراء مزيد من البحث لدراسة تقنيات معالجة الصور في ظل البيئات المعقدة وظروف الإضاءة السيئة. تحتوي دراسات التشييء لتشخيص اللسان على محتوى غني ، لذا فإن تجزئة جسم اللسان الدقيقة ضرورية. وبالتالي ، فإن مقارنة الخوارزميات والتحقق منها مع تأثير التجزئة الأنسب أمر مهم للدراسات اللاحقة. يمكن أن يؤدي الجمع بين تجزئة اللسان والتصنيف نظريا إلى تحقيق حكم تلقائي على صورة اللسان والمساعدة في التشخيص ؛ استكشف العلماء هذا الموضوع ودرسوه. في مجال الرعاية الصحية ، يمكن أن يؤدي استخدام إنترنت الأشياء وتقنيات الاتصالات اللاسلكية لمعالجة الصور الطبية الحيوية ، بالإضافة إلى المساعدة في التشخيص ، إلى تعزيز كفاءة الأنظمة. صمم منصور وآخرون 14 صورة آلية ملونة للسان (ASDL-TCI) تعتمد على التعلم العميق التعاوني وإنترنت الأشياء. ويشمل الحصول على البيانات ، والمعالجة المسبقة ، واستخراج الميزات ، والتصنيف ، وتحسين المعلمات. دقة هذا النموذج ومعدل استدعائه ودقته هي 0.984 و 0.973 و 0.983 على التوالي ، وهي أفضل من الطرق الأخرى.
الحصول على الصور والمعالجة المسبقة
أثناء عملية الحصول على الصورة ، يمكن أن تؤثر شدة مصادر الضوء وتنوعها بشكل مباشر على جودة الصورة ، مما يؤثر بدوره على تجزئة الصورة ونتائج التصنيف. لذلك ، من الضروري ضبط مصدر الضوء لتقليد تأثير مصادر الضوء الطبيعي قدر الإمكان. بالإضافة إلى ذلك ، يمكن لطرق مثل استخدام مصادر الضوء القياسية أو استخدام مصادر إضاءة متعددة والتصوير في مشهد ثابت أن تمنع التأثير السلبي للضوء والخلفية وعوامل أخرى ، وبالتالي تعزيز دقة التجزئة الخوارزمية. معلمات إضاءة الجهاز المستخدمة لجمع صور اللسان ليست متطابقة مع الإضاءة القياسية ، مما يؤثر على تأثير تجسيد لون صور اللسان. وبالتالي ، فإن طريقة المعالجة المسبقة الأكثر شيوعا المستخدمة هي تصحيح الألوان. وجد Cai et al.15 أنه لمعالجة التناقض بين بيانات لون صورة اللسان ولون صفاء اللسان المقابل ، من الضروري تطبيع تحويل مساحة لون صورة اللسان وتصحيح الألوان. ينحرف أداء ألوان جهاز العرض أيضا عن جسم اللسان الحقيقي ، مما يستلزم الاختبار والتعديل. علاوة على ذلك ، يختلف حجم الصورة بسبب أدوات الاستحواذ المختلفة المستخدمة أثناء عملية جمع الصور16. لتعزيز كفاءة التدريب وتوفير مساحة التخزين ، فإن شبكة التعلم العميق لها قيود على حجم صورة الإدخال. لذلك ، يجب توحيد حجم الصورة أثناء مرحلة المعالجة المسبقة للصورة. عادة ، يتم تحقيق ذلك عن طريق إعادة تشكيل حجم صورة الإدخال بشكل موحد لتدريب النموذج ، مع طرق إعادة التشكيل الشائعة الاستخدام مثل الاستيفاء والقص والتضمين والتجانب والنسخ المتطابق.
تجزئة صورة اللسان
يمكن تصنيف تجزئة صورة اللسان إلى نوعين: طرق تجزئة التعلم العميقالتقليدية 17. تتكون طرق تجزئة صورة اللسان التقليدية من خوارزميات مثل خوارزمية Snake وخوارزمية Otsu. كنموذج كفاف نشط ، تقوم خوارزمية Snake18 أولا بتعيين منحنى ملف تعريف ثم ضبط ملف التعريف الأولي ليتطور إلى منحنى ملف تعريف حقيقي. إن اكتساب الخطوط الأولية وتطور الخطوط هي المحور الأساسي للبحث في خوارزمية الأفعى. من ناحية أخرى ، فإن خوارزمية Otsu هي خوارزمية تجزئة عتبة كلاسيكية تستخدم عتبة واحدة أو أكثر لحساب القيمة الرمادية على الصورة الأصلية ومقارنة قيمة التدرج الرمادي لكل بكسل بقيمة العتبة. بناء على نتائج المقارنة ، تم تصوير اللسان والخلفية قبل ظهور أساليب التعلم العميق. تستخدم هاتان الخوارزميتان بشكل شائع في معالجة صور اللسان وتشييء تشخيص اللسان.
منذ ظهور نظرية التعلم العميق ، بحث العديد من العلماء في دمج تشييء تشخيص اللسان والتعلم العميق. ابتكر Zheng et al.19 طريقة للكشف عن اللسان تعتمد على تجزئة الصورة عن طريق دمج خوارزميات مختلفة واستكشاف طريقة اكتشاف اللسان في بيئة مفتوحة ، مما أدى في النهاية إلى تحقيق نتائج تجزئة اللسان المواتية. اقترح Yuan et al.20 طريقة تجزئة اللسان بناء على دالة فقدان البكسل الواحد لارتباط المنطقة ، حيث تمثل وظيفة الخسارة المحسنة الارتباط بين وحدات بكسل المنطقة. باستخدام دلالات تسمية البكسل التعلم الخاضع للإشراف ، تم تعزيز كفاءة التدريب النموذجي ، والتي تمثلت في مؤشر MIoU الذي وصل إلى 96.32٪. أظهرت صورة اللسان خصائص مورفولوجية محددة مثل علامات الأسنان والشقوق والثقوب ، المرتبطة ارتباطا وثيقا ببداية المرض. وبالتالي ، يمكن أن تساعد مراقبة اللسان في تشخيص تقدم المرض. اقترح وانغ وآخرون21 نهج تجزئة كسر اللسان للتعلم العميق لمجموعات بيانات العينات الصغيرة التي أسفرت عن تحسين الدقة والاستقرار. تضمنت هذه الطريقة تقسيم جسم اللسان أولا ، متبوعا بتشققات اللسان ، وتحسين خوارزمية U-Net من خلال دمج فقدان التركيز كفقدان للوظيفة.
تصنيف صورة اللسان
يتضمن تصنيف صور اللسان بشكل أساسي تحديد خصائص مثل لون اللسان والعمود الفقري والشقوق ولون الطلاء. استخدم Wang et al.22 خوارزمية Snake لتقسيم جسم اللسان واستخدم تقنيات مثل تسجيل صور المعلومات المتبادلة ، واكتشاف حافة السجل ، والخط المتوازي ، وطرق أخرى لتحديد الثقوب. وقد حل هذا النهج بفعالية مسألة التعرف التلقائي على الثقوب وعدها مع تسهيل الكشف المبكر والوقاية. لمعالجة القيود المرتبطة بتدريب خوارزمية صورة اللسان ، مثل حجم البيانات الكبير ، ووقت التدريب الطويل ، ومتطلبات المعدات العالية ، اقترح Yang et al.23شبكة عصبية متصلة بالكامل تعتمد على نقل التعلم. تستخدم هذه الطريقة Inception_v3 المدربين تدريبا جيدا لاستخراج الميزات ودمجها مع الشبكة العصبية المتصلة بالكامل (FCN) ، مما يحقق معدل دقة يزيد عن 90٪. حل هذا النهج مشكلة التعلم العميق في عينات صغيرة وتصنيفات متعددة. استخدم Song et al.24 مصنفا متتاليا لتحديد موقع الصور على GoogLe-Net و Res-Net لنقل التعلم والتدريب وتطبيق التعلم العميق لتصنيف ثلاث ميزات لصورة اللسان تلقائيا: علامات الأسنان والشقوق وسمك طلاء اللسان. تجاوز متوسط دقة نتائج التصنيف 94٪. ومع ذلك ، فإن خوارزمية تصنيف صورة اللسان معرضة بشدة للتداخل من أجزاء أخرى غير ذات صلة من الوجه ، مما يؤثر بشكل مباشر على دقة التصنيف25.
طور Zhai et al.26 خوارزمية متعددة المراحل لتصنيف صور اللسان باستخدام آليات الانتباه. تعزز هذه الطريقة دقة تحديد مناطق اللسان عن طريق استخراج الميزات من مجالات الرؤية الإدراكية المختلفة ، والتي يتم دمجها أثناء مرحلة توطين اللسان. علاوة على ذلك ، تعمل وحدة آلية الانتباه على تحسين دقة تصنيف صورة اللسان ، مما يمنع التداخل من شوائب اللسان. في مواجهة مشكلة تصنيف سمات اللسان للأمراض المختلفة27 ، قد توفر خوارزميات التعلم العميق أيضا مناهج جديدة. بالإضافة إلى ذلك ، قام Shi et al.28 بالتحقيق في طريقة تصنيف نموذجية لسرطان الرئة ذو الخلايا غير الصغيرة بناء على خوارزمية شجرة القرار C5.0. حددوا سبع قواعد لتصنيف السمات ذات الصلة بشهادة نقص Qi وتصنيف شهادة نقص Yin. تم العثور على دقة النموذج لتكون 80.37٪. بالإضافة إلى ذلك ، طور Li et al.29 نموذجا تشخيصيا لمرض السكري باستخدام خوارزمية الغابات العشوائية. كما قاموا بتحليل ميزات النسيج والألوان من صور اللسان لتحسين أداء النموذج.
استنتاج
على عكس الأساليب التشخيصية المعاصرة للطب الغربي ، فإن طرق تشخيص الطب الصيني التقليدي طفيفة التوغل وتنطوي على الحد الأدنى من الضرر. بالإضافة إلى ذلك ، فإن طرق التشخيص الأربع للمراقبة والاستماع أو الشم والاستفسار والجس لها أسسها في جوانب متنوعة من الطب الصيني التقليدي. ومع ذلك ، نظرا للاعتماد الشديد لتشخيص وعلاج الطب الصيني التقليدي على خبرة الممارس ومفاهيم العلاج الشخصي ، قد يكون هناك نقص في الموضوعية والتوحيد. ونتيجة لذلك ، ظهر الاتجاه نحو تجسيد تشخيص الطب الصيني التقليدي كاتجاه لمزيد من البحث ، والذي يمكن أن يعزز تقدم الطب الصيني التقليدي.
يمتلك تجسيد تشخيص اللسان القدرة على معالجة الصور وكميات كبيرة من البيانات بكفاءة عالية ، مما قد يساعد الأطباء بشكل كبير. ومع ذلك ، من الضروري ملاحظة أن تشخيص اللسان ليس فقط طريقة تقليدية ، ولكن تم التحقق من صحته أيضا. أجرى Chen et al.30 دراسة جمعوا فيها بيانات سريرية عن صور اللسان ل 382 مريضا ب COVID-19. قاموا بتحليل ميزات صورة اللسان إحصائيا ومعلمات نمط ألوان المختبر لجميع مجموعات التصوير. وكشفت نتائج الدراسة عن وجود علاقة بين ميزات صور اللسان ونوع الطب الغربي المستخدم. بالإضافة إلى ذلك ، تتوافق التغييرات في صور اللسان مع التسبب العام للمرض. يمكن أن تساعد بعض معلمات صور اللسان في التنبؤ بالتغيرات المسببة للأمراض ل COVID-19 في TCM31.
أثناء تجسيد تشخيص اللسان الطبي التقليدي ، استخدم العديد من الباحثين طريقة التجزئة والتصنيف. يعد التعلم العميق والشبكات العصبية الالتفافية ضروريين لتصنيف خصائص صورة اللسان. تعد دقة خوارزمية تجزئة صورة اللسان أمرا بالغ الأهمية لأنها تحدد ما إذا كان يمكن فصل اللسان بدقة عن الوجه ، مما يؤثر على دقة التصنيف اللاحق للميزات. وبالتالي ، فإن تعزيز دقة نموذج الخوارزمية الحالي هو تركيز بحثي حاسم في هذا المجال. في الوقت الحالي ، يعد تحسين نموذج الخوارزمية ودقته نقطة ساخنة للبحث.
استخدمت هذه الدراسة نفس بيانات مجموعة الاختبار لمقارنة أداء خوارزميات U-Net و Seg-Net و DeeplabV3 و PSPNet4. وقد اتخذ هذا التدبير لضمان الاتساق في نوعية البيانات المستخدمة. في ظل البيئة التجريبية المستخدمة في هذه الدراسة ، تفوقت خوارزمية U-Net على الخوارزميات الثلاث الأخرى بشكل كبير فيما يتعلق بدقة التجزئة. MIoU هو مقياس التعليقات التوضيحية لخوارزمية التجزئة الدلالية32 ، وهو الفهرس الأكثر أهمية المستخدم لتقييم أداء الخوارزمية. كانت قيمة MIoU لخوارزمية U-Net أعلى بنسبة 3.91٪ من خوارزمية Seg-Net ، وأعلى بنسبة 23.32٪ من قيمة DeeplabV3 ، وأعلى بنسبة 16.2٪ من قيمة PSPNet. يوفر هذا دليلا على أن خوارزمية U-Net تعمل بشكل أفضل من الخوارزميات الأخرى.
ومع ذلك ، هناك بعض المشاكل في تجزئة وتصنيف صور اللسان باستخدام خوارزميات التعلم العميق. على سبيل المثال ، نظرا لخصوصية المريض ، فإن مجموعات بيانات الصور الطبية صغيرة جدا في الحجم مقارنة بمجموعات البيانات الدلالية المجزأة الأخرى ، مما يحد من مزايا التعلم العميق في البيانات الضخمة. تجزئة نموذج المعلمة الكبيرة عرضة لمشكلة التركيب. لذلك ، يجب تعديل بنية الشبكة عن طريق اختيار أوضاع التحسين المناسبة. في الوقت الحاضر ، لم تشكل أبحاث تشييء تشخيص اللسان بعد معيارا موحدا للجمع. تفتقر بيئة الاستحواذ ونوع مصدر الضوء إلى التوحيد المناسب. عادة ما يقوم الباحثون بإعداد بيئة المجموعة وبناء قاعدة بيانات غير عامة خاصة بهم. في الوقت نفسه ، على الرغم من أن النماذج الخوارزمية الحالية يمكن أن تحقق دقة جيدة ، إلا أن البيانات المستخدمة يتم فحصها بعناية ومعالجتها مسبقا ، وهو أمر يصعب تحقيقه في بيئة التشخيص والعلاج الفعلية ، مما يحد من تطبيقه السريري. بالإضافة إلى ذلك ، فإن المزيد من تجسيد تشخيص اللسان سيتعامل مع البيئات المعقدة أو صور اللسان التي تم التقاطها بواسطة أجهزة مختلفة33. هناك اتجاه آخر هو معالجة المعلومات الديناميكية ، وتحديدا معالجة صور الفيديو ، والتي توفر معلومات أكثر تفصيلا عن اللسان وتعكس بشكل أكثر شمولا مزايا تشخيص اللسان. وبالتالي ، من الضروري تطوير خوارزميات التعلم العميق لمعالجة التفاصيل الديناميكية. بشكل عام ، فإن تجسيد تشخيص اللسان الطبي جنبا إلى جنب مع خوارزميات التعلم العميق يبشر بتقليل الذاتية في تشخيص الطب الصيني التقليدي.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
ليس لدى المؤلفين أي تضارب في المصالح للإعلان.
Acknowledgments
تم دعم هذا العمل من قبل مؤسسة الطبيعة الوطنية في الصين (المنحة رقم 82004504) ، والبرنامج الوطني للبحث والتطوير الرئيسي التابع لوزارة العلوم والتكنولوجيا في الصين (منحة رقم 2018YFC1707606) ، وإدارة الطب الصيني في مقاطعة سيتشوان (منحة رقم 2021MS199) ومؤسسة الطبيعة الوطنية الصينية (منحة رقم 82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
