Name: החפצת אבחון לשון ברפואה המסורתית, ניתוח נתונים ויישום המחקר (וידאו) | JoVE Journal
Uploaded: 2023-04-14T14:15:00.000+00:00
Duration: 5 min 56 s
Description: למדו אלגוריתמי למידה עמוקה לחלוקת תמונות לשון ברפואה המסורתית באמצעות U-Net ומודלים נוספים. השוואת ביצועים מדגימה שיפור משמעותי בדיוק האבחון הקליני.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

עבודה זו נתמכה על ידי הקרן הלאומית לטבע של סין (מענק מס' 82004504), התוכנית הלאומית למחקר ופיתוח מפתח של משרד המדע והטכנולוגיה של סין (מענק מס' 2018YFC1707606), מינהל הרפואה הסינית של מחוז סצ'ואן (מענק מס' 2021MS199) וקרן הטבע הלאומית של סין (מענק מס' 82174236).

מחקר זה אושר על ידי הקרן הלאומית למדעי הטבע של סין, בניית כללי שינוי דינמי של תמונת פנים TCM בהתבסס על ניתוח אסוציאציות. מספר אישור האתיקה הוא 2021KL-027, וועדת האתיקה אישרה את המחקר הקליני לביצוע בהתאם למסמכים המאושרים הכוללים פרוטוקול מחקר קליני (2021.04.12, V2.0), הסכמה מדעת (2021.04.12, V2.0), חומרי גיוס נבדקים (2021.04.12, V2.0), מקרי מחקר ו/או דיווחי מקרה, כרטיסי יומן נושא ושאלונים אחרים (2021.04.12, V2.0), רשימת המשתתפים בניסוי הקליני, אישור פרויקט מחקר וכו'. התקבלה הסכמה מדעת של החולים שהשתתפו במחקר. הגישה הניסויית העיקרית של מחקר זה היא להשתמש בתמונות לשון אמיתיות כדי לאמת ולהשוות את השפעות פילוח המודל. איור 1 מציג את המרכיבים של החפצת אבחון לשון.
1. רכישת תמונות
<ol><li>השתמש במכשיר לאבחון פנים לשוני ידני שפותח בעצמו כדי לאסוף תמונות פנים לשוניות של מטופלים.</li>
	<li>מלא את שם החולה, מינו, גילו ומחלתו בדף המחשב. התמונות הכלולות כאן הן של מטופלים שהגיעו למרפאה והסכימו להצטלם לאחר שנודע להם על מטרת המחקר ותוכנו. ודאו שהמטופל יושב זקוף, הניחו את כל הפנים במכשיר לרכישת תמונה, והנחו את המטופל להוציא את לשונו מהפה במידה המרבית.</li>
	<li>החזיקו את מכשיר רכישת התמונות המחובר למחשב וודאו באמצעות התמונות על מסך המחשב שהמטופל נמצא במיקום הנכון ושהלשון והפנים חשופות במלואן.</li>
	<li>לחץ על לחצן צלם במסך המחשב שלוש פעמים כדי לצלם שלוש תמונות. הערה: מכשיר רכישת התמונה נמצא כרגע רק בשלב בקשת הפטנט ואינו לשימוש מסחרי, ולכן הוא אינו למכירה.</li>
	<li>בחר וסנן ידנית את תמונות הלשון והפנים שנאספו. סנן ולא הכלול תמונות עם חשיפה חלקית של הלשון והפנים, וכן תמונות כהות מדי עקב אור לא מספיק. איור 2 מציג את דף רכישת התמונות של התוכנה.</li>
	<li>בתכנון הניסוי, אספו שלוש תמונות מכל מטופל בכל פעם כחלופות ובחרו תמונה סטנדרטית יחסית, חשופה במלואה, מוארת היטב וברורה כדגימה לאימון ובדיקת האלגוריתמים הבאים.</li>
	<li>לאסוף נתונים לאחר הצילום, לייצא את הנתונים להקרנה ידנית, ולמחוק את התמונות הלא סטנדרטיות גלוי לעין בלתי. השתמש בקריטריוני הסינון וההדרה הבאים: חשיפה חלקית של לשון ופנים, ותמונות כהות מדי כתוצאה מאור לא מספיק. דוגמה לתמונה שאינה מוארת כראוי, תמונה חלקית ותמונה סטנדרטית מוצגת באיור 3. הערה: אור לא מספיק נגרם בדרך כלל על ידי כישלון של המטופל למקם את הפנים לחלוטין לתוך המכשיר. חשיפה מלאה מושגת בדרך כלל רק על ידי צילום נכון של המטופל.</li>
</ol>2. פילוח לשון
<ol><li>בצע פילוח תמונות לשון באמצעות כלי ביאור מקוון, כמתואר להלן.<ol><li>התקן את Labelme, לחץ על כפתור פתח בפינה השמאלית העליונה של ממשק התווית, בחר את התיקיה שבה נמצאת התמונה ופתח את התמונות.</li>
		<li>לחץ על צור מצולע כדי להתחיל לעקוב אחר נקודות, לעקוב אחר הלשון והצורות הלשוניות, לתת להן שם בהתאם לאזורים שנבחרו (למשל, לשון ומשטח לשוני) ולשמור אותן.</li>
		<li>לאחר השלמת כל הסימונים, לחץ על שמור כדי לשמור את התמונה בתיקיית הנתונים. ראו איור 4 לקבלת תרשים זרימה מפורט. הערה: מכיוון שלתמונות עשויים להיות הבדלים בפיקסלים, לא ניתן להשתמש בתמונות ישירות לאימון ובדיקה של אלגוריתמים.</li>
	</ol></li>
	<li>אחד את התמונות לאותו גודל על-ידי מילוי קצוות של התמונות, כאשר הצד הארוך של התמונה הוא אורך מילוי היעד וביצוע מילוי קצוות לבן כדי למלא את התמונות לריבוע, כאשר הצד הארוך של התמונה הוא אורך הקצוות. גודל התמונה שצולם על ידי המכשיר הוא 1080 x 1920 פיקסלים, וגודל התמונה המלאה הוא 1920 x 1920 פיקסלים. ראו איור 5.</li>
	<li>החל שיפור תמונה במידת הצורך. במחקר זה לא יושם שיפור, שכן התמונות בהן נעשה שימוש צולמו בסצנה קבועה והושפעו פחות מהסביבה, מהתאורה ומגורמים אחרים.</li>
	<li>מכיוון ששלוש תמונות נאספו עבור כל מטופל במהלך תהליך הצילום כדי לקחת בחשבון גורמים בלתי נשלטים, כגון מצמוץ נושא וחסימת עדשה, סנן ידנית את התמונות מכל מטופל כדי לשמור תמונה אחת לכל מטופל.</li>
	<li>לצורך אימון המודל, לאסוף נתונים מ -200 אנשים, או 600 תמונות. לאחר ההקרנה, שמרו כ-200 תמונות שמישות.</li>
	<li>על פי מספר התמונה, חלקו באופן אקראי את כל תמונות הלשון, והכניסו 70% מהן לסט האימונים ו-30% לסט המבחנים בגיליון אלקטרוני.</li>
</ol>3. סיווג לשון
<ol><li>עבור אל האתרים הרשמיים והורד והתקן את Anaconda, Python ו- Labelme. הפעל את הסביבה והשלם את ההתקנה וההתאמה של הסביבה הכוללת. ראה איור 6 לקבלת תרשים זרימה המתאר את ההתקנה וההגדרה של התוכנה.</li>
	<li>בנה את מודל אלגוריתם הלמידה העמוקה בסביבה המותקנת, כוונן את הפרמטרים והשלם את אימון המודל באמצעות ערכת ההדרכה. בצע בחירת דגם וכוונון כמתואר בשלבים הבאים.<ol><li>בחירת מודל: בחר את המודל המתאים בהתבסס על מטרת המחקר. לאחר סקירת מחקרים על עיבוד תמונות לשון ב-5 השנים האחרונות, נבחרו ארבעה אלגוריתמים, U-Net, Seg-Net, DeeplabV3 ו-PSPNet, לאימות במחקר זה (ראו קובץ קידוד משלים 1, קובץ קידוד משלים 2, קובץ קידוד משלים 3 וקובץ קידוד משלים 4 לקודי מודל).</li>
		<li>בניית ערכת הנתונים: לאחר השלמת בחירת הדגם, בנו את מערך הנתונים הנדרש בשילוב עם תוכן המחקר, בעיקר באמצעות ביאור Labelme ושיטות גודל התמונה האחידות, כמתואר לעיל.</li>
	</ol></li>
	<li>בצע אימון מודל כמתואר להלן. איור 7 מציג פרטים על פעולת אימון האלגוריתם.<ol><li>הזן את הנתונים לרשת העצבית לצורך התפשטות קדימה, כאשר כל תא עצב מזין תחילה הצטברות משוקללת של ערכים ולאחר מכן מזין פונקציית הפעלה כערך הפלט של אותו נוירון כדי לקבל את התוצאה.</li>
		<li>הזן את התוצאה לפונקציית השגיאה והשווה אותה לערך הצפוי כדי לקבל את השגיאה ולשפוט את מידת הזיהוי בטעות. ככל שפונקציית ההפסד קטנה יותר, כך המודל יהיה טוב יותר.</li>
		<li>צמצם את השגיאה על ידי התפשטות לאחור וקבע את וקטור השיפוע. התאימו את המשקולות של וקטור מעבר הצבע למגמה לעבר התוצאות כך שהשגיאה נוטה לאפס או מתכווצת.</li>
		<li>חזור על תהליך אימון זה עד להשלמת הערכה או עד שערך השגיאה אינו יורד עוד, ואז אימון המודל הושלם. ראו איור 8 לתרשים זרימה של מודל האלגוריתם באימון ובבדיקות.</li>
	</ol></li>
	<li>בדוק את ארבעת המודלים באמצעות אותם נתוני בדיקה עבור סגמנטציה ושפוט את ביצועי המודל בהתאם לאפקט הסגמנטציה. ארבעת המדדים של דיוק, היזכרות, דיוק פיקסלים ממוצע (MPA) ו-MIoU מספקים הערכת ביצועי מודל מקיפה יותר.</li>
	<li>לאחר יצירת התוצאות של ארבעת המודלים, השווה את ערכיהם אופקית; ככל שהערך גבוה יותר, כך דיוק הפילוח גבוה יותר וביצועי המודל טובים יותר. ראו איור 9, איור 10 ואיור 11.</li>
</ol>

<ol><li>Jiu, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effects+of+herbal+therapy+on+intestinal+microbiota+and+serum+metabolomics+in+different+rat+models+of+Mongolian+medicine%5BTitle%5D)+AND+%22Evidence-Based+Complementary+and+Alternative%22%5BJournal%5D)">Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine.</a> Evidence-Based Complementary and Alternative. 2022, 7255780(2022).</li>
<li>Xi, J., Xin, Y., Teregle, <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+correlation+between+the+animal+model+of+Mongolian+medicine+34%3BXieri+disease%26%2334%3B+and+serum+ALT+and+AST%5BTitle%5D)+AND+%22Electronic+Journal+of+Cardiovascular+Diseases+in+Combination+of+Traditional+Chinese%22%5BJournal%5D)">Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease&#34; and serum ALT and AST.</a> Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).</li>
<li>Yin, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+mechanism+of+serum+differential+protein+changes+in+bronchial+asthma+based+on+proteomics%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics.</a> Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).</li>
<li>Wang, X. H., Bao, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Band+Seed.+The+origin+and+development+of+tongue+diagnosis+in+Mongolian+medicine%5BTitle%5D)+AND+%22Chinese+Ethnic+Folk+Medicine%22%5BJournal%5D)">Band Seed. The origin and development of tongue diagnosis in Mongolian medicine.</a> Chinese Ethnic Folk Medicine. (1), 64-65 (2008).</li>
<li>Yang, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparative+study+on+the+feature+parameters+of+tongue+diagnosis+images+in+five+nationalities%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">A comparative study on the feature parameters of tongue diagnosis images in five nationalities.</a> Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).</li>
<li>He, J. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Efficacy+and+safety+of+Chou-Ling-Dan+granules+in+the+treatment+of+seasonal+influenza+via+combining+Western+and+traditional+Chinese+medicine%2C+protocol+for+a+multicentre%2C+randomised+controlled+clinical+trial%5BTitle%5D)+AND+%22BMJ+Open%22%5BJournal%5D)">Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial.</a> BMJ Open. 9 (4), e024800(2019).</li>
<li>Wang, D. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scientific+knowledge+mapping+and+visualization+analysis+in+the+field+of+Chinese+medicine+tongue+feature+objectification+research%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).</li>
<li>Yuan, S. M., Qian, P., Li, F. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+progress+of+color+correction+methods+for+tongue+and+face+diagnosis+in+traditional+Chinese+Medicine%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine.</a> Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).</li>
<li>Kanawong, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tongue+image+analysis+and+its+mobile+app+development+for+health+diagnosis%5BTitle%5D)+AND+%22Advances+in+Experimental+Medicine+and+Biology%22%5BJournal%5D)">Tongue image analysis and its mobile app development for health diagnosis.</a> Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).</li>
<li>Yu, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+segmentation+evaluation+index+and+evaluation+method%5BTitle%5D)+AND+%22Computer+Engineering+and+Application%22%5BJournal%5D)">Semantic segmentation evaluation index and evaluation method.</a> Computer Engineering and Application. , (2023).</li>
<li>Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mu-net%3A+Multi-scale+U-net+for+two-photon+microscopy+image+denoising+and+restoration%5BTitle%5D)+AND+%22Neural+Networks%22%5BJournal%5D)">Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration.</a> Neural Networks. 125, 92-103 (2020).</li>
<li>Huang, X. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+on+the+application+of+U-Net+and+its+variants+in+medical+image+segmentation%5BTitle%5D)+AND+%22Chinese+Journal+of+Biomedical+Engineering%22%5BJournal%5D)">A review on the application of U-Net and its variants in medical image segmentation.</a> Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).</li>
<li>Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+overview+of+tongue+objectification+in+traditional+Chinese+medicine+based+on+computer+image+technology%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research overview of tongue objectification in traditional Chinese medicine based on computer image technology.</a> World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).</li>
<li>Mansour, R. F., Althobaiti, M. M., Ashour, A. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Internet+of+things+and+synergic+deep+learning+based+biomedical+tongue+color+image+analysis+for+disease+diagnosis+and+classification%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification.</a> IEEE Access. 9, 94769-94779 (2021).</li>
<li>Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analysis+of+the+development+and+application+of+tongue+diagnosis+objectification+techniques+in+Chinese+medicine%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).</li>
<li>Ghosh, S., Das, N., Nasipuri, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reshaping+inputs+for+convolutional+neural+network%3A+some+common+and+uncommon+methods%5BTitle%5D)+AND+%22Pattern+Recognition%22%5BJournal%5D)">Reshaping inputs for convolutional neural network: some common and uncommon methods.</a> Pattern Recognition. 93, 79-94 (2019).</li>
<li>Shang, Z. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+progress+of+digital+acquisition+and+characterization+of+tongue+diagnosis+information%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research progress of digital acquisition and characterization of tongue diagnosis information.</a> Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).</li>
<li>Ning, J., Zhang, D., Wu, C., Yue, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+tongue+image+segmentation+based+on+gradient+vector+flow+and+region+merging%5BTitle%5D)+AND+%22Neural+Computing+and+Applications%22%5BJournal%5D)">Automatic tongue image segmentation based on gradient vector flow and region merging.</a> Neural Computing and Applications. 21, 1819-1826 (2012).</li>
<li>Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+method+for+tongue+detection+based+on+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Xiamen+University%22%5BJournal%5D)">A method for tongue detection based on image segmentation.</a> Journal of Xiamen University. 55 (6), 895-900 (2016).</li>
<li>Li, Y. T., Luo, Y. S., Zhu, Z. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+tongue+feature+analysis%5BTitle%5D)+AND+%22Computer+Science%22%5BJournal%5D)">Deep learning-based tongue feature analysis.</a> Computer Science. 47 (11), 148-158 (2020).</li>
<li>Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+deep+learning-based+tongue+fissure+segmentation+algorithm%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Research on deep learning-based tongue fissure segmentation algorithm.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).</li>
<li>Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+the+identification+method+of+tongue+punctures+based+on+auxiliary+light+source%5BTitle%5D)+AND+%22Journal+of+Sensing+Technology%22%5BJournal%5D)">Research on the identification method of tongue punctures based on auxiliary light source.</a> Journal of Sensing Technology. 29 (10), 1553-1559 (2016).</li>
<li>Yang, J. D., Zhang, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+fully+connected+neural+network+based+on+migration+learning+for+tongue+image+classification%5BTitle%5D)+AND+%22Journal+of+the+Second+Military+Medical+University%22%5BJournal%5D)">A fully connected neural network based on migration learning for tongue image classification.</a> Journal of the Second Military Medical University. 39 (8), 897-902 (2018).</li>
<li>Song, C., Wang, B., Xu, J. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+tongue+feature+classification+method+based+on+deep+migration+learning%5BTitle%5D)+AND+%22Computer+Engineering+and+Science%22%5BJournal%5D)">Research on tongue feature classification method based on deep migration learning.</a> Computer Engineering and Science. 43 (8), 1488-1496 (2021).</li>
<li>Ding, H. J., He, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+modern+techniques+and+methods+of+tongue+diagnosis%5BTitle%5D)+AND+%22Shi+Zhen+Chinese+Medicine%22%5BJournal%5D)">Study on modern techniques and methods of tongue diagnosis.</a> Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).</li>
<li>Zhai, P. B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stage+tongue+image+classification+algorithm+incorporating+attention+mechanism%5BTitle%5D)+AND+%22Computer+Engineering+and+Design%22%5BJournal%5D)">A multi-stage tongue image classification algorithm incorporating attention mechanism.</a> Computer Engineering and Design. 42 (6), 1606-1613 (2021).</li>
<li>Hou, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+clustering+analysis+algorithm+based+on+deep+learning%5BTitle%5D)+AND+%22Journal+of+Xinxiang+University%22%5BJournal%5D)">A new clustering analysis algorithm based on deep learning.</a> Journal of Xinxiang University. 35 (12), 4(2018).</li>
<li>Shi, Y. L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+decision+tree+algorithm+for+classification+of+non-small+cell+lung+cancer+evidence+based+on+tongue+and+pulse+data%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data.</a> World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).</li>
<li>Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+feature+analysis+and+diagnosis+model+of+diabetic+tongue+based+on+random+forest+algorithm%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm.</a> Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).</li>
<li>Chen, C. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+characteristics+of+the+combination+of+the+four+diagnostic+methods+of+traditional+Chinese+medicine+from+the+perspective+of+the+differences+between+Chinese+and+Western+medical+diagnosis+methods%5BTitle%5D)+AND+%22Journal+of+Guangzhou+University+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods.</a> Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).</li>
<li>Chen, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Correlation+analysis+of+tongue+image+and+western+medicine+typing+in+382+patients+with+novel+coronavirus+pneumonia+based+on+Lab+colour+model+and+imaging+histology%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology.</a> Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).</li>
<li>Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+segmentation+dataset+for+AI-based+quantification+of+clean+mucosa+in+capsule+endoscopy%5BTitle%5D)+AND+%22Medicina%22%5BJournal%5D)">Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy.</a> Medicina. 58 (3), 397(2022).</li>
<li>Wu, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+research+on+deep+learning+in+tongue+image+classification%5BTitle%5D)+AND+%22Computer+Science+and+Exploration%22%5BJournal%5D)">A review of research on deep learning in tongue image classification.</a> Computer Science and Exploration. , 1-23 (2022).</li>
</ol>

למחברים אין ניגוד עניינים להצהיר.

בהתבסס על תוצאות ההשוואה שהוצגו לעיל, ניכר כי המאפיינים של ארבעת האלגוריתמים הנדונים מגוונים, והיתרונות והחסרונות המובהקים שלהם מתוארים להלן. מבנה U-Net, המבוסס על שינוי והרחבה של רשת קונבולוציה מלאה, יכול לקבל מידע קונטקסטואלי ומיקום מדויק באמצעות נתיב התקשרות ונתיב התרחבות סימטרי. על ידי סיווג כל נקודת פיקסל, אלגוריתם זה משיג דיוק סגמנטציה גבוה יותר ומפלח את התמונה עם המודל המיומן מהר יותר. מצד שני, לאלגוריתם Seg-Net, המורכב ממבנה סימטרי של מקודד ומפענח, יש את היתרון של הסתגלות מהירה לבעיות חדשות וביצועים טובים במשימות...

תצפית לשון היא טכניקה נפוצה ברפואה האתנית הסינית המסורתית (TCM). הצבע והצורה של הלשון יכולים לשקף את המצב הגופני ואת תכונות המחלה, חומרותיה ופרוגנוזות שונות. לדוגמה, ברפואת המונג המסורתית, צבע הלשון משמש לזיהוי טמפרטורת הגוף, למשל, לשון אדומה או סגולה מצביעה על גורמים פתולוגיים הקשורים לחום. ברפואה הטיבטית, מצב נשפט על ידי התבוננות בלשון של מטופל, תוך שימת לב לצבע, לצורה וללחות של הריר. לדוגמה, הלשונות של חולים עם מחלת היי הופכות אדומות ומחוספסות או שחורות ויבשות1; חולים עם מחלת Xieri2 יש לשון צהובה ויבשה; בינתיים, לחולים עם מחלת בדקאן3 יש לשון לבנה, לחה ורכה4. תצפיות אלה חושפות את הקשר ההדוק בין תווי הלשון לבין פיזיולוגיה ופתולוגיה. באופן כללי, מצב הלשון ממלא תפקיד חיוני באבחון, זיהוי מחלות והערכת השפעת הטיפול.
במקביל, בשל תנאי חיים מגוונים ומנהגי תזונה בין קבוצות אתניות שונות, ניכרים הבדלים בדימויי הלשון. מודל המעבדה, שנקבע על בסיס תקן בינלאומי לקביעת צבע, גובש על ידי הוועדה הבינלאומית לאקלראז' (CIE) בשנת 1931. בשנת 1976 שונתה תבנית צבע וקיבלה את שמה. מודל הצבע Lab מורכב משלושה אלמנטים: L מתאים לבהירות, בעוד a ו-b הם שני ערוצי צבע. A כולל צבעים מירוק כהה (ערך בהירות נמוכה) דרך אפור (ערך בהירות בינונית) עד ורוד בהיר (ערך בהירות גבוהה); B עובר מכחול בהיר (ערך בהירות נמוכה) לאפור (ערך בהירות בינונית) לצהוב (ערך בהירות גבוהה). על ידי השוואת ערכי L x a x b של צבע הלשון של חמש קבוצות אתניות, יאנג ואחרים מצאו כי המאפיינים של תמונות לשון של קבוצות המונג, חוי, ג'ואנג, האן ומונגוליה היו שונים באופן משמעותי זה מזה. לדוגמה, למונגולים יש לשונות כהות עם ציפוי לשון צהוב, בעוד שלבני המונג יש לשון בהירה עם ציפוי לשון לבן, דבר המצביע על כך שתווי הלשון יכולים לשמש כאינדיקטור אבחוני להערכת מצב הבריאות של אוכלוסייה. יתר על כן, תמונות לשון יכולות לתפקד כמדד הערכה לרפואה מבוססת ראיות במחקר קליני של רפואה אתנית. הוא ועמיתיו השתמשו בתמונות לשון כבסיס לאבחון TCM והעריכו באופן שיטתי את הבטיחות והיעילות של כדורי Chou-Ling-Dan (גרגרי CLD המשמשים לטיפול במחלות דלקתיות וחום, כולל שפעת עונתית ב- TCM) בשילוב עם רפואה סינית ומערבית. התוצאות ביססו את התוקף המדעי של תמונות לשון כמדד הערכה למחקרים קליניים. עם זאת, רופאים מסורתיים מסתמכים בדרך כלל על סובייקטיביות כדי לבחון את מאפייני הלשון ולהעריך את מצבם הפיזיולוגי והפתולוגי של החולים, הדורשים אינדיקטורים מדויקים יותר.
הופעתם של האינטרנט וטכנולוגיית הבינה המלאכותית סללה את הדרך לדיגיטציה והחפצה של אבחון לשון. תהליך זה כרוך בשימוש במודלים מתמטיים כדי לספק תיאור איכותי ואובייקטיבי של תמונות לשון7, המשקף את התוכן של תמונת הלשון. התהליך כולל מספר שלבים: רכישת תמונה, פיצוי אופטי, תיקון צבע וטרנספורמציה גיאומטרית. התמונות המעובדות מראש מוזנות לאחר מכן למודל אלגוריתמי למיקום וסגמנטציה של תמונות, חילוץ תכונות, זיהוי תבניות וכו '. תוצר תהליך זה הוא אבחון יעיל ומדויק ביותר של נתוני תמונת לשון, ובכך משיג את המטרה של החפצה, כימות ואינפורמציה של אבחון לשון8. כך מושגת המטרה של יעילות גבוהה ועיבוד מדויק של נתוני אבחון הלשון. בהתבסס על ידע באבחון לשון וטכנולוגיית למידה עמוקה, מחקר זה הפריד באופן אוטומטי את גוף הלשון ואת ציפוי הלשון מתמונות לשון באמצעות אלגוריתם ממוחשב, על מנת לחלץ את התכונות הכמותיות של הלשון עבור רופאים, לשפר את האמינות והעקביות של האבחון, ולספק שיטות למחקר החפצה של אבחון לשון לאחר מכן9.

<table><tbody><tr><td>מעבד</td><td>Intel(R) Core(TM) i7-9700K</td><td></td><td></td></tr><tr><td>GPU</td><td>&nbsp; NVIDIA GeForce RTX 3070 Ti (8192MB)</td><td></td><td></td></tr><tr><td>מערכות הפעלה</td><td>Microsoft Windows 10 Professional Edition (64 סיביות)</td><td></td><td></td></tr><tr><td>שפת תכנות</td><td>Python</td><td></td><td></td></tr><tr><td>RAM</td><td>16G</td><td></td><td></td></tr></tbody></table>

החפצת אבחון לשון ברפואה המסורתית, ניתוח נתונים ויישום המחקר

Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application

אבחון לשון הוא טכניקה חיונית של אבחון הרפואה הסינית המסורתית (TCM), והצורך בהחפצת תמונות לשון באמצעות טכנולוגיית עיבוד תמונה הולך וגדל. המחקר הנוכחי מספק סקירה כללית של ההתקדמות שחלה בהחפצת לשון בעשור האחרון ומשווה מודלים של סגמנטציה. מודלים שונים של למידה עמוקה נבנים כדי לאמת ולהשוות אלגוריתמים באמצעות ערכות תמונות לשון אמיתיות. נקודות החוזק והחולשה של כל מודל מנותחות. הממצאים מצביעים על כך שהאלגוריתם של U-Net עולה בביצועיו על מודלים אחרים הנוגעים למדדי דיוק דיוק (PA), היזכרות וממוצע הצטלבות על פני איחוד (MIoU). עם זאת, למרות ההתקדמות המשמעותית ברכישה ובעיבוד של תמונות לשון, טרם נקבע סטנדרט אחיד לאבחון החפצת לשון. כדי להקל על היישום הנרחב של תמונות לשון שצולמו באמצעות מכשירים ניידים בהחפצה של אבחון לשון, מחקר נוסף יכול להתמודד עם האתגרים שמציבות תמונות לשון שצולמו בסביבות מורכבות.

לתוצאות ההשוואה, ראו איור 12, איור 13 וטבלה 1, שם הסביבה שנבנתה במחקר זה משתמשת באותן דגימות כדי לאמן ולבדוק את מודל האלגוריתם. מחוון MIoU: U-Net &gt; Seg-Net &gt; PSPNet &gt; DeeplabV3; מחוון MPA: U-Net &gt; Seg-Net &gt; PSPNet &gt; DeeplabV3; מחוון דיוק: U-Net &gt; Seg-Net &gt; DeeplabV3 &gt; PSPNet; נזכיר: U-Net &gt; Seg-Net &gt;-PSPNet &gt;-DeeplabV3. ככל שערך המדד גדול יותר, כך דיוק הפילוח גבוה יותר וביצועי המודל טובים יותר. על פי תוצאות ה...

המחקר הנוכחי השתמש ב-U-Net ובאלגוריתמים אחרים של למידה עמוקה כדי לפלח תמונת לשון והשווה את תוצאות הסגמנטציה כדי לחקור את החפצת אבחון הלשון.

Tongue diagnosis is an essential technique of traditional Chinese medicine (TCM) diagnosis, and the need for objectifying tongue images through image ...

פרוטוקול זה משתמש באלגוריתם למידה עמוקה כדי לפלח תמונות לשון ומפריד באופן אוטומטי את הלשון מהתמונה כולה, מה שיכול לשמש למחקר נוסף. פרוטוקול זה משווה את הביצועים של אלגוריתם פילוח תמונה בארבע לשונות כדי לבחור את אלגוריתם הבסיס שיכול לפלח לשון עם מונה ברור. במחקר זה נעשה שימוש במכשירים ואלגוריתמים המוגנים בפטנט.מומלץ להשתמש במכשירים מקצועיים ובטכנולוגיית מחשב מאסטר. כדי להתחיל, הכינו את מכשיר אבחון הפנים הלשוני שפותח ביד כדי לאסוף תמונות פנים לשוניות של מטופלים. מלא את שם החולה, מינו, גילו ומחלתו בדף המחשב.לאחר מכן, בקש מהמטופל לשבת זקוף ולמקם את מכשיר רכישת התמונה המחובר למחשב. לאחר מכן, מקמו את פני המטופל במכשיר רכישת התמונה ובקשו ממנו להוציא את לשונו מהפה במידה המרבית. יש לוודא באמצעות התמונות על מסך המחשב כי המטופל נמצא בתנוחה הנכונה וכי הלשון והפנים חשופים במלואם.לחץ על כפתור הצילום במסך המחשב שלוש פעמים כדי לצלם שלוש תמונות. לאחר מכן, בחר ידנית את התמונות שנאספו של הפנים והלשון. סנן אותם לפי דף רכישת התמונות של התוכנה.אסוף שלוש תמונות מכל מטופל בכל פעם וייצא את התמונות לתיקייה לסינון ידני. לאחר מכן, בחר תמונה סטנדרטית, חשופה במלואה, מוארת היטב וברורה, המדגם לאימון אלגוריתמים ובדיקתם. מחק את התמונות שאינן עומדות בקריטריונים של תמונה רגילה.הקריטריונים להדרה הם חשיפת לשון ופנים חלקית ותמונות כהות מדי. כדי לבצע פילוח תמונות לשון, פתח את LabelMe ולחץ על כפתור פתח בפינה השמאלית העליונה של הממשק. בחר את התיקיה המכילה את התמונה לחלוקה ופתח את התמונות.לחץ על הלחצן צור מצולע כדי לעקוב אחר הנקודות. עקוב אחר הלשון והצורות הלשוניות, תן להן שם בהתאם לאזורים שנבחרו ושמור. בסיום כל המעקב, לחץ על שמור כדי לשמור את התמונה בתיקיית הנתונים.הגדר את ההתקן לצילום תמונות בגודל של 1080x1920 פיקסלים וודא שגודל התמונה עם המילוי הוא 1920x1920 פיקסלים. סנן ידנית את התמונות של כל מטופל כדי לבחור ולשמור אחת מתוך שלוש התמונות שצולמו עבור גורמים בלתי נשלטים, כגון מצמוץ הנושא וחסימת עדשה. לצורך אימון המודל, אספו נתונים מ-200 אנשים או 600 תמונות ושמרו כ-200 תמונות שניתן להשתמש בהן לאחר ההקרנה.חלקו באופן אקראי את כל תמונות הלשון לפי מספר התמונה, והכניסו 70% מהן לערכת האימונים ו-30% מהתמונות לתיקייה Test Set. הורד והתקן Anaconda, Python ו- LabelMe מהאתרים הרשמיים שלהם. הפעל את הסביבה והשלם את ההתקנה וההתאמה של הסביבה הכוללת.בחר את המודל המתאים למטרת המחקר. במחקר זה, UNet, SegNet, DeepLab גרסה 3 ו-PSPNet נבחרו לאימות. לאחר מכן, בנה את מודל אלגוריתם הלמידה העמוקה בסביבה המותקנת.כוונן את הפרמטרים על-ידי התאמת הערכים והשלם את אימון המודל באמצעות ערכת האימונים. באמצעות ביאור LabelMe ושיטות גודל תמונה אחיד, בנו את ערכת הנתונים הנדרשת בשילוב עם תוכן המחקר. בחן את תוצאות הפילוח והערך את ביצועי המודל בהתבסס על ארבעה מדדים, דיוק, היזכרות, דיוק פיקסלים ממוצע או MPA ו- MIOU, כדי לקבל הערכה מקיפה יותר.השווה את הערכים שנוצרו של ארבעת הדגמים. ככל שהערך גבוה יותר, כך דיוק הפילוח גבוה יותר וביצועי המודל טובים יותר. על פי תוצאות המדד, אלגוריתם UNet עדיף על האלגוריתמים האחרים ב-MIOU, MPA, דיוק והיזכרות, וגם דיוק הפילוח שלו גבוה יותר.PSPNet טוב יותר מ-DeepLab גרסה 3 ב-MIOU, MPA ו-recall, בעוד שמודל DeepLab גרסה 3 נמוך ממודל הסגמנט בכל המדדים. בפילוח לשון, האזור האדום החיצוני בתמונה נובע מפילוח לשון והאזור הירוק הפנימי נובע מפילוח ציפוי הלשון. במחקר זה, אלגוריתם היחידה הפגין ביצועים טובים בסגמנטציה של הלשון, וניתן לבצע מחקר נוסף על בסיס האלגוריתמים של היחידה.

objectification-tongue-diagnosis-traditional-medicine-data-analysis

Research

JoVE Journal

Medicine

רפואה

הידע של המנגנונים המולקולריים שבבסיס התמרה התעורר אצלם נהנתה לאחרונה התקדמות משמעותית, בעיקר בשל שימוש במודלים של בעלי חיים. עם זאת, מגוון רחב של רגישות וספציפיות טעם בקרב היונקים מחקרים צווי ברקמות אנושיות. אנו מתארים טכניקה ביופסיה כדי לאסוף טעם תאים חיים מ גבשושיות על הלשון האנושית.

שיטת איסוף Fungiform (טעם) ואדומות מן הלשון האדם

אוראלי chemoreception של חומצות שומן והשיתוף עם העדפות מזון תזונה ושומן עשוי לאפשר זיהוי של מנגנונים מעורבים בהתפתחות של השמנת יתר ולמה שינויים תזונתיים עלולים להיות קשים עבור אנשים רבים.

מדידה אוראלי חומצת שומן ספים, תפיסת שומן, שומן מזון טעם, וצפיפות אדומות בבני אדם

כאן אנו מציגים פרוטוקול למדידת צפיפות papilla fungiform מתמונות דיגיטליות. שיטה זו בונה תעדוף ומדדים אובייקטיביים אופייניים לעבודת תיאורים המקורית על גבשושיות fungiform ידי מילר &amp; רידי (1990).

דנבר גבשושיות פרוטוקול לניתוח אובייקטיבי של Fungiform גבשושיות

ניתן להשתמש בהדמיית אולטרסאונד כדי להציג את הצורה והתנועות של הלשון בזמן אמת במהלך הדיבור. ניתן להשתמש בתמונות כדי לקבוע את אופי שגיאות צליל הדיבור. ניתן להשתמש במשוב חזותי של הלשון כדי להקל על שיפורים בהפקת צליל דיבור באוכלוסיות קליניות.

תמונות אולטרסאונד של הלשון: הדרכה עבור הערכה וטיפול של שגיאות סאונד הדיבור

אנו מתארים הליך כירורגי במודל עכברוש הרדים לקביעת טונוס השרירים ותכונות הלכלוך של הלשון. ההליך כרוך גירוי ספציפי של עצבים hypoglossal ויישום של כוח פסיבי Lissajous / עיוות עיוות לשריר.

בשנת Vivo הערכה של תכונות מכניות ו Viscoelastic של לשון עכברוש

המאמר מציג את מכשיר μTongue (microfluidics-on-a-tongue) להדמיית תאי טעם פונקציונליים ב- vivo על ידי שילוב מיקרופלואידיקה בחלון הדמיה תוך-וינטלי על הלשון.

μTongue: פלטפורמת הדמיה פונקציונלית מבוססת מיקרופלואידיקה עבור הלשון ב- Vivo

עבודה זו ממחישה הליך סטנדרטי וקביעת סף על ידי R-index כדי להעריך רגישות מישוש לשוני מרחבי באמצעות מבחן כיוון צורמים.

הערכה של רגישות מישוש לשוני מרחבי באמצעות מבחן כיוון צורמים

רטרווירוסים אנושיים אנדוגני (HERV), אשר תופסים 8% של הגנום האנושי, לשמור על יכולות קידוד נדירות אבל מאה אלף חזרות ארוכות מסוף (LTRs). Microarray Affymetrix מותאם אישית תוכנן כדי לזהות ביטוי לוקוס HERV הבודד והיה בשימוש ברקמות סרטן ערמונית כהוכחה של מושג למחקרים קליניים בעתיד.

זיהוי מבוסס microarray של פרט HERV לוקוסים ביטוי: בקשה לגילוי סמן ביולוגי בסרטן הערמונית

מאמר זה מציג פרוטוקול מבוסס על הידרה — מערכת מבוססת אינטרנט לתמיכה החלטה קלינית המשלבת סט מלא ומפורט של פונקציות ושירותים הנדרש על-ידי רופאים לניתוח לב וכלי דם מלאה, הערכת סיכונים, מוקדם אבחון, טיפול, מעקב לאורך זמן.

הידרה, פלטפורמה מבוססת מחשב לסיוע קלינאים ניתוח לב וכלי דם, אבחון

פרוטוקול זה מתאר את ההתקנה והשימוש של מערכת החשמל, פלטפורמת תוכנה פתוחה מבוססת MATLAB לניתוח נתוני מיפוי אופטי לב. מכשיר אלקטרומגנט מספק כלי רב טווח של תפוקה גבוהה לניתוח של מתח מיפוי אופטי והנתונים הסידן מגדיר על פני מגוון רחב של מודלים ניסוי לב.

ניתוח תפוקה גבוהה של נתוני מיפוי אופטי באמצעות מידע אלקטרומגנט

למדו אלגוריתמי למידה עמוקה לחלוקת תמונות לשון ברפואה המסורתית באמצעות U-Net ומודלים נוספים. השוואת ביצועים מדגימה שיפור משמעותי בדיוק האבחון הקליני.

החפצת אבחון לשון ברפואה המסורתית, ניתוח נתונים ויישום המחקר

גלה סרטונים נוספים