Name: Obiektywizacja diagnozy języka w medycynie tradycyjnej, analiza danych i zastosowanie w badaniach (Wideo) | JoVE Journal
Uploaded: 2023-04-14T14:15:00.000+00:00
Duration: 5 min 56 s
Description: Poznaj segmentację obrazów języka przy użyciu algorytmów głębokiego uczenia, w tym U-Net, w celu obiektywizacji diagnostyki tradycyjnej. Ta metoda poprawia dokładność analizy medycznej.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Ta praca była wspierana przez Narodową Fundację Przyrody Chin (grant nr 82004504), Narodowy Kluczowy Program Badawczo-Rozwojowy Ministerstwa Nauki i Technologii Chin (grant nr 2018YFC1707606), Administrację Medycyny Chińskiej Prowincji Syczuan (grant nr 2021MS199) oraz Narodową Fundację Przyrody Chin (grant nr 82174236).

To badanie zostało zatwierdzone przez projekt Narodowej Fundacji Nauk Przyrodniczych w Chinach, Konstruowanie reguł dynamicznej zmiany obrazu twarzy TCM na podstawie analizy skojarzeń. Numer zatwierdzenia etyczności to 2021KL-027, a komisja bioetyczna zatwierdziła badanie kliniczne do przeprowadzenia zgodnie z zatwierdzonymi dokumentami, które obejmują protokół badania klinicznego (2021.04.12, V2.0), świadomą zgodę (2021.04.12, V2.0), materiały rekrutacyjne (2021.04.12, V2.0), przypadki badań i/lub opisy przypadków, karty dzienniczka uczestnika i inne kwestionariusze (2021.04.12, V2.0), listę uczestników badania klinicznego, zatwierdzenie projektu badawczego itp. Uzyskano świadomą zgodę pacjentów biorących udział w badaniu. Głównym podejściem eksperymentalnym tego badania jest wykorzystanie rzeczywistych obrazów języka do walidacji i porównania efektów segmentacji modelu. Rysunek 1 przedstawia elementy obiektywizacji diagnozy języka.
1. Akwizycja obrazu
<ol>
	<li>Użyj samodzielnie opracowanego ręcznego lingwalnego przyrządu do diagnostyki twarzy, aby zbierać obrazy twarzy pacjentów w języku.</li>
	<li>Wpisz imię i nazwisko pacjenta, płeć, wiek i chorobę na stronie komputera. Zamieszczone tutaj zdjęcia pochodzą od pacjentów, którzy przyszli do kliniki i zgodzili się na fotografowanie po otrzymaniu informacji o celu i treści badania. Upewnij się, że pacjent siedzi prosto, umieść całą twarz w przyrządzie do akwizycji obrazu i poinstruuj pacjenta, aby maksymalnie wysunął język z ust.</li>
	<li>Trzymaj urządzenie do akwizycji obrazu podłączone do komputera i sprawdź za pomocą obrazów na ekranie komputera, czy pacjent znajduje się we właściwej pozycji i czy język i twarz są w pełni odsłonięte.</li>
	<li>Naciśnij trzykrotnie przycisk fotografowania na ekranie komputera, aby zrobić trzy zdjęcia. 
	UWAGA: Przyrząd do akwizycji obrazu jest obecnie dopiero na etapie zgłoszenia patentowego i nie jest przeznaczony do użytku komercyjnego, więc nie jest przeznaczony do sprzedaży.</li>
	<li>Ręcznie wybierz i przefiltruj zebrane obrazy języka i twarzy. Filtruj i wykluczaj obrazy, które mają niepełną ekspozycję języka i twarzy, a także obrazy, które są zbyt ciemne z powodu niewystarczającej ilości światła. Rysunek 2 pokazuje stronę pobierania obrazów w oprogramowaniu.</li>
	<li>W projekcie eksperymentalnym zbierz trzy obrazy od każdego pacjenta na raz jako alternatywę i wybierz stosunkowo standardowy, w pełni naświetlony, dobrze oświetlony i wyraźny obraz jako próbkę do późniejszego trenowania i testowania algorytmu.</li>
	<li>Zbieraj dane po wykonaniu zdjęć, eksportuj dane do ręcznego rastrowania i usuwaj niestandardowe obrazy widoczne gołym okiem. Użyj następujących kryteriów filtrowania i wykluczania: niepełna ekspozycja języka i twarzy oraz obrazy, które są zbyt ciemne w wyniku niewystarczającego oświetlenia. Przykład niedoświetlonego, niekompletnego i standardowego obrazu pokazano w Rysunek 3. 
	UWAGA: Niewystarczające światło jest zazwyczaj spowodowane nieumieszczeniem twarzy w instrumencie przez pacjenta. Pełną ekspozycję uzyskuje się zwykle tylko poprzez prawidłowe sfotografowanie pacjenta.</li>
</ol>
2. Segmentacja języka
<ol>
	<li>Wykonaj segmentację obrazu języka za pomocą narzędzia do adnotacji online, jak opisano poniżej.
	<ol>
		<li>Zainstaluj Labelme, kliknij przycisk Otwórz w lewym górnym rogu interfejsu etykiety, wybierz folder, w którym znajduje się obraz, i otwórz zdjęcia.</li>
		<li>Kliknij utwórz wielokąt, aby rozpocząć śledzenie punktów, śledź kształty języka i języka, nazwij je zgodnie z wybranymi obszarami (np. językiem i powierzchnią języka) i zapisz je.</li>
		<li>Gdy wszystkie znaczniki są gotowe, kliknij przycisk Zapisz, aby zapisać obraz w folderze danych. Zobacz Rysunek 4 dla szczegółowego schematu blokowego. 
		UWAGA: Ponieważ obrazy mogą mieć różnice pikseli, nie można ich bezpośrednio używać do trenowania i testowania algorytmów.</li>
	</ol>
	</li>
	<li>Ujednolic obrazy do tego samego rozmiaru, wypełniając je krawędziami, tak aby dłuższy bok obrazu był docelową długością wypełnienia i wykonując białe wypełnienie krawędzi, aby wypełnić obrazy do kwadratu, przy czym dłuższy bok obrazu jest długością krawędzi. Rozmiar obrazu przechwyconego przez urządzenie to 1080 x 1920 pikseli, a rozmiar wypełnionego obrazu to 1920 x 1920 pikseli. Zobacz Rysunek 5.</li>
	<li>W razie potrzeby zastosuj ulepszenie obrazu. W tym badaniu nie zastosowano żadnych ulepszeń, ponieważ użyte obrazy zostały wykonane w ustalonej scenie i były mniej podatne na wpływ środowiska, oświetlenia i innych czynników.</li>
	<li>Ponieważ podczas procesu fotografowania dla każdego pacjenta zebrano trzy obrazy, aby uwzględnić niekontrolowane czynniki, takie jak mruganie obiektu i blokowanie obiektywu, należy ręcznie przesiać obrazy od każdego pacjenta, aby zachować jeden obraz na pacjenta.</li>
	<li>Na potrzeby trenowania modelu zbierz dane od 200 osób lub 600 obrazów. Po projekcji zachowaj około 200 użytecznych obrazów.</li>
	<li>Zgodnie z numerem obrazu losowo podziel wszystkie obrazy języka, umieszczając 70% z nich w zestawie treningowym i 30% w zestawie testowym w arkuszu kalkulacyjnym.</li>
</ol>
3. Klasyfikacja języka
<ol>
	<li>Wejdź na oficjalne strony internetowe, a następnie pobierz i zainstaluj Anaconda, Python i Labelme. Aktywuj środowisko i zakończ instalację i dostosowanie całego środowiska. Zobacz Rysunek 6 dla schematu blokowego opisującego instalację i konfigurację oprogramowania.</li>
	<li>Zbuduj model algorytmu uczenia głębokiego w zainstalowanym środowisku, dostosuj parametry i ukończ trenowanie modelu przy użyciu zestawu treningowego. Dokonaj wyboru i dostrojenia modelu zgodnie z opisem w poniższych krokach.
	<ol>
		<li>Wybór modelu: Wybierz odpowiedni model w oparciu o cel badania. Po zapoznaniu się z badaniami nad przetwarzaniem obrazu języka w ciągu ostatnich 5 lat, cztery algorytmy: U-Net, Seg-Net, DeeplabV3 i PSPNet zostały wybrane do walidacji w tym badaniu (patrz Uzupełniający plik kodowania 1, Uzupełniający plik kodowania 2, Uzupełniający plik kodowania 3 i Uzupełniający plik kodowania 4 dla kodów modeli).</li>
		<li>Budowa zbioru danych: Po zakończeniu wyboru modelu skonstruuj wymagany zestaw danych w połączeniu z treścią badania, głównie przy użyciu adnotacji Labelme i metod ujednolicenia rozmiaru obrazu, jak opisano powyżej.</li>
	</ol>
	</li>
	<li>Wykonaj trenowanie modelu zgodnie z poniższym opisem. Rysunek 7 pokazuje szczegóły operacji trenowania algorytmu.
	<ol>
		<li>Wprowadź dane do sieci neuronowej w celu propagacji do przodu, przy czym każdy neuron najpierw wprowadza ważoną akumulację wartości, a następnie wprowadza funkcję aktywacji jako wartość wyjściową tego neuronu, aby uzyskać wynik.</li>
		<li>Wprowadź wynik do funkcji błędu i porównaj go z wartością oczekiwaną, aby uzyskać błąd i ocenić stopień rozpoznania przez pomyłkę. Im mniejsza jest funkcja straty, tym lepszy będzie model.</li>
		<li>Zmniejsz błąd przez propagację wsteczną i określ wektor gradientu. Dostosuj wagi wektora gradientu do trendu w kierunku wyników, tak aby błąd dążył do zera lub zmniejszał się.</li>
		<li>Powtarzaj ten proces trenowania, dopóki zestaw nie zostanie ukończony lub wartość błędu nie będzie już spadać, w którym to momencie trenowanie modelu zostanie zakończone. Zobacz Rysunek 8 przedstawia schemat blokowy modelu algorytmu podczas trenowania i testowania.</li>
	</ol>
	</li>
	<li>Przetestuj cztery modele przy użyciu tych samych danych testowych do segmentacji i oceń wydajność modelu zgodnie z efektem segmentacji. Cztery metryki: precyzja, kompletność, średnia dokładność pikseli (MPA) i MIoU zapewniają bardziej kompleksową ocenę wydajności modelu.</li>
	<li>Po wygenerowaniu wyników czterech modeli porównaj ich wartości w poziomie; im wyższa wartość, tym wyższa dokładność segmentacji i lepsza wydajność modelu. Zobacz Rysunek 9, Rysunek 10 i Rysunek 11.</li>
</ol>

<ol><li>Jiu, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effects+of+herbal+therapy+on+intestinal+microbiota+and+serum+metabolomics+in+different+rat+models+of+Mongolian+medicine%5BTitle%5D)+AND+%22Evidence-Based+Complementary+and+Alternative%22%5BJournal%5D)">Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine.</a> Evidence-Based Complementary and Alternative. 2022, 7255780(2022).</li>
<li>Xi, J., Xin, Y., Teregle, <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+correlation+between+the+animal+model+of+Mongolian+medicine+34%3BXieri+disease%26%2334%3B+and+serum+ALT+and+AST%5BTitle%5D)+AND+%22Electronic+Journal+of+Cardiovascular+Diseases+in+Combination+of+Traditional+Chinese%22%5BJournal%5D)">Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease&#34; and serum ALT and AST.</a> Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).</li>
<li>Yin, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+mechanism+of+serum+differential+protein+changes+in+bronchial+asthma+based+on+proteomics%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics.</a> Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).</li>
<li>Wang, X. H., Bao, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Band+Seed.+The+origin+and+development+of+tongue+diagnosis+in+Mongolian+medicine%5BTitle%5D)+AND+%22Chinese+Ethnic+Folk+Medicine%22%5BJournal%5D)">Band Seed. The origin and development of tongue diagnosis in Mongolian medicine.</a> Chinese Ethnic Folk Medicine. (1), 64-65 (2008).</li>
<li>Yang, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparative+study+on+the+feature+parameters+of+tongue+diagnosis+images+in+five+nationalities%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">A comparative study on the feature parameters of tongue diagnosis images in five nationalities.</a> Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).</li>
<li>He, J. Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Efficacy+and+safety+of+Chou-Ling-Dan+granules+in+the+treatment+of+seasonal+influenza+via+combining+Western+and+traditional+Chinese+medicine%2C+protocol+for+a+multicentre%2C+randomised+controlled+clinical+trial%5BTitle%5D)+AND+%22BMJ+Open%22%5BJournal%5D)">Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial.</a> BMJ Open. 9 (4), e024800(2019).</li>
<li>Wang, D. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scientific+knowledge+mapping+and+visualization+analysis+in+the+field+of+Chinese+medicine+tongue+feature+objectification+research%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).</li>
<li>Yuan, S. M., Qian, P., Li, F. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+progress+of+color+correction+methods+for+tongue+and+face+diagnosis+in+traditional+Chinese+Medicine%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine.</a> Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).</li>
<li>Kanawong, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tongue+image+analysis+and+its+mobile+app+development+for+health+diagnosis%5BTitle%5D)+AND+%22Advances+in+Experimental+Medicine+and+Biology%22%5BJournal%5D)">Tongue image analysis and its mobile app development for health diagnosis.</a> Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).</li>
<li>Yu, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+segmentation+evaluation+index+and+evaluation+method%5BTitle%5D)+AND+%22Computer+Engineering+and+Application%22%5BJournal%5D)">Semantic segmentation evaluation index and evaluation method.</a> Computer Engineering and Application. , (2023).</li>
<li>Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mu-net%3A+Multi-scale+U-net+for+two-photon+microscopy+image+denoising+and+restoration%5BTitle%5D)+AND+%22Neural+Networks%22%5BJournal%5D)">Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration.</a> Neural Networks. 125, 92-103 (2020).</li>
<li>Huang, X. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+on+the+application+of+U-Net+and+its+variants+in+medical+image+segmentation%5BTitle%5D)+AND+%22Chinese+Journal+of+Biomedical+Engineering%22%5BJournal%5D)">A review on the application of U-Net and its variants in medical image segmentation.</a> Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).</li>
<li>Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+overview+of+tongue+objectification+in+traditional+Chinese+medicine+based+on+computer+image+technology%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research overview of tongue objectification in traditional Chinese medicine based on computer image technology.</a> World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).</li>
<li>Mansour, R. F., Althobaiti, M. M., Ashour, A. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Internet+of+things+and+synergic+deep+learning+based+biomedical+tongue+color+image+analysis+for+disease+diagnosis+and+classification%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification.</a> IEEE Access. 9, 94769-94779 (2021).</li>
<li>Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analysis+of+the+development+and+application+of+tongue+diagnosis+objectification+techniques+in+Chinese+medicine%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).</li>
<li>Ghosh, S., Das, N., Nasipuri, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reshaping+inputs+for+convolutional+neural+network%3A+some+common+and+uncommon+methods%5BTitle%5D)+AND+%22Pattern+Recognition%22%5BJournal%5D)">Reshaping inputs for convolutional neural network: some common and uncommon methods.</a> Pattern Recognition. 93, 79-94 (2019).</li>
<li>Shang, Z. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+progress+of+digital+acquisition+and+characterization+of+tongue+diagnosis+information%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Research progress of digital acquisition and characterization of tongue diagnosis information.</a> Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).</li>
<li>Ning, J., Zhang, D., Wu, C., Yue, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+tongue+image+segmentation+based+on+gradient+vector+flow+and+region+merging%5BTitle%5D)+AND+%22Neural+Computing+and+Applications%22%5BJournal%5D)">Automatic tongue image segmentation based on gradient vector flow and region merging.</a> Neural Computing and Applications. 21, 1819-1826 (2012).</li>
<li>Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+method+for+tongue+detection+based+on+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Xiamen+University%22%5BJournal%5D)">A method for tongue detection based on image segmentation.</a> Journal of Xiamen University. 55 (6), 895-900 (2016).</li>
<li>Li, Y. T., Luo, Y. S., Zhu, Z. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+tongue+feature+analysis%5BTitle%5D)+AND+%22Computer+Science%22%5BJournal%5D)">Deep learning-based tongue feature analysis.</a> Computer Science. 47 (11), 148-158 (2020).</li>
<li>Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+deep+learning-based+tongue+fissure+segmentation+algorithm%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">Research on deep learning-based tongue fissure segmentation algorithm.</a> World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).</li>
<li>Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+the+identification+method+of+tongue+punctures+based+on+auxiliary+light+source%5BTitle%5D)+AND+%22Journal+of+Sensing+Technology%22%5BJournal%5D)">Research on the identification method of tongue punctures based on auxiliary light source.</a> Journal of Sensing Technology. 29 (10), 1553-1559 (2016).</li>
<li>Yang, J. D., Zhang, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+fully+connected+neural+network+based+on+migration+learning+for+tongue+image+classification%5BTitle%5D)+AND+%22Journal+of+the+Second+Military+Medical+University%22%5BJournal%5D)">A fully connected neural network based on migration learning for tongue image classification.</a> Journal of the Second Military Medical University. 39 (8), 897-902 (2018).</li>
<li>Song, C., Wang, B., Xu, J. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+tongue+feature+classification+method+based+on+deep+migration+learning%5BTitle%5D)+AND+%22Computer+Engineering+and+Science%22%5BJournal%5D)">Research on tongue feature classification method based on deep migration learning.</a> Computer Engineering and Science. 43 (8), 1488-1496 (2021).</li>
<li>Ding, H. J., He, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+modern+techniques+and+methods+of+tongue+diagnosis%5BTitle%5D)+AND+%22Shi+Zhen+Chinese+Medicine%22%5BJournal%5D)">Study on modern techniques and methods of tongue diagnosis.</a> Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).</li>
<li>Zhai, P. B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stage+tongue+image+classification+algorithm+incorporating+attention+mechanism%5BTitle%5D)+AND+%22Computer+Engineering+and+Design%22%5BJournal%5D)">A multi-stage tongue image classification algorithm incorporating attention mechanism.</a> Computer Engineering and Design. 42 (6), 1606-1613 (2021).</li>
<li>Hou, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+clustering+analysis+algorithm+based+on+deep+learning%5BTitle%5D)+AND+%22Journal+of+Xinxiang+University%22%5BJournal%5D)">A new clustering analysis algorithm based on deep learning.</a> Journal of Xinxiang University. 35 (12), 4(2018).</li>
<li>Shi, Y. L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+decision+tree+algorithm+for+classification+of+non-small+cell+lung+cancer+evidence+based+on+tongue+and+pulse+data%5BTitle%5D)+AND+%22World+Science+and+Technology+-+Modernization+of+Chinese+Medicine%22%5BJournal%5D)">A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data.</a> World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).</li>
<li>Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Study+on+the+feature+analysis+and+diagnosis+model+of+diabetic+tongue+based+on+random+forest+algorithm%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm.</a> Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).</li>
<li>Chen, C. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+characteristics+of+the+combination+of+the+four+diagnostic+methods+of+traditional+Chinese+medicine+from+the+perspective+of+the+differences+between+Chinese+and+Western+medical+diagnosis+methods%5BTitle%5D)+AND+%22Journal+of+Guangzhou+University+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods.</a> Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).</li>
<li>Chen, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Correlation+analysis+of+tongue+image+and+western+medicine+typing+in+382+patients+with+novel+coronavirus+pneumonia+based+on+Lab+colour+model+and+imaging+histology%5BTitle%5D)+AND+%22Chinese+Journal+of+Traditional+Chinese+Medicine%22%5BJournal%5D)">Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology.</a> Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).</li>
<li>Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+segmentation+dataset+for+AI-based+quantification+of+clean+mucosa+in+capsule+endoscopy%5BTitle%5D)+AND+%22Medicina%22%5BJournal%5D)">Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy.</a> Medicina. 58 (3), 397(2022).</li>
<li>Wu, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+research+on+deep+learning+in+tongue+image+classification%5BTitle%5D)+AND+%22Computer+Science+and+Exploration%22%5BJournal%5D)">A review of research on deep learning in tongue image classification.</a> Computer Science and Exploration. , 1-23 (2022).</li>
</ol>

Autorzy nie mają do zadeklarowania konfliktu interesów.

Na podstawie przedstawionych powyżej wyników porównania oczywiste jest, że charakterystyka czterech rozważanych algorytmów jest zróżnicowana, a ich wyraźne zalety i wady opisano poniżej. Struktura U-Net, oparta na modyfikacji i rozbudowie pełnej sieci konwolucyjnej, może uzyskiwać informacje kontekstowe i precyzyjne pozycjonowanie poprzez ścieżkę kurczenia się i symetryczną ścieżkę rozszerzania. Klasyfikując każdy punkt piksela, algorytm ten osiąga większą dokładność segmentacji i szybciej segmentuje obraz za pomocą wytr...

Obserwacja języka jest szeroko stosowaną techniką w tradycyjnej chińskiej medycynie etnicznej (TCM). Kolor i kształt języka może odzwierciedlać stan fizyczny i różne właściwości chorobowe, nasilenie i rokowania. Na przykład w tradycyjnej medycynie Hmongów kolor języka jest używany do określania temperatury ciała, np. czerwony lub fioletowy język wskazuje na czynniki patologiczne związane z upałem. W medycynie tybetańskiej stan ocenia się, obserwując język pacjenta, zwracając uwagę na kolor, kształt i wilgotność śluzu. Na przykład języki pacjentów z chorobą Heyi stają się czerwone i szorstkie lub czarne i suche1; pacjenci z chorobą Xieri2 mają żółte i suche języki; tymczasem pacjenci z chorobą Badakan3 mają biały, wilgotny i miękki język4. Obserwacje te ujawniają ścisły związek między cechami języka a fizjologią i patologią. Ogólnie rzecz biorąc, stan języka odgrywa istotną rolę w diagnozie, identyfikacji choroby i ocenie efektu leczenia.
Jednocześnie, ze względu na zróżnicowane warunki życia i praktyki żywieniowe wśród różnych grup etnicznych, widoczne są różnice w obrazach języka. Model laboratoryjny, opracowany na podstawie międzynarodowego standardu oznaczania barwy, został sformułowany przez Komisję Międzynarodową Eclairage (CIE) w 1931 roku. W 1976 roku wzór kolorystyczny został zmodyfikowany i nazwany. Model kolorów Lab składa się z trzech elementów: L odpowiada jasności, a a i b to dwa kanały kolorów. A obejmuje kolory od ciemnozielonego (niska wartość jasności) do szarego (średnia wartość jasności) do jasnoróżowego (wysoka wartość jasności); B przechodzi od jasnoniebieskiego (niska wartość jasności) przez szary (średnia wartość jasności) do żółtego (wysoka wartość jasności). Porównując wartości L x a x b koloru języka pięciu grup etnicznych, Yang i in.5 stwierdzili, że cechy wizerunków języków grup Hmong, Hui, Zhuang, Han i Mongolian znacznie się od siebie różniły. Na przykład Mongołowie mają ciemne języki z żółtym nalotem na języku, podczas gdy Hmongowie mają jasne języki z białym nalotem języka, co sugeruje, że cechy języka mogą być używane jako wskaźnik diagnostyczny do oceny stanu zdrowia populacji. Co więcej, obrazy języka mogą funkcjonować jako wskaźnik oceny medycyny opartej na dowodach w badaniach klinicznych medycyny etnicznej. On i wsp.6 wykorzystali obrazy języka jako podstawę do diagnozy TCM i systematycznie oceniali bezpieczeństwo i skuteczność granulek Chou-Ling-Dan (granulki CLD - stosowane w leczeniu chorób zapalnych i gorączkowych, w tym grypy sezonowej w TCM) w połączeniu z medycyną chińską i zachodnią. Wyniki ustaliły naukową ważność obrazów języka jako wskaźnika oceny w badaniach klinicznych. Niemniej jednak tradycyjni lekarze na ogół polegają na subiektywności w celu obserwacji cech języka i oceny stanów fizjologicznych i patologicznych pacjentów, co wymaga bardziej precyzyjnych wskaźników.
Pojawienie się internetu i technologii sztucznej inteligencji utorowało drogę do digitalizacji i obiektywizacji diagnozy języka. Proces ten polega na użyciu modeli matematycznych w celu zapewnienia jakościowego i obiektywnego opisu obrazów języka7, odzwierciedlając zawartość obrazu języka. Proces składa się z kilku etapów: akwizycji obrazu, kompensacji optycznej, korekcji kolorów i transformacji geometrycznej. Wstępnie przetworzone obrazy są następnie wprowadzane do modelu algorytmicznego w celu pozycjonowania i segmentacji obrazu, ekstrakcji cech, rozpoznawania wzorców itp. Wynikiem tego procesu jest wysoce wydajna i precyzyjna diagnoza danych obrazowych języka, osiągając w ten sposób cel obiektywizacji, kwantyfikacji i informatyzacji diagnozy języka8. W ten sposób osiąga się cel, jakim jest wysoka wydajność i wysoka precyzja przetwarzania danych diagnostycznych języka. Opierając się na wiedzy na temat diagnozy języka i technologii głębokiego uczenia, badanie to automatycznie oddzieliło ciało języka i powłokę języka od obrazów języka za pomocą algorytmu komputerowego, w celu wyodrębnienia ilościowych cech języka dla lekarzy, poprawy wiarygodności i spójności diagnozy oraz zapewnienia metod do późniejszych badań obiektywizujących diagnozę języka9.

<table><tbody><tr><td>Procesor:</td><td>Procesor Intel(R) Core™ i7-9700K</td><td></td><td></td></tr><tr><td>, karta graficzna</td><td>&nbsp; NVIDIA GeForce RTX 3070 Ti (8192MB)</td><td></td><td></td></tr><tr><td>Systemy operacyjne</td><td>: Microsoft Windows 10 Professional Edition (64-bitowy)</td><td></td><td></td></tr><tr><td>Język programowania</td><td>: Python</td><td></td><td></td></tr>, <tr><td>RAM</td><td>16G</td><td></td><td></td></tr></tbody></table>

obiektywizacja diagnozy języka w medycynie tradycyjnej, analiza danych i zastosowanie w badaniach

Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application

Diagnoza języka jest podstawową techniką diagnozowania tradycyjnej medycyny chińskiej (TCM), a potrzeba obiektywizacji obrazów języka za pomocą technologii przetwarzania obrazu rośnie. Niniejsze badanie zawiera przegląd postępów poczynionych w zakresie obiektywizacji języka w ciągu ostatniej dekady i porównuje modele segmentacji. Konstruowane są różne modele głębokiego uczenia się w celu weryfikacji i porównywania algorytmów przy użyciu rzeczywistych zestawów obrazów języka. Analizowane są mocne i słabe strony każdego modelu. Wyniki wskazują, że algorytm U-Net przewyższa inne modele pod względem dokładności precyzji (PA), kompletności i wskaźników średniego przecięcia przez unię (MIoU). Jednak pomimo znacznego postępu w pozyskiwaniu i przetwarzaniu obrazów języka, nie ustalono jeszcze jednolitego standardu obiektywizacji diagnozy języka. Aby ułatwić powszechne stosowanie obrazów języka zarejestrowanych za pomocą urządzeń mobilnych w obiektywizacji diagnozy języka, dalsze badania mogłyby zająć się wyzwaniami związanymi z obrazami języka rejestrowanymi w złożonych środowiskach.

Wyniki porównania przedstawiono na Rysunku 12, Rysunku 13 oraz w Tabeli 1, gdzie w środowisku stworzonym na potrzeby niniejszego badania wykorzystano te same próbki do trenowania i testowania modelu algorytmu. Wskaźnik MIoU: U-Net &gt; Seg-Net &gt; PSPNet &gt; DeeplabV3; wskaźnik MPA: U-Net &gt; Seg-Net &gt; PSPNet &gt; DeeplabV3; wskaźnik precyzji (precision): U-Net &gt; Seg-Net &gt; DeeplabV3 &gt; PSPNet; czułość (recall): U-Net &gt; Seg-Net &...

W obecnym badaniu wykorzystano U-Net i inne algorytmy głębokiego uczenia do segmentacji obrazu języka i porównano wyniki segmentacji w celu zbadania obiektywizacji diagnozy języka.

Obiektywizacja diagnozy języka w medycynie tradycyjnej, analiza danych i zastosowanie w badaniach

Tongue diagnosis is an essential technique of traditional Chinese medicine (TCM) diagnosis, and the need for objectifying tongue images through image ...

Protokół ten wykorzystuje algorytm głębokiego uczenia się do segmentacji obrazów języka i automatycznie oddziela język od całego obrazu, który można wykorzystać do dalszych badań. Protokół ten porównuje wydajność algorytmu segmentacji obrazu w czterech językach w celu wybrania algorytmu podstawowego, który może segmentować język za pomocą wyraźnego licznika. W badaniu wykorzystano opatentowane instrumenty i algorytmy.Zaleca się korzystanie z profesjonalnych instrumentów i opanowanie technologii komputerowej. Na początek przygotuj samodzielnie opracowany ręczny lingwalny przyrząd do diagnostyki twarzy do zbierania obrazów twarzy pacjentów w języku. Wpisz imię i nazwisko pacjenta, płeć, wiek i chorobę na stronie komputera.Następnie poproś pacjenta, aby usiadł prosto i ustawił urządzenie do akwizycji obrazu podłączone do komputera. Następnie umieść twarz pacjenta w instrumencie do akwizycji obrazu i poproś go o maksymalne wysunięcie języka z ust. Sprawdź na obrazach na ekranie komputera, czy pacjent znajduje się we właściwej pozycji i czy język i twarz są w pełni odsłonięte.Naciśnij trzykrotnie przycisk fotografowania na ekranie komputera, aby zrobić trzy zdjęcia. Następnie ręcznie wybierz zebrane obrazy twarzy i języka. Filtruj je według strony Pobieranie obrazu w oprogramowaniu.Zbierz trzy obrazy od każdego pacjenta na raz i wyeksportuj je do folderu w celu ręcznego badania przesiewowego. Następnie wybierz standardowe, w pełni naświetlone, dobrze oświetlone i wyraźne obrazy, które są próbką do trenowania i testowania algorytmu. Usuń obrazy, które nie spełniają kryteriów obrazu standardowego.Kryteriami wykluczenia są niepełna ekspozycja języka i twarzy oraz zbyt ciemne obrazy. Aby przeprowadzić segmentację obrazu języka, otwórz LabelMe i kliknij przycisk Otwórz w lewym górnym rogu interfejsu. Wybierz folder zawierający obraz, który chcesz podzielić na segmenty, i otwórz zdjęcia.Kliknij przycisk Utwórz wielokąt, aby śledzić punkty. Śledź kształty języka i języka, nazywaj je zgodnie z wybranymi obszarami i zapisz. Po zakończeniu śledzenia kliknij przycisk Zapisz, aby zapisać obraz w folderze danych.Ustaw urządzenie tak, aby przechwytywało obrazy o rozmiarze 1080x1920 pikseli i upewnij się, że rozmiar wypełnionego obrazu wynosi 1920x1920 pikseli. Ręcznie prześwietlaj obrazy każdego pacjenta, aby wybrać i zachować jedno z trzech zdjęć, które zostały zrobione z powodu niekontrolowanych czynników, takich jak mruganie obiektu i blokowanie obiektywu. Aby wytrenować model, zbierz dane od 200 osób lub 600 obrazów i zachowaj około 200 obrazów, które można wykorzystać po badaniu przesiewowym.Losowo podziel wszystkie obrazy języka zgodnie z numerem obrazu, umieszczając 70% z nich w zestawie treningowym, a 30% obrazów w folderze zestawu testowego. Pobierz i zainstaluj Anaconda Python i LabelMe z ich oficjalnych stron internetowych. Aktywuj środowisko i zakończ instalację i dostosowanie całego środowiska.Wybierz odpowiedni model do celu badawczego. W tym badaniu do walidacji wybrano UNet, SegNet, DeepLab Version 3 i PSPNet. Następnie zbuduj model algorytmu uczenia głębokiego w zainstalowanym środowisku.Dostosuj parametry, dostosowując wartości i ukończ trenowanie modelu przy użyciu zestawu treningowego. Korzystając z metod adnotacji LabelMe i ujednoliconego rozmiaru obrazu, skonstruuj wymagany zestaw danych w połączeniu z treścią badania. Zbadaj wyniki segmentacji i oceń wydajność modelu na podstawie czterech wskaźników: precyzji, kompletności, średniej dokładności pikseli (MPA) i MIOU, aby uzyskać bardziej kompleksową ocenę.Porównaj wygenerowane wartości czterech modeli. Im wyższa wartość, tym wyższa dokładność segmentacji i lepsza wydajność modelu. Zgodnie z wynikami indeksu, algorytm UNet jest lepszy od innych algorytmów w MIOU, MPA, precyzji i pamiętaniu, a jego dokładność segmentacji jest również wyższa.PSPNet jest lepszy niż DeepLab Version 3 w MIOU, MPA i recall, podczas gdy model DeepLab Version 3 jest niższy niż model segmentowy we wszystkich indeksach. W przypadku segmentacji języka zewnętrzny czerwony obszar na obrazie wynika z segmentacji języka, a wewnętrzny zielony obszar wynika z segmentacji powłoki języka. W tym badaniu algorytm jednostki dobrze sprawdził się w segmentacji języka, a dalsze badania można przeprowadzić w oparciu o algorytmy jednostek.

objectification-tongue-diagnosis-traditional-medicine-data-analysis

Research

JoVE Journal

Medicine

Medycyna

Wiedza na temat mechanizmów molekularnych leżących u podstaw transdukcji smaku poczyniła ostatnio znaczne postępy, głównie dzięki wykorzystaniu modeli zwierzęcych. Jednakże szeroka rozpiętość czułości i specyficzności smakowej wśród ssaków uzasadnia prowadzenie badań na tkankach ludzkich. Opisujemy technikę biopsji służącą do pobierania żywych komórek smakowych z brodawek języka człowieka.

Technika pobierania brodawek grzybiastych (smakowych) z ludzkiego języka

Doustna chemorecepcja kwasów tłuszczowych i związek z dietą i preferencjami dotyczącymi tłustych potraw może umożliwić identyfikację mechanizmów związanych z rozwojem otyłości i dlaczego zmiany w diecie mogą być trudne dla wielu osób.

Pomiar doustnych progów kwasów tłuszczowych, percepcji tłuszczu, upodobania do tłustych potraw i gęstości brodawek u ludzi

Tutaj prezentujemy protokół do pomiaru gęstości brodawek grzybowych na podstawie zdjęć cyfrowych. Metoda ta włącza priorytetyzację i obiektywne wskaźniki charakterystyki do oryginalnej pracy opisowej na temat brodawek grzybowatych autorstwa Millera i Reedy'ego (1990).

Protokół Denver Papillae do obiektywnej analizy brodawek grzybiczych

Obrazowanie ultradźwiękowe może być używane do wyświetlania kształtu i ruchów języka w czasie rzeczywistym podczas mowy. Obrazy mogą być wykorzystane do określenia charakteru błędów dźwiękowych mowy. Wizualna informacja zwrotna języka może być wykorzystana do ułatwienia poprawy produkcji dźwięków mowy w populacjach klinicznych.

Obrazy ultrasonograficzne języka: samouczek do oceny i korygowania wad dźwiękowych mowy

Opisujemy zabieg chirurgiczny na znieczulonym modelu szczura w celu określenia napięcia mięśniowego i właściwości lepkosprężystych języka. Zabieg polega na specyficznej stymulacji nerwów podjęzykowych i zastosowaniu biernych krzywych siły/deformacji Lissajous do mięśnia.

In vivo (in vivo) Ocena właściwości mechanicznych i lepkosprężystych języka szczura

Artykuł przedstawia urządzenie μTongue (mikrofluidyka na języku) do funkcjonalnego obrazowania komórek smaku in vivo poprzez integrację mikrofluidyki z okienkiem obrazowania przyżyciowego na języku.

μTongue: oparta na mikrofluidyce funkcjonalna platforma obrazowania języka in vivo

Ta praca ilustruje standardową procedurę i wyznaczanie progu za pomocą wskaźnika R do oceny przestrzennej wrażliwości językowej na dotyk za pomocą testu orientacji siatki.

Ocena przestrzennej wrażliwości dotykowej języka za pomocą testu orientacji siatek

Identyfikacja ekspresji poszczególnych loci HERV w oparciu o mikromacierze: zastosowanie do odkrywania biomarkerów w raku prostaty

Ten artykuł przedstawia protokół oparty na Hydrze — internetowym systemie wspomagającym podejmowanie decyzji klinicznych, który integruje pełny i szczegółowy zestaw funkcji i usług wymaganych przez lekarzy do pełnej analizy układu krążenia, oceny ryzyka, wczesnej diagnozy, leczenia i monitorowania w czasie.

Hydra, platforma komputerowa wspomagająca lekarzy w analizie i diagnostyce układu sercowo-naczyniowego

Ten protokół opisuje konfigurację i korzystanie z ElectroMap, opartej na MATLAB platformy oprogramowania open source do analizy danych mapowania optycznego serca. ElectroMap zapewnia wszechstronne, wysokowydajne narzędzie do analizy zestawów danych dotyczących napięcia i wapnia w mapowaniu optycznym w szerokim zakresie eksperymentalnych modeli serca.

Wysokoprzepustowa analiza danych mapowania optycznego za pomocą ElectroMap

Poznaj segmentację obrazów języka przy użyciu algorytmów głębokiego uczenia, w tym U-Net, w celu obiektywizacji diagnostyki tradycyjnej. Ta metoda poprawia dokładność analizy medycznej.

Obiektywizacja diagnozy języka w medycynie tradycyjnej, analiza danych i zastosowanie w badaniach

Przeglądaj więcej filmów