Summary
본 연구는 U-Net 및 기타 딥러닝 알고리즘을 사용하여 혀 이미지를 분할하고 분할 결과를 비교하여 혀 진단의 객관화를 조사했습니다.
Abstract
혀 진단은 한의학(TCM) 진단의 필수 기술이며, 영상처리 기술을 통한 혀 영상의 대상화에 대한 필요성이 커지고 있습니다. 본 연구는 지난 10년 동안 혀 객관화의 진행 상황에 대한 개요를 제공하고 세분화 모델을 비교합니다. 실제 혀 이미지 세트를 사용하여 알고리즘을 검증하고 비교하기 위해 다양한 딥 러닝 모델이 구축됩니다. 각 모델의 강점과 약점을 분석합니다. 연구 결과에 따르면 U-Net 알고리즘은 정밀 정확도(PA), 재현율 및 MIoU(Mean Intersection over Union) 메트릭과 관련하여 다른 모델보다 성능이 우수합니다. 그러나 혀 이미지 획득 및 처리가 크게 발전했음에도 불구하고 혀 진단을 객관화하기 위한 통일된 표준은 아직 확립되지 않았습니다. 혀 진단 객관화에서 모바일 장치를 사용하여 캡처한 혀 이미지의 광범위한 적용을 용이하게 하기 위해 추가 연구는 복잡한 환경에서 캡처된 혀 이미지로 인해 발생하는 문제를 해결할 수 있습니다.
Introduction
혀 관찰은 중국 전통 의학(TCM)에서 널리 사용되는 기술입니다. 혀의 색과 모양은 신체 상태와 다양한 질병 특성, 중증도 및 예후를 반영할 수 있습니다. 예를 들어, 전통 몽족 의학에서 혀의 색은 체온을 식별하는 데 사용됩니다 (예 : 빨간색 또는 보라색 혀는 열과 관련된 병리학 적 요인을 나타냅니다). 티베트 의학에서는 환자의 혀를 관찰하고 점액의 색, 모양 및 수분에주의를 기울여 상태를 판단합니다. 예를 들어, 헤이이병 환자의 혀가 붉어지고 거칠어지거나 검고 건조해집니다1; Xieri 질병2 환자는 혀가 노랗고 건조합니다. 한편, 바다칸병3 환자는 하얗고 습하며 부드러운 혀4를 가지고있다. 이러한 관찰은 혀의 특징과 생리학 및 병리학 사이의 밀접한 관계를 보여줍니다. 전반적으로 혀의 상태는 진단, 질병 식별 및 치료 효과 평가에 중요한 역할을 합니다.
동시에, 다양한 인종 그룹 간의 다양한 생활 조건과 식습관으로 인해 혀 이미지의 차이가 분명합니다. 색상 결정을위한 국제 표준을 기반으로 설립 된 Lab 모델은 1931 년 CIE (Commission International Eclairage)에 의해 공식화되었습니다. 1976 년에 색상 패턴이 수정되고 명명되었습니다. Lab 색상 모델은 세 가지 요소로 구성됩니다 : L은 밝기에 해당하고 a와 b는 두 개의 색상 채널입니다. A는 짙은 녹색 (낮은 밝기 값)에서 회색 (중간 밝기 값)에서 밝은 분홍색 (높은 밝기 값)까지의 색상을 포함합니다. b는 밝은 파란색(낮은 밝기 값)에서 회색(중간 밝기 값), 노란색(높은 밝기 값)으로 바뀝니다. Yang 등5 은 5개 종족 그룹의 혀 색깔에 대한 L x a x b 값을 비교함으로써 몽족, 후이족, 좡족, 한족 및 몽골족의 혀 이미지 특성이 서로 유의하게 다르다는 것을 발견했습니다. 예를 들어, 몽골인은 노란색 혀 코팅이 된 어두운 혀를 가지고 있는 반면 몽족은 흰색 혀 코팅이 된 밝은 혀를 가지고 있어 혀 특징이 인구의 건강 상태를 평가하기 위한 진단 지표로 사용될 수 있음을 시사합니다. 또한 혀 이미지는 민족 의학의 임상 연구에서 증거 기반 의학에 대한 평가 지표로 기능할 수 있습니다. He et al.6 은 한의학 진단의 기초로 혀 이미지를 사용하고 중국 및 서양 의학과 결합된 Chou-Ling-Dan 펠릿(한의학의 계절성 인플루엔자를 포함한 염증 및 열성 질환 치료에 사용되는 CLD 과립)의 안전성과 효능을 체계적으로 평가했습니다. 그 결과 임상 연구의 평가 지표로서 혀 이미지의 과학적 타당성이 확립되었습니다. 그럼에도 불구하고 전통적인 의료 종사자는 일반적으로 혀의 특성을 관찰하고 환자의 생리적, 병리학적 상태를 평가하기 위해 주관성에 의존하므로 보다 정확한 지표가 필요합니다.
인터넷과 인공 지능 기술의 출현은 혀 진단을 디지털화하고 객관화하는 길을 열었습니다. 이 과정은 수학적 모델을 사용하여 혀 이미지의 내용을 반영하는 혀 이미지7에 대한 질적이고 객관적인 설명을 제공하는 것을 포함한다. 이 프로세스에는 이미지 획득, 광학 보정, 색상 보정 및 기하학적 변환과 같은 여러 단계가 포함됩니다. 그런 다음 전처리된 이미지는 이미지 포지셔닝 및 분할, 특징 추출, 패턴 인식 등을 위한 알고리즘 모델에 공급됩니다. 이 과정의 결과는 혀 이미지 데이터의 매우 효율적이고 정확한 진단이며, 이에 따라 혀 진단의 객관화, 정량화 및 정보화의 목표를 달성한다8. 따라서, 혀 진단 데이터의 고효율 및 고정밀 처리의 목적이 달성된다. 본 연구는 혀 진단 지식과 딥러닝 기술을 바탕으로 컴퓨터 알고리즘을 이용하여 혀 영상에서 혀 몸체와 혀 코팅을 자동으로 분리하여 의사를 위한 혀의 정량적 특징을 추출하고 진단의 신뢰성과 일관성을 향상시키며 후속 혀 진단 객관화 연구방법을 제공한다 9.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
이 연구는 중국 국립 자연 과학 재단(National Natural Science Foundation of China) 프로젝트인 연관 분석을 기반으로 한 TCM 얼굴 이미지의 동적 변화 규칙 구성의 승인을 받았습니다. 윤리 승인 번호는 2021KL-027이며, 윤리위원회는 임상 연구 프로토콜(2021.04.12, V2.0), 정보에 입각한 동의(2021.04.12, V2.0), 피험자 모집 자료(2021.04.12, V2.0), 연구 사례 및/또는 사례 보고서, 피험자 일지 카드 및 기타 설문지(2021.04.12, V2.0), 임상시험 참가자 목록, 연구과제 승인 등 연구에 참여한 환자들로부터 정보에 입각한 동의를 얻었습니다. 이 연구의 주요 실험적 접근 방식은 실제 혀 이미지를 사용하여 모델 분할 효과를 검증하고 비교하는 것입니다. 그림 1 은 혀 진단 객관화의 구성 요소를 보여줍니다.
1. 이미지 획득
- 자체 개발한 휴대용 설면 진단 기기를 사용하여 환자의 설측 얼굴 이미지를 수집합니다.
- 컴퓨터 페이지에서 환자의 이름, 성별, 나이 및 질병을 입력합니다. 여기에 포함된 이미지는 클리닉에 와서 연구의 목적과 내용을 통보받은 후 사진 촬영에 동의한 환자의 이미지입니다. 환자가 똑바로 앉아 있는지 확인하고 얼굴 전체를 영상 획득 기구에 넣고 환자에게 혀를 입 밖으로 최대한 내밀도록 지시합니다.
- 컴퓨터에 연결된 영상 획득 장치를 잡고 컴퓨터 화면의 영상을 통해 환자가 올바른 위치에 있는지, 혀와 얼굴이 완전히 노출되어 있는지 확인합니다.
- 컴퓨터 화면의 촬영 버튼을 세 번 눌러 세 장의 사진을 촬영 합니다.
참고: 이미지 획득 기기는 현재 특허 출원 단계에 있으며 상업적 용도가 아니므로 판매용이 아닙니다. - 수집된 혀 및 얼굴 이미지를 수동으로 선택하고 필터링합니다. 혀와 얼굴의 노출이 불완전한 이미지와 빛이 부족하여 너무 어두운 이미지를 필터링하고 제외합니다. 그림 2 는 소프트웨어의 이미지 획득 페이지를 보여줍니다.
- 실험 설계에서는 대안으로 각 환자로부터 한 번에 3개의 이미지를 수집하고 후속 알고리즘 훈련 및 테스트를 위한 샘플로 비교적 표준적이고 완전히 노출되고 조명이 잘 되는 선명한 이미지를 선택합니다.
- 촬영 후 데이터를 수집하고, 수동 스크리닝을 위해 데이터를 내보내고, 육안으로 볼 수 있는 비표준 이미지를 삭제합니다. 다음 필터링 및 제외 기준을 사용합니다: 불완전한 혀 및 얼굴 노출, 불충분한 빛으로 인해 너무 어두운 이미지. 조명 부족, 불완전 및 표준 이미지의 예가 그림 3에 나와 있습니다.
알림: 불충분한 빛은 일반적으로 환자가 얼굴을 기구에 완전히 넣지 못하여 발생합니다. 완전한 노출은 일반적으로 환자를 올바르게 촬영해야만 얻을 수 있습니다.
2. 혀 분할
- 아래 설명된 대로 온라인 주석 도구를 사용하여 혀 이미지 분할을 수행합니다.
- Labelme를 설치하고 레이블 인터페이스의 왼쪽 상단 모서리에 있는 열기 버튼을 클릭하고 이미지가 있는 폴더를 선택한 다음 사진을 엽니다.
- 다각형 만들기를 클릭하여 추적 지점을 시작하고, 혀 및 설 모양을 추적하고, 선택한 영역(예: 혀 및 설측 표면)에 따라 이름을 지정하고 저장합니다.
- 모든 표시가 완료되면 저장을 클릭하여 이미지를 데이터 폴더에 저장합니다. 자세한 순서도는 그림 4 를 참조하십시오.
참고: 이미지에 픽셀 차이가 있을 수 있으므로 알고리즘을 학습하고 테스트하는 데 직접 사용할 수 없습니다.
- 이미지의 긴 면을 대상 채우기 길이로 하여 이미지의 가장자리를 채우고 흰색 가장자리 채우기를 수행하여 이미지의 긴 면을 가장자리 길이로 하여 이미지를 정사각형으로 채우는 방식으로 이미지를 동일한 크기로 통합합니다. 장치에서 캡처한 이미지 크기는 1080 x 1920 픽셀이고 채워진 이미지의 크기는 1920 x 1920 픽셀입니다. 그림 5를 참조하십시오.
- 필요한 경우 이미지 향상을 적용합니다. 사용된 이미지가 고정된 장면에서 촬영되고 환경, 조명 및 기타 요인의 영향을 덜 받았기 때문에 이 연구에서는 향상이 적용되지 않았습니다.
- 피사체 깜박임 및 렌즈 차단과 같은 제어할 수 없는 요인을 설명하기 위해 촬영 과정에서 각 환자에 대해 3개의 이미지가 수집되었기 때문에 각 환자의 이미지를 수동으로 스크리닝하여 환자당 하나의 이미지를 유지합니다.
- 모델을 학습하기 위해 200명 또는 600개의 이미지에서 데이터를 수집합니다. 스크리닝 후 약 200 개의 사용 가능한 이미지를 보관하십시오.
- 이미지 번호에 따라 모든 혀 이미지를 무작위로 나누어 스프레드시트의 70%를 훈련 세트에, 30%를 테스트 세트에 배치합니다.
3. 혀 분류
- 공식 웹사이트로 이동하여 Anaconda, Python 및 Labelme를 다운로드하여 설치합니다. 환경을 활성화하고 전체 환경의 설치 및 조정을 완료하십시오. 그림 6 에서 소프트웨어 설치 및 설정을 설명하는 순서도를 참조하십시오.
- 설치된 환경에서 딥러닝 알고리즘 모델을 구축하고, 파라미터를 조정하고, 학습 세트를 사용하여 모델 학습을 완료합니다. 다음 단계에 설명된 대로 모델 선택 및 조정을 수행합니다.
- 모형 선택: 연구 목적에 따라 적절한 모형을 선택합니다. 지난 5년 동안 혀 이미지 처리에 대한 연구를 검토한 후 이 연구에서 검증을 위해 U-Net, Seg-Net, DeeplabV3 및 PSPNet의 4가지 알고리즘을 선택했습니다(모델 코드는 보충 코딩 파일 1, 보충 코딩 파일 2, 보충 코딩 파일 3 및 보충 코딩 파일 4 참조).
- 데이터 세트 구성: 모델 선택을 완료한 후 위에서 설명한 대로 주로 Labelme 주석 및 균일한 이미지 크기 방법을 사용하여 연구 콘텐츠와 함께 필요한 데이터 세트를 구성합니다.
- 아래에 설명된 대로 모델 학습을 수행합니다. 그림 7 은 알고리즘 학습 작업의 세부 정보를 보여줍니다.
- 순방향 전파를 위해 신경망에 데이터를 입력하고, 각 뉴런은 먼저 가중 누적된 값을 입력한 다음 해당 뉴런의 출력 값으로 활성화 함수를 입력하여 결과를 얻습니다.
- 그 결과를 에러 함수에 입력하고 이를 예상값과 비교하여 에러를 구하고 실수로 인식도를 판단합니다. 손실 함수가 작을수록 모형이 더 좋아집니다.
- 역전파를 통해 오차를 줄이고 기울기 벡터를 결정합니다. 기울기 벡터를 기준으로 가중치를 결과 추세에 맞게 조정하여 오차가 0이 되거나 축소되도록 합니다.
- 세트가 완료되거나 오류 값이 더 이상 감소하지 않을 때까지 이 학습 프로세스를 반복하여 모델 학습이 완료됩니다. 그림 8 에서 학습 및 테스트의 알고리즘 모델 순서도를 볼 수 있습니다.
- 분할을 위해 동일한 테스트 데이터를 사용하여 4개의 모델을 테스트하고 분할 효과에 따라 모델 성능을 판단합니다. 정밀도, 재현율, 평균 픽셀 정확도(MPA) 및 MIoU의 네 가지 메트릭은 보다 포괄적인 모델 성능 평가를 제공합니다.
- 네 가지 모델의 결과가 생성된 후 해당 값을 수평으로 비교합니다. 값이 높을수록 분할 정확도가 높아지고 모델의 성능이 향상됩니다. 그림 9, 그림 10 및 그림 11을 참조하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
비교 결과는 그림 12, 그림 13 및 표 1을 참조하십시오.이 연구에서 구성한 환경은 동일한 샘플을 사용하여 알고리즘 모델을 학습하고 테스트합니다. MIoU 표시기: U-Net > Seg-Net > PSPNet > DeeplabV3; MPA 표시기: U-Net > Seg-Net > PSPNet > DeeplabV3; 정밀 표시기 : U-Net > Seg-Net > DeeplabV3 > PSPNet; 리콜 : U-Net > Seg-Net > PSPNet > DeeplabV3. 인덱스 값이 클수록 세그멘테이션 정확도가 높아지고 모델 성능이 향상됩니다. 지표 결과에 따르면 U-Net 알고리즘이 MIoU, MPA, 정밀도 및 재현율에서 다른 알고리즘보다 우수하고 분할 정확도도 다른 알고리즘보다 높다는 것을 분석할 수 있습니다. 따라서 U-Net 알고리즘은 네 가지 알고리즘 중에서 가장 성능이 좋습니다. PSPNet은 MIoU, MPA 및 리콜에서 DeeplabV3보다 우수하지만 DeeplabV3 모델은 모든 인덱스에서 Seg-Net 모델보다 낮습니다. 따라서 DeeplabV3 알고리즘은 이 연구 환경에서 4가지 알고리즘 중 가장 바람직하지 않은 종합 성능을 가지고 있다고 결론지을 수 있습니다.
평가 지표
이 연구에서 알고리즘 모델의 성능은 주로 정밀도, 재현율, MPA 및 MIoU에 의해 검증되었습니다. 모델의 성능 메트릭은 모델 분류 결과로 구성된 혼동 행렬과 직접 관련이 있으며 모델이 올바르게 분류하고 잘못 분류한 샘플 수를 반영합니다. 행렬은 테스트 세트 결과와 동일한 추정값을 나타내고 실제는 실측 자료를 나타냅니다. 두 범주는 각각 T와 F로 표시되는 true와 false로 나뉘며, 그 결과 TP, FP, FN 및 TN의 네 가지 조합이 생성됩니다.MPA는 각 범주에서 올바르게 분류된 픽셀의 비율의 평균값이고 MIoU는 평균 교차 대 병합 비율입니다. 이는 의미 체계 세분화에 대한 가장 일반적인 메트릭입니다. 교차점의 비율을 계산하고 실제 값과 예측 값10을 병합합니다. 이에 대한 공식은 다음과 같습니다.
정밀도 = , 재현율 = , MPA = (CPA = , 여기서 N은 총 범주 수) 및 MIoU = 
(IoU= ). 
이 네 가지 메트릭은 혀 이미지의 분할 효과에 대한 보다 포괄적인 평가를 제공합니다.
본 연구에서는 U-Net, Seg-Net, DeeplabV3, PSPNet의 4가지 딥러닝 알고리즘 모델을 선택하여 실제 설측 이미지 데이터를 사용하여 알고리즘 모델을 학습하고 테스트했습니다. U-Net11 은 좌측의 인코더와 우측의 디코더로 구성된 U자형 구조를 가지고 있으며, 적은 수의 데이터로 보다 정확한 분류 결과를 학습시키고 영상 특징을 종합적으로 추출할 수 있는 장점이 있습니다. 다중 스케일 타겟 분할 문제를 해결하기 위해 Res-Net 네트워크를 기반으로 DeepLabV3는 중공 컨볼루션 구조를 채택하고 다중 스케일 컨텍스트를 캡처하도록 모듈을 설계하고 조건부 랜덤 필드(CRF)를 제거하고 ASPP(atrous Spatial Pyramid Pooling) 모듈을 업그레이드하여 모델 성능을 크게 향상시킵니다. 의미론적 분할은 분할된 객체의 각 픽셀에 대한 범주 레이블을 가져오는 것을 목표로 합니다. Seg-Net은 인코더와 디코더를 포함하여 의미론적 분할을 위한 대칭 구조를 가진 CNN(컨볼루션 신경망) 아키텍처입니다. 이것의 장점은 저해상도 특징 다이어그램에 대한 디코더의 업샘플링 방법이 업샘플링 학습 시간을 제거한다는 것입니다. PSPNet 모델은 주로 장면 구문 분석에 적용되어 의미론적 분할에 컨텍스트 정보를 추가하여 부분 오류를 방지하고 글로벌 장면 분류 정보를 사용하기 위한 적절한 전략이 부족한 문제를 해결하며 최종 예측 결과의 신뢰성을 향상시킬 수 있습니다.
그림 1: 혀 진단 객관화의 구성 요소. 이미지 촬영 요소, 혀 분할 및 혀 분류를 포함한 혀 진단 구성 요소. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 이미지 획득 페이지. 혀 이미지 획득 인터페이스 및 설문지 콘텐츠. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 이미지 필터링 및 거부 기준. 녹색 눈금 표시는 포함 기준을 나타내고 빨간색 십자 표시는 제외 기준을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: Labelme 마킹 공정의 개략도. Labelme 소프트웨어는 폴더 열기에서 파일 저장에 이르기까지 이미지의 전체 프로세스에 주석을 추가하는 데 사용됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5: 사진 전처리 다이어그램. 촬영 이미지의 크기는 1080 x 1920 픽셀이고 채우기 이미지의 크기는 1920 x 1920 픽셀입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 6: 환경 구성의 흐름도. 알고리즘은 환경이 구성된 후에만 실행할 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 7: 알고리즘 학습 실행 세부 다이어그램. 알고리즘 작업의 자세한 단계 및 실행 방법. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 8: 학습 및 테스트에서 알고리즘 모델의 흐름도. 데이터 처리, 알고리즘 학습 및 알고리즘 테스트를 포함한 알고리즘의 중요한 단계입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 9: Seg-Net 알고리즘 구조. Seg-Net 알고리즘 논리 구조 및 코드 실행 프로세스. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 10: U-Net 알고리즘 구조. U-Net 알고리즘 논리 구조 및 코드 실행 프로세스. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 11: 혀 이미지 분할 연구의 흐름. 이미지의 빨간색 영역은 혀 분할의 결과이고 녹색 영역은 혀 코팅 분할의 결과입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 12: 4가지 알고리즘 메트릭의 비교 차트. MIoU, MPA, 정밀도 및 재현율은 모두 알고리즘 성능의 평가 지표입니다. 값이 클수록 알고리즘 성능이 향상되고 분할 정확도가 높아집니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 13: 혀 분할을 위한 4가지 알고리즘의 결과 비교. 이미지의 빨간색 영역은 혀 분할의 결과이고 녹색 영역은 혀 코팅 분할의 결과입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 14: U-Net 알고리즘 구조 다이어그램. 파란색/흰색 상자는 기능 맵을 나타내고 기능 맵 위의 숫자는 채널 수를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 미우 | .MPA | 정밀 | 기억 | |
| 유넷 | 84.00% | 89.38% | 91.90% | 89.38% |
| 딥랩V3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet (영어) | 67.80% | 72.56% | 82.71% | 72.56% |
| 세그넷 | 80.09% | 87.14% | 88.53% | 87.14% |
표 1: 4개의 알고리즘 세그멘테이션 결과 메트릭 비교. 메트릭은 MIoU, MPA, 정밀도 및 재현율이었습니다.
보충 코딩 파일 1: U-Net_training. U-Net 모델 학습 코드. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 2: Seg-Net_training. Seg-Net 모델 학습 코드. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 3: DeeplabV3_training. DeeplabV3 모델 훈련 코드. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 4: PSPNet_training. PSPNet 모델 학습 코드. 이 파일을 다운로드하려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
위에 제시된 비교 결과를 바탕으로, 고려중인 4 가지 알고리즘의 특성이 다양하다는 것이 분명하며, 그 뚜렷한 장점과 단점이 아래에 설명되어 있습니다. 전체 컨볼루션 네트워크의 수정 및 확장을 기반으로 하는 U-Net 구조는 수축 경로와 대칭 확장 경로를 통해 상황 정보와 정확한 위치 지정을 얻을 수 있습니다. 이 알고리즘은 각 픽셀 포인트를 분류하여 더 높은 분할 정확도를 달성하고 학습된 모델로 이미지를 더 빠르게 분할합니다. 한편, 인코더와 디코더의 대칭 구조로 구성된 Seg-Net 알고리즘은 새로운 문제에 빠르게 적응하고 음성, 의미론, 비전 및 게임과 같은 작업을 잘 수행할 수 있다는 장점이 있습니다. 그러나 알고리즘은 많은 양의 데이터를 필요로 하므로 하드웨어 구성 측면에서 까다롭기 때문에 일부 작업에만 적용할 수 있습니다. 보다 일반적인 프레임워크인 DeeplabV3 알고리즘은 대부분의 네트워크에 대한 ASSP 모듈을 개선하고 캐스케이드 또는 병렬로 배치하여 전반적인 성능을 향상시킬 수 있는 이점이 있습니다. 그러나 최종 특징 맵은 속도 8과 16에서 업 샘플링을 통해 얻어야 하며, 이는 상대적으로 거칠고 나중에 개선될 수 있습니다. 또한 PSPNet 모델은 PSP 모듈을 통해 서로 다른 지역의 컨텍스트 정보를 집계하여 글로벌 정보에 대한 액세스를 개선하고 여러 데이터 세트에서 좋은 결과를 제공하는 가장 중요한 기능을 가지고 있습니다. 결과는 U-Net 모델이 이 연구 환경에서 가장 높은 분할 정확도와 최고의 분할 효과를 갖는다는 것을 나타냅니다.
U-Net 아키텍처는 의료 영상 분할(medical image segmentation)에서 U-Net 아키텍처의 우수성을 입증한다12. 처음에는 2D 셀 이미지 분할을 위해 설계된 U-Net 알고리즘은 2D 모듈을 3D 모듈로 대체하여 더욱 발전했습니다. 이 수정은 자기 공명 영상(MRI), 컴퓨터 단층 촬영(CT) 및 3차원(3D) 초음파 이미지와 같은 3D 이미지를 처리하는 능력을 강화했습니다. 의료 영상을 장기, 조직 및 병변으로 분할하여 귀중한 임상 데이터를 얻을 수 있습니다. 개선된 U-Net 알고리즘은 후속 검사 및 치료를 위한 효과적인 도구입니다. 의료 진단에서 이미지 분류는 많은 진단 프로세스에서 중요한 부분입니다. 전통 의학은 혀, 피부 및 표정을 포함하여 눈에 보이는 모든 징후를 관찰하는 데 의존합니다. 의료 영상 분할 기술의 출현과 발전은 의료 진단에서 매우 중요합니다. TCM에서 얼굴과 혀 이미지를 분석하려면 특징 추출 분류를 위해 다양한 딥러닝 알고리즘을 사용해야 합니다. 한편, 이미지 분할 알고리즘은 서양 의학에서 널리 사용되어 임상 진단 및 병리학의 기초를 제공한다13.
이 연구의 연구 프로세스는 데이터 전처리, 알고리즘 교육 및 테스트, 알고리즘 성능 비교를 포함한 중요한 단계로 구성됩니다. 처음에 원시 데이터는 처리, 레이블 지정 및 학습 및 테스트 세트로 분할되어 후속 알고리즘 구성을 용이하게 합니다. 그런 다음 처리된 데이터는 신경망에 공급되고 손실 함수는 역전파를 통해 기울기 벡터를 결정하도록 설정됩니다. 그 후, 매개 변수는 훈련 과정이 완료 될 때까지 조정됩니다. 알고리즘 성능은 MIoU, MPA, 정밀도 및 재현율과 같은 여러 인덱스를 사용하여 이미지 분할 효과를 테스트하여 성능을 종합적으로 평가함으로써 평가됩니다. 실제 알고리즘 학습 과정에서 모델이 노이즈 데이터의 특성을 포함하여 데이터를 너무 철저하게 학습하는 과적합이 발생할 수 있습니다. 이로 인해 이후 테스트 중에 데이터를 식별하고, 데이터를 잘못 분류하고, 일반화 능력이 저하됩니다. 과적합이 발생하면 학습 데이터를 늘리거나 데이터를 다시 정리할 수 있습니다. 본 연구에서는 경사하강법 반복법을 채택하였다. 과잉 맞춤은 반복을 미리 차단하여 방지할 수도 있습니다.
이 연구의 한계는 명백합니다. 이미지는 고정 된 도구를 사용하여 수집되었으며 실험 도구는 현재 상업적 목적으로 사용할 수 없습니다. 결과적으로 이 연구의 혀 이미지는 단일 장면에서 가져온 것이며 임상적 배경과 복잡하고 가변적인 조명 조건을 완전히 반영하지 않습니다. 따라서 복잡한 환경과 열악한 조명 조건에서 이미지 처리 기술을 연구하기 위해서는 추가 연구가 필요합니다. 혀 진단의 객관화 연구에는 풍부한 내용이 포함되어 있으므로 정확한 혀 신체 분할이 필수적입니다. 결과적으로 가장 적합한 분할 효과를 가진 알고리즘을 비교하고 검증하는 것은 후속 연구에서 중요합니다. 혀 분할과 분류를 결합하면 이론적으로 자동 혀 이미지 판단을 달성하고 진단에 도움이 될 수 있습니다. 학자들은 이 주제를 탐구하고 연구했습니다. 의료 분야에서는 사물 인터넷과 무선 통신 기술을 사용하여 생물 의학 영상을 처리하고 진단 지원을 통해 시스템의 효율성을 높일 수 있습니다. Mansour et al.14 는 협업 딥 러닝과 사물 인터넷을 기반으로 자동화된 혀 컬러 이미지(ASDL-TCI)를 설계했습니다. 여기에는 데이터 수집, 전처리, 기능 추출, 분류 및 매개변수 최적화가 포함됩니다. 이 모델의 정밀도, 재현율 및 정확도는 각각 0.984, 0.973 및 0.983으로 다른 방법보다 우수합니다.
이미지 획득 및 전처리
이미지 획득 과정에서 광원의 강도와 다양성은 이미지 품질에 직접적인 영향을 미칠 수 있으며, 이는 이미지 분할 및 분류 결과에 영향을 미칩니다. 따라서 자연광의 효과를 최대한 모방하도록 광원을 설정하는 것이 중요합니다. 또한 표준 광원을 활용하거나 여러 광원을 사용하여 고정된 장면에서 촬영하는 것과 같은 방법은 빛, 배경 및 기타 요인의 부정적인 영향을 방지하여 알고리즘 분할의 정확도를 향상시킬 수 있습니다. 혀 이미지를 수집하는 데 사용되는 기기 조명 매개변수는 표준 조명과 동일하지 않아 혀 이미지의 연색성 효과에 영향을 미칩니다. 따라서 가장 일반적으로 사용되는 전처리 방법은 색상 보정입니다. Cai et al.15 는 혀 이미지의 색상 데이터와 해당 혀의 색상 채도 간의 불일치를 해결하기 위해 혀 이미지의 색 공간 변환 및 색상 보정을 정규화하는 것이 필요하다는 것을 발견했습니다. 디스플레이 장치의 색상 성능도 실제 텅 본체에서 벗어나 테스트 및 조정이 필요합니다. 또한, 사진 크기는 이미지 수집 프로세스(16) 동안 사용되는 상이한 획득 도구에 따라 달라진다. 훈련 효율성을 높이고 저장 공간을 절약하기 위해 딥러닝 신경망은 입력 사진 크기에 제한이 있습니다. 따라서 사진 전처리 단계에서 사진 크기를 표준화해야 합니다. 일반적으로 이 작업은 모델 학습을 위해 입력 그림 크기를 균일하게 재구성하여 수행되며, 일반적으로 사용되는 재구성 방법은 보간, 클리핑, 포함, 바둑판식 배열 및 미러링입니다.
혀 이미지 분할
혀 이미지 분할은 두 가지 유형으로 분류할 수 있다: 전통적인 분할 방법과 딥 러닝 분할 방법17. 전통적인 혀 이미지 분할 방법은 Snake 알고리즘 및 Otsu 알고리즘과 같은 알고리즘으로 구성됩니다. 능동 윤곽 모델로서, 스네이크 알고리즘(18 )은 먼저 프로파일 곡선을 설정하고, 그 후 초기 프로파일을 조정하여 진정한 프로파일 곡선으로 진화시킨다. 초기 윤곽선의 획득과 윤곽선의 진화는 Snake 알고리즘 연구의 주요 초점입니다. 한편, Otsu 알고리즘은 하나 이상의 임계값을 사용하여 원본 이미지의 회색 값을 계산하고 각 픽셀의 그레이스케일 값을 임계값과 비교하는 고전적인 임계값 분할 알고리즘입니다. 비교 결과를 바탕으로 딥러닝 방법이 등장하기 전의 혀와 배경을 묘사합니다. 이 두 알고리즘은 일반적으로 혀 이미지 처리 및 혀 진단 객관화에 사용됩니다.
딥러닝 이론의 출현 이후 많은 학자들이 혀 진단 객관화와 딥러닝의 통합을 연구해 왔습니다. Zheng et al.19 는 다양한 알고리즘을 융합하고 개방된 환경에서 혀 감지 방법을 탐색하여 이미지 분할을 기반으로 한 혀 감지 방법을 고안하여 궁극적으로 유리한 혀 분할 결과를 얻었습니다. Yuan et al.20 은 영역 연관의 단일 픽셀 손실 함수에 기초한 혀 분할 방법을 제안했으며, 여기서 향상된 손실 함수는 영역 픽셀 간의 상관 관계를 설명했습니다. 픽셀 레이블 의미 체계 지도 학습을 사용하여 모델 학습 효율성이 향상되었으며, MIoU 지수가 96.32%에 도달했습니다. 혀 이미지는 질병 발병과 밀접한 관련이 있는 치아 자국, 균열 및 천자와 같은 특정 형태학적 특성을 나타냈습니다. 따라서 혀 관찰은 질병의 진행 상황을 진단하는 데 도움이 될 수 있습니다. Wang etal 21 은 정확도와 안정성을 향상시키는 작은 샘플 데이터 세트에 대한 딥 러닝 혀 골절 분할 접근 방식을 제안했습니다. 이 방법은 혀 몸체를 먼저 쪼개고 텅 균열이 뒤따르는 것을 포함하며 초점 손실을 기능 상실로 통합하여 U-Net 알고리즘을 개선했습니다.
혀 이미지 분류
혀 이미지 분류에는 주로 혀 색상, 가시, 균열 및 코팅 색상과 같은 특성을 식별하는 작업이 포함됩니다. Wang et al.22 는 Snake 알고리즘을 사용하여 혀 몸체를 분할하고 상호 정보 이미지 등록, 로그 가장자리 감지, 평행선 및 기타 천공을 식별하는 방법과 같은 기술을 활용했습니다. 이 접근 방식은 자동 천공 식별 및 계수 문제를 효과적으로 해결하면서 조기 발견 및 예방을 용이하게 했습니다. 큰 데이터 볼륨, 긴 훈련 시간, 높은 장비 요구 사항과 같은 혀 이미지 알고리즘 훈련과 관련된 한계를 해결하기 위해 Yang et al.23은 전이 학습을 기반으로 하는 완전히 연결된 신경망을 제안했습니다. 이 방법은 잘 훈련된 Inception_v3 활용하여 특징을 추출하고 이를 완전히 연결된 신경망(FCN)과 결합하여 90% 이상의 정확도를 달성합니다. 이 접근 방식은 작은 샘플과 여러 분류에서 딥 러닝 문제를 해결했습니다. Song et al.24 는 캐스케이드 분류기를 사용하여 GoogLe-Net 및 Res-Net에서 이미지를 찾아 전이 학습, 훈련 및 딥 러닝 적용을 통해 치아 자국, 균열 및 혀 코팅 두께의 세 가지 혀 이미지 특징을 자동으로 분류했습니다. 분류 결과의 평균 정확도는 94 %를 초과했습니다. 그러나, 혀 이미지 분류 알고리즘은 얼굴의 다른 관련 없는 부분으로부터의 간섭에 매우 민감하여, 분류 정확도(25)에 직접적인 영향을 미친다.
Zhai et al.26 은 주의 메커니즘을 사용하여 혀 이미지를 분류하기 위한 다단계 알고리즘을 개발했습니다. 이 방법은 혀 국소화 단계에서 융합되는 다양한 지각 시야에서 특징을 추출하여 혀 영역을 식별하는 정확도를 향상시킵니다. 또한 주의 메커니즘 모듈은 혀 이미지 분류 정확도를 향상시켜 혀 불순물의 간섭을 억제합니다. 상이한 질병들(27)의 혀의 특징을 분류하는 문제에 직면하여, 딥러닝 알고리즘은 또한 새로운 접근법을 제공할 수 있다. 또한, Shi 등(28 )은 C5.0 의사결정 트리 알고리즘에 기초하여 비소세포폐암에 대한 전형적인 분류 방법을 조사하였다. 그들은 Qi 결핍 증명서 및 Yin 결핍 증명서 분류와 관련된 7 가지 속성 분류 규칙을 확인했습니다. 모델의 정확도는 80.37%로 확인되었습니다. 또한 Li et al.29 는 확률적 숲 알고리즘을 사용하여 당뇨병 진단 모델을 개발했습니다. 그들은 모델의 성능을 향상시키기 위해 혀 이미지의 질감과 색상 특징을 추가로 분석했습니다.
결론
서양 의학의 현대 진단 접근법과 달리 TCM의 진단 방법은 최소 침습적이며 최소한의 해를 수반합니다. 또한 관찰, 듣기 또는 냄새 맡기, 조회 및 촉진의 네 가지 진단 방법은 TCM의 다양한 측면에 기초를 두고 있습니다. 그럼에도 불구하고 한의학 진단 및 치료가 의사의 전문 지식과 개인 치료 개념에 크게 의존하기 때문에 객관성과 표준화가 부족할 수 있습니다. 그 결과, 한의학의 진단을 객관화하는 경향은 한의학의 발전을 촉진할 수 있는 추가 연구의 방향으로 떠올랐다.
혀 진단의 객관화는 이미지와 많은 양의 데이터를 고효율로 처리할 수 있는 잠재력을 가지고 있어 의사에게 큰 도움이 될 수 있습니다. 그러나 혀 진단은 전통적인 방법일 뿐만 아니라 검증되었다는 점에 유의해야 합니다. Chen et al.30은 382 명의 COVID-19 환자의 혀 이미지에 대한 임상 데이터를 수집하는 연구를 수행했습니다. 그들은 모든 이미징 그룹에 대한 혀 이미지 특징과 실험실의 색상 패턴 매개변수를 통계적으로 분석했습니다. 이 연구의 결과는 혀 이미지의 특징과 사용 된 서양 의학의 유형 사이의 상관 관계를 밝혀 냈습니다. 또한 혀 이미지의 변화는 질병의 전반적인 발병기전과 일치합니다. 혀 이미지의 일부 매개변수는 TCM31에서 COVID-19의 병원성 변화를 예측하는 데 잠재적으로 도움이 될 수 있습니다.
전통적인 의학적 혀 진단을 객관화하면서 많은 연구자들이 세분화 및 분류 방법을 활용했습니다. 딥러닝과 컨볼루션 신경망은 혀 이미지 특성을 분류하는 데 필수적입니다. 혀 이미지 분할 알고리즘의 정확도는 혀가 얼굴에서 정확하게 분리될 수 있는지 여부를 결정하여 후속 특징 분류의 정확도에 영향을 미치기 때문에 매우 중요합니다. 결과적으로 현재 알고리즘 모델의 정확도를 높이는 것이 이 분야에서 중요한 연구 초점입니다. 현재 알고리즘 모델과 정확성을 개선하는 것은 연구 핫스팟입니다.
이 연구에서는 동일한 테스트 세트 데이터를 사용하여 U-Net, Seg-Net, DeeplabV3 및 PSPNet4 알고리즘의 성능을 비교했습니다. 이 조치는 사용된 데이터 품질의 일관성을 보장하기 위해 취해졌습니다. 이 연구에 사용된 실험 환경에서 U-Net 알고리즘은 분할 정확도 측면에서 다른 세 가지 알고리즘보다 훨씬 뛰어난 성능을 보였습니다. MIoU는 시맨틱 세그멘테이션 알고리즘(32)의 주석 척도이며, 알고리즘 성능을 평가하는데 사용되는 가장 중요한 인덱스이다. U-Net 알고리즘의 MIoU 값은 Seg-Net 알고리즘보다 3.91%, DeeplabV3보다 23.32%, PSPNet보다 16.2% 높았다. 이것은 U-Net 알고리즘이 다른 알고리즘보다 더 잘 수행된다는 증거를 제공합니다.
그러나, 딥러닝 알고리즘을 이용한 혀 영상의 분할과 분류에는 몇 가지 문제점이 있다. 예를 들어, 환자 개인 정보 보호로 인해 의료 영상 데이터 세트는 다른 의미론적 분할 데이터 세트에 비해 크기가 너무 작아 빅 데이터에서 딥 러닝의 이점을 제한합니다. 큰 파라미터 모델 분할은 피팅 문제를 일으키기 쉽습니다. 따라서 적절한 개선 모드를 선택하여 네트워크 구조를 조정해야 합니다. 현재 혀 진단의 객관화 연구는 아직 통일된 수집 기준을 형성하지 못했습니다. 획득 환경 및 광원 유형은 적절한 표준화가 부족합니다. 연구원은 일반적으로 수집 환경을 설정하고 자체 비공개 데이터베이스를 구축합니다. 동시에 현재의 알고리즘 모델은 좋은 정확도를 얻을 수 있지만 사용 된 데이터는 신중하게 선별되고 사전 처리되므로 실제 진단 및 치료 환경에서는 달성하기 어렵 기 때문에 임상 적용이 제한됩니다. 부가적으로, 혀 진단의 추가의 객관화는 상이한 장치들(33)에 의해 캡처된 복잡한 환경 또는 혀 이미지들을 다룰 것이다. 또 다른 추세는 동적 정보 처리, 특히 비디오 이미지 처리로, 혀에 대한 보다 자세한 정보를 제공하고 혀 진단의 장점을 보다 포괄적으로 반영합니다. 따라서 동적 세부 사항을 처리하기 위한 딥 러닝 알고리즘을 개발할 필요가 있습니다. 전반적으로 딥 러닝 알고리즘과 결합된 의료용 혀 진단의 객관화는 TCM 진단의 주관성을 감소시킬 수 있는 가능성을 가지고 있습니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 선언할 이해 상충이 없습니다.
Acknowledgments
이 작업은 중국 국립 자연 재단(보조금 번호 82004504), 중국 과학 기술부 국가 핵심 연구 개발 프로그램(보조금 번호 2018YFC1707606), 쓰촨성 한약청(보조금 번호 2021MS199) 및 중국 국가 자연 재단(보조금 번호 82174236).
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
