전통의학에서 혀 진단의 객관화, 데이터 분석, 연구 적용
Summary
본 연구는 U-Net 및 기타 딥러닝 알고리즘을 사용하여 혀 이미지를 분할하고 분할 결과를 비교하여 혀 진단의 객관화를 조사했습니다.
Abstract
혀 진단은 한의학(TCM) 진단의 필수 기술이며, 영상처리 기술을 통한 혀 영상의 대상화에 대한 필요성이 커지고 있습니다. 본 연구는 지난 10년 동안 혀 객관화의 진행 상황에 대한 개요를 제공하고 세분화 모델을 비교합니다. 실제 혀 이미지 세트를 사용하여 알고리즘을 검증하고 비교하기 위해 다양한 딥 러닝 모델이 구축됩니다. 각 모델의 강점과 약점을 분석합니다. 연구 결과에 따르면 U-Net 알고리즘은 정밀 정확도(PA), 재현율 및 MIoU(Mean Intersection over Union) 메트릭과 관련하여 다른 모델보다 성능이 우수합니다. 그러나 혀 이미지 획득 및 처리가 크게 발전했음에도 불구하고 혀 진단을 객관화하기 위한 통일된 표준은 아직 확립되지 않았습니다. 혀 진단 객관화에서 모바일 장치를 사용하여 캡처한 혀 이미지의 광범위한 적용을 용이하게 하기 위해 추가 연구는 복잡한 환경에서 캡처된 혀 이미지로 인해 발생하는 문제를 해결할 수 있습니다.
Introduction
혀 관찰은 중국 전통 의학(TCM)에서 널리 사용되는 기술입니다. 혀의 색과 모양은 신체 상태와 다양한 질병 특성, 중증도 및 예후를 반영할 수 있습니다. 예를 들어, 전통 몽족 의학에서 혀의 색은 체온을 식별하는 데 사용됩니다 (예 : 빨간색 또는 보라색 혀는 열과 관련된 병리학 적 요인을 나타냅니다). 티베트 의학에서는 환자의 혀를 관찰하고 점액의 색, 모양 및 수분에주의를 기울여 상태를 판단합니다. 예를 들어, 헤이이병 환자의 혀가 붉어지고 거칠어지거나 검고 건조해집니다1; Xieri 질병2 환자는 혀가 노랗고 건조합니다. 한편, 바다칸병3 환자는 하얗고 습하며 부드러운 혀4를 가지고있다. 이러한 관찰은 혀의 특징과 생리학 및 병리학 사이의 밀접한 관계를 보여줍니다. 전반적으로 혀의 상태는 진단, 질병 식별 및 치료 효과 평가에 중요한 역할을 합니다.
동시에, 다양한 인종 그룹 간의 다양한 생활 조건과 식습관으로 인해 혀 이미지의 차이가 분명합니다. 색상 결정을위한 국제 표준을 기반으로 설립 된 Lab 모델은 1931 년 CIE (Commission International Eclairage)에 의해 공식화되었습니다. 1976 년에 색상 패턴이 수정되고 명명되었습니다. Lab 색상 모델은 세 가지 요소로 구성됩니다 : L은 밝기에 해당하고 a와 b는 두 개의 색상 채널입니다. A는 짙은 녹색 (낮은 밝기 값)에서 회색 (중간 밝기 값)에서 밝은 분홍색 (높은 밝기 값)까지의 색상을 포함합니다. b는 밝은 파란색(낮은 밝기 값)에서 회색(중간 밝기 값), 노란색(높은 밝기 값)으로 바뀝니다. Yang 등5 은 5개 종족 그룹의 혀 색깔에 대한 L x a x b 값을 비교함으로써 몽족, 후이족, 좡족, 한족 및 몽골족의 혀 이미지 특성이 서로 유의하게 다르다는 것을 발견했습니다. 예를 들어, 몽골인은 노란색 혀 코팅이 된 어두운 혀를 가지고 있는 반면 몽족은 흰색 혀 코팅이 된 밝은 혀를 가지고 있어 혀 특징이 인구의 건강 상태를 평가하기 위한 진단 지표로 사용될 수 있음을 시사합니다. 또한 혀 이미지는 민족 의학의 임상 연구에서 증거 기반 의학에 대한 평가 지표로 기능할 수 있습니다. He et al.6 은 한의학 진단의 기초로 혀 이미지를 사용하고 중국 및 서양 의학과 결합된 Chou-Ling-Dan 펠릿(한의학의 계절성 인플루엔자를 포함한 염증 및 열성 질환 치료에 사용되는 CLD 과립)의 안전성과 효능을 체계적으로 평가했습니다. 그 결과 임상 연구의 평가 지표로서 혀 이미지의 과학적 타당성이 확립되었습니다. 그럼에도 불구하고 전통적인 의료 종사자는 일반적으로 혀의 특성을 관찰하고 환자의 생리적, 병리학적 상태를 평가하기 위해 주관성에 의존하므로 보다 정확한 지표가 필요합니다.
인터넷과 인공 지능 기술의 출현은 혀 진단을 디지털화하고 객관화하는 길을 열었습니다. 이 과정은 수학적 모델을 사용하여 혀 이미지의 내용을 반영하는 혀 이미지7에 대한 질적이고 객관적인 설명을 제공하는 것을 포함한다. 이 프로세스에는 이미지 획득, 광학 보정, 색상 보정 및 기하학적 변환과 같은 여러 단계가 포함됩니다. 그런 다음 전처리된 이미지는 이미지 포지셔닝 및 분할, 특징 추출, 패턴 인식 등을 위한 알고리즘 모델에 공급됩니다. 이 과정의 결과는 혀 이미지 데이터의 매우 효율적이고 정확한 진단이며, 이에 따라 혀 진단의 객관화, 정량화 및 정보화의 목표를 달성한다8. 따라서, 혀 진단 데이터의 고효율 및 고정밀 처리의 목적이 달성된다. 본 연구는 혀 진단 지식과 딥러닝 기술을 바탕으로 컴퓨터 알고리즘을 이용하여 혀 영상에서 혀 몸체와 혀 코팅을 자동으로 분리하여 의사를 위한 혀의 정량적 특징을 추출하고 진단의 신뢰성과 일관성을 향상시키며 후속 혀 진단 객관화 연구방법을 제공한다 9.
Protocol
Representative Results
Discussion
위에 제시된 비교 결과를 바탕으로, 고려중인 4 가지 알고리즘의 특성이 다양하다는 것이 분명하며, 그 뚜렷한 장점과 단점이 아래에 설명되어 있습니다. 전체 컨볼루션 네트워크의 수정 및 확장을 기반으로 하는 U-Net 구조는 수축 경로와 대칭 확장 경로를 통해 상황 정보와 정확한 위치 지정을 얻을 수 있습니다. 이 알고리즘은 각 픽셀 포인트를 분류하여 더 높은 분할 정확도를 달성하고 학습된 ?…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
이 작업은 중국 국립 자연 재단(보조금 번호 82004504), 중국 과학 기술부 국가 핵심 연구 개발 프로그램(보조금 번호 2018YFC1707606), 쓰촨성 한약청(보조금 번호 2021MS199) 및 중국 국가 자연 재단(보조금 번호 82174236).
Materials
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
Riferimenti
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology – Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology – Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology – Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
