伝統医学における舌診断の客観化、データ解析、研究応用
Summary
本研究では,U-Netなどの深層学習アルゴリズムを用いて舌画像をセグメント化し,セグメンテーション結果を比較して舌診断の客観化を検討した。
Abstract
舌診断は中医学(TCM)診断に不可欠な技術であり、画像処理技術による舌画像の客観化の必要性が高まっています。本研究では、過去10年間の舌客観化の進歩を概観し、セグメンテーションモデルを比較します。実際の舌画像セットを用いてアルゴリズムを検証・比較するために、様々な深層学習モデルを構築します。各モデルの長所と短所が分析されます。この知見は、U-Netアルゴリズムが、精度精度(PA)、再現率、および平均交差オーバーユニオン(MIoU)メトリックに関して他のモデルよりも優れていることを示している。しかし、舌画像の取得と処理は大きく進歩しているにもかかわらず、舌診断を客観化するための統一された基準は確立されていません。モバイルデバイスを使用してキャプチャされた舌画像を舌診断の客観化に広く適用することを促進するために、さらなる研究により、複雑な環境でキャプチャされた舌画像によってもたらされる課題に対処できます。
Introduction
舌観察は、伝統的な中国民族医学(TCM)で広く利用されている技術です。舌の色と形は、体調やさまざまな病気の性質、重症度、予後を反映することができます。たとえば、伝統的なモン族の医学では、舌の色は体温を識別するために使用されます(たとえば、赤または紫の舌は熱に関連する病理学的要因を示します)。チベット医学では、粘液の色、形、水分に注意を払いながら、患者の舌を観察することによって状態を判断します。たとえば、Heyi病患者の舌は赤くて荒れたり、黒くて乾いたりします1。Xieri病2 の患者は黄色で乾燥した舌を持っています。一方、バダカン病3 の患者は、白く、湿気があり、柔らかい舌を持っています4。これらの観察は、舌の特徴と生理学および病理学との間の密接な関係を明らかにします。全体として、舌の状態は、診断、疾患の特定、および治療効果の評価において重要な役割を果たします。
同時に、異なる民族グループ間の多様な生活条件と食習慣のために、舌のイメージのばらつきは明らかです。色を決定するための国際標準に基づいて確立されたラボモデルは、1931年に国際エクレアージュ委員会(CIE)によって策定されました。1976年に、カラーパターンが変更され、名前が付けられました。Lab カラー モデルは、L は明るさに対応し、a と b は 2 つのカラー チャネルの 3 つの要素で構成されます。aには、濃い緑(低輝度値)から灰色(中程度の明るさの値)、明るいピンク(高輝度値)までの色が含まれます。Bは、明るい青(低輝度値)から灰色(中程度の明るさ値)、黄色(高輝度値)になります。Yangらは、5つの民族グループの舌色のL x a x b値を比較することにより、モン族、回族、チワン族、漢族、モンゴル族の舌像の特徴が互いに有意に異なることを発見 しました。たとえば、モンゴル人は黄色の舌のコーティングが施された暗い舌を持っていますが、モン族は白い舌のコーティングが施された明るい舌を持っており、舌の特徴が集団の健康状態を評価するための診断指標として使用できることを示唆しています。また、舌画像は、民族医学の臨床研究におけるエビデンスに基づく医療の評価指標として機能することができます。He et al.6 は、TCM診断の基礎として舌画像を使用し、Chou-Ling-Danペレット(CLD顆粒-TCMの季節性インフルエンザを含む炎症性疾患および熱性疾患の治療に使用される)と中医学および西洋医学を組み合わせた安全性と有効性を体系的に評価しました。その結果、臨床研究の評価指標としての舌画像の科学的妥当性が確立されました。それにもかかわらず、従来の開業医は一般に主観性に依存して舌の特徴を観察し、患者の生理学的および病理学的状態を評価し、より正確な指標を必要とします。
インターネットと人工知能技術の出現は、舌診断のデジタル化と客観化への道を開きました。このプロセスは、舌画像の内容を反映して、舌画像7の定性的および客観的な記述を提供するために数学的モデルを使用することを含む。このプロセスには、画像取得、光学補正、色補正、幾何学的変換など、いくつかのステップが含まれます。次に、前処理された画像は、画像の位置決めとセグメンテーション、特徴抽出、パターン認識などのアルゴリズムモデルに供給されます。このプロセスの出力は、舌画像データの高効率かつ正確な診断であり、それによって舌診断の客観化、定量化、および情報化の目標を達成します8。これにより、舌診断データの高効率・高精度処理の目的が達成される。本研究では、舌診断の知識と深層学習技術に基づき、コンピュータアルゴリズムを用いて舌の画像から舌の体と舌のコーティングを自動的に分離し、医師の舌の定量的特徴を抽出し、診断の信頼性と一貫性を向上させ、その後の舌診断客観化研究の方法を提供する9。
Protocol
Representative Results
Discussion
上記の比較結果に基づいて、検討中の4つのアルゴリズムの特性が異なることは明らかであり、それらの明確な長所と短所を以下に説明します。U-Net構造は、完全な畳み込みネットワークの変更と拡張に基づいており、収縮経路と対称的な拡張経路を介してコンテキスト情報と正確な位置決めを取得できます。このアルゴリズムは、各ピクセルポイントを分類することにより、より高いセグメ?…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
この研究は、中国国家自然基金会(助成金番号82004504)、中国科学技術省国家重点研究開発プログラム(助成金番号2018YFC1707606)、四川省漢方薬管理局(助成金番号2021MS199)、中国国家自然財団(助成金番号82174236)の支援を受けました。
Materials
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
Riferimenti
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology – Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology – Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology – Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
