Objectivering van tongdiagnose in de traditionele geneeskunde, data-analyse en studietoepassing
Summary
De huidige studie gebruikte U-Net en andere deep learning-algoritmen om een tongbeeld te segmenteren en vergeleek de segmentatieresultaten om de objectivering van tongdiagnose te onderzoeken.
Abstract
Tongdiagnose is een essentiële techniek van de diagnose van de traditionele Chinese geneeskunde (TCM) en de behoefte aan objectiverende tongbeelden door middel van beeldverwerkingstechnologie groeit. De huidige studie geeft een overzicht van de vooruitgang die het afgelopen decennium is geboekt in tongobjectificatie en vergelijkt segmentatiemodellen. Verschillende deep learning-modellen zijn geconstrueerd om algoritmen te verifiëren en te vergelijken met behulp van echte tongbeeldsets. De sterke en zwakke punten van elk model worden geanalyseerd. De bevindingen geven aan dat het U-Net-algoritme beter presteert dan andere modellen met betrekking tot precisienauwkeurigheid (PA), recall en mean intersection over union (MIoU) -statistieken. Ondanks de aanzienlijke vooruitgang in het verwerven en verwerken van tongbeelden, moet er echter nog een uniforme standaard voor het objectiveren van tongdiagnose worden vastgesteld. Om de wijdverspreide toepassing van tongbeelden die zijn vastgelegd met behulp van mobiele apparaten in tongdiagnoseobjectificatie te vergemakkelijken, zou verder onderzoek de uitdagingen kunnen aanpakken die worden gesteld door tongbeelden die zijn vastgelegd in complexe omgevingen.
Introduction
Tongobservatie is een veel gebruikte techniek in de traditionele Chinese etnische geneeskunde (TCM). De kleur en vorm van de tong kunnen de fysieke conditie en verschillende ziekte-eigenschappen, ernst en prognoses weerspiegelen. In de traditionele Hmong-geneeskunde wordt de kleur van de tong bijvoorbeeld gebruikt om de lichaamstemperatuur te identificeren, bijvoorbeeld een rode of paarse tong duidt op pathologische factoren die verband houden met warmte. In de Tibetaanse geneeskunde wordt een aandoening beoordeeld door de tong van een patiënt te observeren, met aandacht voor de kleur, vorm en vochtigheid van het slijm. De tongen van patiënten met de ziekte van Heyi worden bijvoorbeeld rood en ruw of zwart en droog1; patiënten met de ziekte van Xieri2 hebben gele en droge tongen; ondertussen hebben patiënten met de ziekte van Badakan3 een witte, vochtige en zachte tong4. Deze observaties onthullen de nauwe relatie tussen tongkenmerken en fysiologie en pathologie. Over het algemeen speelt de toestand van de tong een vitale rol bij de diagnose, ziekte-identificatie en evaluatie van het behandelingseffect.
Tegelijkertijd, als gevolg van verschillende leefomstandigheden en voedingsgewoonten tussen verschillende etnische groepen, zijn variaties in tongbeelden duidelijk. Het Lab-model, opgesteld op basis van een internationale standaard voor kleurbepaling, werd in 1931 geformuleerd door de Commission International Eclairage (CIE). In 1976 werd een kleurenpatroon aangepast en benoemd. Het Lab-kleurmodel bestaat uit drie elementen: L komt overeen met helderheid, terwijl a en b twee kleurkanalen zijn. A bevat kleuren van donkergroen (lage helderheidswaarde) tot grijs (gemiddelde helderheidswaarde) tot felroze (hoge helderheidswaarde); B gaat van felblauw (lage helderheidswaarde) naar grijs (gemiddelde helderheidswaarde) naar geel (hoge helderheidswaarde). Door de L x a x b-waarden van de tongkleur van vijf etnische groepen te vergelijken, ontdekten Yang et al.5 dat de kenmerken van tongafbeeldingen van de Hmong-, Hui-, Zhuang-, Han- en Mongoolse groepen significant van elkaar verschilden. De hebben bijvoorbeeld donkere tongen met een gele tongcoating, terwijl de Hmong lichte tongen hebben met een witte tongcoating, wat suggereert dat tongkenmerken kunnen worden gebruikt als een diagnostische indicator voor het beoordelen van de gezondheidstoestand van een populatie. Bovendien kunnen tongbeelden functioneren als een evaluatie-index voor evidence-based medicine in klinisch onderzoek naar etnische geneeskunde. He et al.6 gebruikten tongbeelden als basis voor TCM-diagnose en evalueerden systematisch de veiligheid en werkzaamheid van Chou-Ling-Dan-pellets (CLD-korrels die worden gebruikt voor de behandeling van ontstekings- en koortsziekten, waaronder seizoensgriep bij TCM) in combinatie met Chinese en westerse geneeskunde. De resultaten stelden de wetenschappelijke validiteit van tongbeelden vast als evaluatie-index voor klinische studies. Niettemin vertrouwen traditionele artsen over het algemeen op subjectiviteit om tongkenmerken te observeren en de fysiologische en pathologische omstandigheden van patiënten te beoordelen, waarvoor nauwkeurigere indicatoren nodig zijn.
De opkomst van internet en kunstmatige intelligentietechnologie heeft de weg vrijgemaakt voor het digitaliseren en objectiveren van tongdiagnose. Dit proces omvat het gebruik van wiskundige modellen om een kwalitatieve en objectieve beschrijving van tongbeelden7 te geven, die de inhoud van het tongbeeld weerspiegelen. Het proces omvat verschillende stappen: beeldacquisitie, optische compensatie, kleurcorrectie en geometrische transformatie. De voorbewerkte afbeeldingen worden vervolgens ingevoerd in een algoritmisch model voor beeldpositionering en -segmentatie, functie-extractie, patroonherkenning, enz. De output van dit proces is een zeer efficiënte en nauwkeurige diagnose van tongbeeldgegevens, waardoor het doel van objectivering, kwantificering en informatisering van tongdiagnose wordt bereikt8. Zo wordt het doel van een hoge efficiëntie en zeer nauwkeurige verwerking van tongdiagnosegegevens bereikt. Op basis van kennis van tongdiagnose en deep learning-technologie scheidde deze studie automatisch het tonglichaam en de tongcoating van tongbeelden met behulp van een computeralgoritme, om de kwantitatieve kenmerken van tongen voor artsen te extraheren, de betrouwbaarheid en consistentie van de diagnose te verbeteren en methoden te bieden voor later onderzoek naar objectivering van de tongdiagnose9.
Protocol
Representative Results
Discussion
Op basis van de hierboven gepresenteerde vergelijkingsresultaten is het duidelijk dat de kenmerken van de vier onderzochte algoritmen gevarieerd zijn en dat hun verschillende voor- en nadelen hieronder worden beschreven. De U-Net-structuur, gebaseerd op de wijziging en uitbreiding van een volledig convolutienetwerk, kan contextuele informatie en nauwkeurige positionering verkrijgen via een contractueel pad en een symmetrisch uitdijend pad. Door elk pixelpunt te classificeren, bereikt dit algoritme een hogere segmentatien…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Dit werk werd ondersteund door de National Nature Foundation of China (grant no.82004504), het National Key Research and Development Program van het Ministerie van Wetenschap en Technologie van China (grant no.2018YFC1707606), Chinese Medicine Administration of Sichuan Province (grant no.2021MS199) en National Nature Foundation of China (grant no.82174236).
Materials
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
Riferimenti
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology – Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology – Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology – Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
