Geleneksel Tıpta Dil Tanısının Nesnelleştirilmesi, Veri Analizi ve Çalışma Uygulaması
Summary
Bu çalışma, bir dil görüntüsünü segmentlere ayırmak için U-Net ve diğer derin öğrenme algoritmalarını kullandı ve dil tanısının nesnelleştirilmesini araştırmak için segmentasyon sonuçlarını karşılaştırdı.
Abstract
Dil teşhisi, geleneksel Çin tıbbı (TCM) teşhisinin temel bir tekniğidir ve görüntü işleme teknolojisi ile dil görüntülerini nesneleştirme ihtiyacı artmaktadır. Bu çalışma, son on yılda dil nesnelleştirmesinde kaydedilen ilerlemeye genel bir bakış sunmakta ve segmentasyon modellerini karşılaştırmaktadır. Gerçek dil görüntü kümelerini kullanarak algoritmaları doğrulamak ve karşılaştırmak için çeşitli derin öğrenme modelleri oluşturulmuştur. Her modelin güçlü ve zayıf yönleri analiz edilir. Bulgular, U-Net algoritmasının hassasiyet doğruluğu (PA), geri çağırma ve birleşme (MIoU) metrikleri üzerinden ortalama kesişim ile ilgili diğer modellerden daha iyi performans gösterdiğini göstermektedir. Bununla birlikte, dil görüntüsü elde etme ve işlemedeki önemli ilerlemelere rağmen, dil tanısını nesnelleştirmek için tek tip bir standart henüz belirlenmemiştir. Mobil cihazlar kullanılarak yakalanan dil görüntülerinin dil tanı nesneleştirmesinde yaygın olarak uygulanmasını kolaylaştırmak için, daha fazla araştırma karmaşık ortamlarda yakalanan dil görüntülerinin yarattığı zorlukları ele alabilir.
Introduction
Dil gözlemi, geleneksel Çin etnik tıbbında (TCM) yaygın olarak kullanılan bir tekniktir. Dilin rengi ve şekli fiziksel durumu ve çeşitli hastalık özelliklerini, şiddetlerini ve prognozlarını yansıtabilir. Örneğin, geleneksel Hmong tıbbında, dilin rengi vücut ısısını tanımlamak için kullanılır, örneğin kırmızı veya mor bir dil, ısı ile ilgili patolojik faktörleri gösterir. Tibet tıbbında, bir durum hastanın dilini gözlemleyerek, mukusun rengine, şekline ve nemine dikkat ederek değerlendirilir. Örneğin, Heyi hastalığı olan hastaların dilleri kırmızı ve kaba veya siyah ve kuruolur 1; Xieri hastalığı2 olan hastaların sarı ve kuru dilleri vardır; Bu arada, Badakan hastalığı3 olan hastaların beyaz, nemli ve yumuşak bir dilivardır 4. Bu gözlemler dil özellikleri ile fizyoloji ve patoloji arasındaki yakın ilişkiyi ortaya koymaktadır. Genel olarak, dilin durumu tanı, hastalık tanımlama ve tedavi etkisinin değerlendirilmesinde hayati bir rol oynar.
Aynı zamanda, farklı etnik gruplar arasındaki farklı yaşam koşulları ve diyet uygulamaları nedeniyle, dil görüntülerindeki farklılıklar belirgindir. Rengin belirlenmesi için uluslararası bir standart temelinde kurulan Laboratuvar modeli, 1931 yılında Uluslararası Ekler Komisyonu (CIE) tarafından formüle edilmiştir. 1976’da bir renk deseni değiştirildi ve adlandırıldı. Lab renk modeli üç öğeden oluşur: L parlaklığa karşılık gelirken, a ve b iki renk kanalıdır. a, koyu yeşilden (düşük parlaklık değeri) griye (orta parlaklık değeri) parlak pembeye (yüksek parlaklık değeri) kadar renkleri içerir; b, parlak maviden (düşük parlaklık değeri) griye (orta parlaklık değeri) sarıya (yüksek parlaklık değeri) geçer. Beş etnik grubun dil renginin L x a x b değerlerini karşılaştırarak, Yang ve ark.5 , Hmong, Hui, Zhuang, Han ve Moğol gruplarının dil görüntülerinin özelliklerinin birbirinden önemli ölçüde farklı olduğunu bulmuşlardır. Örneğin, Moğollar sarı dil kaplamalı koyu dillere sahipken, Hmong’un beyaz dil kaplamalı açık dilleri vardır, bu da dil özelliklerinin bir popülasyonun sağlık durumunu değerlendirmek için tanısal bir gösterge olarak kullanılabileceğini düşündürmektedir. Ayrıca, dil görüntüleri, etnik tıbbın klinik araştırmalarında kanıta dayalı tıp için bir değerlendirme indeksi olarak işlev görebilir. O ve ark.6 , TCM tanısı için bir temel olarak dil görüntülerini kullandılar ve Çin ve Batı tıbbı ile birlikte Chou-Ling-Dan peletlerinin (TCM’de mevsimsel grip de dahil olmak üzere enflamatuar ve ateşli hastalıkları tedavi etmek için kullanılan CLD granülleri) güvenliğini ve etkinliğini sistematik olarak değerlendirdiler. Sonuçlar, dil görüntülerinin klinik çalışmalar için bir değerlendirme indeksi olarak bilimsel geçerliliğini ortaya koymuştur. Bununla birlikte, geleneksel tıp pratisyenleri genellikle dil özelliklerini gözlemlemek ve hastaların fizyolojik ve patolojik durumlarını değerlendirmek için öznelliğe güvenir ve daha kesin göstergeler gerektirir.
İnternetin ve yapay zeka teknolojisinin ortaya çıkışı, dil teşhisinin dijitalleştirilmesinin ve nesneleştirilmesinin önünü açmıştır. Bu süreç, dil görüntüsünün içeriğini yansıtan dil görüntülerinin nitel ve nesnel bir tanımını sağlamak için matematiksel modellerin kullanılmasını içerir7. İşlem birkaç adım içerir: görüntü yakalama, optik telafisi, renk düzeltme ve geometrik dönüşüm. Önceden işlenmiş görüntüler daha sonra görüntü konumlandırma ve segmentasyon, özellik çıkarma, desen tanıma vb. İçin algoritmik bir modele beslenir. Bu işlemin çıktısı, dil görüntü verilerinin son derece verimli ve kesin bir teşhisidir, böylece dil teşhisinin nesnelleştirilmesi, nicelleştirilmesi ve bilgilendirilmesi hedefine ulaşılır8. Böylece dil tanı verilerinin yüksek verimlilik ve yüksek hassasiyetle işlenmesi amacına ulaşılmaktadır. Dil tanılama bilgisine ve derin öğrenme teknolojisine dayanan bu çalışma, doktorlar için dillerin nicel özelliklerini çıkarmak, tanının güvenilirliğini ve tutarlılığını artırmak ve sonraki dil tanısı nesneleştirme araştırmaları için yöntemler sağlamak amacıyla bir bilgisayar algoritması kullanarak dil gövdesini ve dil kaplamasını dil görüntülerinden otomatik olarak ayırmıştır9.
Protocol
Representative Results
Discussion
Yukarıda sunulan karşılaştırma sonuçlarına dayanarak, incelenen dört algoritmanın özelliklerinin çeşitli olduğu ve bunların belirgin avantaj ve dezavantajlarının aşağıda açıklandığı açıktır. Tam bir evrişim ağının modifikasyonuna ve genişlemesine dayanan U-Net yapısı, bir büzülme yolu ve simetrik bir genişleyen yol aracılığıyla bağlamsal bilgi ve kesin konumlandırma elde edebilir. Her piksel noktasını sınıflandırarak, bu algoritma daha yüksek bir segmentasyon doğruluğu e…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Bu çalışma, Çin Ulusal Doğa Vakfı (hibe no.82004504), Çin Bilim ve Teknoloji Bakanlığı Ulusal Anahtar Araştırma ve Geliştirme Programı (hibe no.2018YFC1707606), Sichuan Eyaleti Çin Tıbbı İdaresi (hibe no.2021MS199) ve Çin Ulusal Doğa Vakfı (hibe no.82174236) tarafından desteklenmiştir.
Materials
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
Riferimenti
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology – Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology – Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology – Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology – Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
