基于Swin变压器的超声图像甲状腺结节检测模型
Summary
该文提出一种超声图像甲状腺结节检测新模型，以Swin变压器为骨干进行远程上下文建模。实验证明，它在灵敏度和准确性方面表现良好。
Abstract
近年来，甲状腺癌的发病率一直在上升。甲状腺结节检测对于甲状腺癌的检测和治疗至关重要。卷积神经网络（CNN）在甲状腺超声图像分析任务中取得了良好的效果。然而，由于卷积层的有效感受野有限，CNN无法捕获长程上下文依赖性，这对于识别超声图像中的甲状腺结节非常重要。变压器网络在捕获远程上下文信息方面非常有效。受此启发，我们提出了一种新的甲状腺结节检测方法，该方法结合了Swin变压器骨架和更快的R-CNN。具体来说，超声图像首先被投影到一维嵌入序列中，然后将其馈送到分层的Swin变压器中。
Swin变压器主干网通过利用偏移窗口计算自我注意来提取五种不同尺度的特征。随后，使用特征金字塔网络（FPN）对不同尺度的特征进行融合。最后，使用检测头来预测边界框和相应的置信度分数。从2，680名患者收集的数据用于进行实验，结果表明该方法获得了44.8%的最佳mAP评分，优于基于CNN的基线。此外，我们获得了比竞争对手更好的灵敏度（90.5%）。这表明该模型中的上下文建模对甲状腺结节检测有效。
Introduction
自1970年以来，甲状腺癌的发病率迅速增加，特别是在中年妇女中1。甲状腺结节可能预示甲状腺癌的出现，大多数甲状腺结节无症状2.早期发现甲状腺结节对治愈甲状腺癌很有帮助。因此，根据现行实践指南，所有体格检查疑似结节性甲状腺肿或影像学检查结果异常的患者均应进一步检查3，4。
甲状腺超声（US）是用于检测和表征甲状腺病变的常用方法5，6。美国是一种方便、廉价且无辐射的技术。但是，美国的应用很容易受到运营商7，8的影响。甲状腺结节的形状、大小、回声度和质地等特征在美国图像上很容易区分。尽管某些 US 特征（钙化、回声和边界不规则）通常被认为是识别甲状腺结节的标准，但观察者间变异性的存在是不可避免的8，9。不同经验水平的放射科医生的诊断结果是不同的。没有经验的放射科医生比有经验的放射科医生更容易误诊。US 的某些特征（如反射、阴影和回波）会降低图像质量。由于美国成像的性质，图像质量的下降使得即使是经验丰富的医生也很难准确定位结节。
甲状腺结节的计算机辅助诊断（CAD）近年来发展迅速，可以有效减少不同医生造成的错误，帮助放射科医生快速准确地诊断结节10，11。已经提出了各种基于CNN的CAD系统用于甲状腺US结节分析，包括分割12，13，检测14，15和分类16，17。CNN是一个多层的监督学习模型18，CNN的核心模块是卷积层和池化层。卷积层用于特征提取，池化层用于缩减采样。阴影卷积层可以提取纹理、边缘和轮廓等主要特征，而深度卷积层可以学习高级语义特征。
CNN在计算机视觉19，20，21方面取得了巨大的成功。然而，由于卷积层的有效感受野有限，CNN无法捕获长期上下文依赖关系。过去，用于图像分类的骨干架构大多使用CNN。随着视觉变压器（ViT）22，23的出现，这一趋势发生了变化，现在许多最先进的型号都使用变压器作为骨干。基于非重叠的图像块，ViT使用标准变压器编码器25对空间关系进行全局建模。Swin Transformer24 进一步引入了换档窗口来学习功能。移位窗口不仅带来了更高的效率，而且大大减少了序列的长度，因为自我注意力是在窗口中计算的。同时，两个相邻窗口之间的交互可以通过移位（移动）的操作进行。Swin变压器在计算机视觉中的成功应用导致了对基于变压器的超声图像分析架构的研究26。
最近，Li等人提出了一种深度学习方法28 ，用于甲状腺状癌检测，其灵感来自Faster R-CNN27。更快的 R-CNN 是一种经典的基于 CNN 的对象检测架构。最初的Faster R-CNN有四个模块 – CNN骨干网，区域建议网络（RPN），ROI池层和检测头。CNN 主干网使用一组基本的 conv+bn+relu+pooling 层从输入图像中提取特征图。然后，特征图被馈送到 RPN 和 ROI 池层。RPN 网络的作用是生成区域提案。此模块使用 softmax 来确定定位点是否为正，并通过边界框回归生成准确的定位点。ROI 池化层通过收集输入的特征图和提案来提取提案特征图，并将提案特征图馈送到后续的检测头中。检测头利用建议特征图对物体进行分类，通过边界框回归获得检测箱的准确位置。
本文提出了一种新的甲状腺结节检测网络Swin Faster R-CNN，该网络是通过用Swin变压器替换Faster R-CNN中的CNN骨干而形成的，从而更好地从超声图像中提取结节检测的特征。此外，利用特征金字塔网络（FPN）29 ，通过聚合不同尺度的特征，提高模型对不同尺寸结核的检测性能。
Protocol
Representative Results
Discussion
本文详细介绍了如何进行环境设置、数据准备、模型配置和网络训练。在环境设置阶段，需要注意确保依赖库兼容和匹配。数据处理是非常重要的一步;必须花费时间和精力来确保注释的准确性。训练模型时，可能会遇到“ModuleNotFoundError”。在这种情况下，有必要使用“pip install”命令来安装缺少的库。如果验证集的损失没有减少或振荡很大，则应检查注释文件并尝试调整学习率和批量大小以使损…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
本研究得到了国家自然科学基金（批准号：32101188）和四川省科技厅科技厅重点项目（批准号：2021YFS0102）的支持。
Materials
| GPU RTX3090 | Nvidia | 1 | 24G GPU |
| mmdetection2.11.0 | SenseTime | 4 | https://github.com/open-mmlab/mmdetection.git |
| python3.8 | — | 2 | https://www.python.org |
| pytorch1.7.1 | 3 | https://pytorch.org |
Riferimenti
- Grant, E. G., et al. Thyroid ultrasound reporting lexicon: White paper of the ACR Thyroid Imaging, Reporting and Data System (TIRADS) committee. Journal of the American College of Radiology. 12 (12 Pt A), 1272-1279 (2015).
- Zhao, J., Zheng, W., Zhang, L., Tian, H. Segmentation of ultrasound images of thyroid nodule for assisting fine needle aspiration cytology. Health Information Science and Systems. 1, 5 (2013).
- Haugen, B. R. American Thyroid Association management guidelines for adult patients with thyroid nodules and differentiated thyroid cancer: What is new and what has changed. Cancer. 123 (3), 372-381 (2017).
- Shin, J. H., et al. Ultrasonography diagnosis and imaging-based management of thyroid nodules: Revised Korean Society of Thyroid Radiology consensus statement and recommendations. Korean Journal of Radiology. 17 (3), 370-395 (2016).
- Horvath, E., et al. An ultrasonogram reporting system for thyroid nodules stratifying cancer risk for clinical management. The Journal of Clinical Endocrinology & Metabolism. 94 (5), 1748-1751 (2009).
- Park, J. -. Y., et al. A proposal for a thyroid imaging reporting and data system for ultrasound features of thyroid carcinoma. Thyroid. 19 (11), 1257-1264 (2009).
- Moon, W. -. J., et al. Benign and malignant thyroid nodules: US differentiation-Multicenter retrospective study. Radiology. 247 (3), 762-770 (2008).
- Park, C. S., et al. Observer variability in the sonographic evaluation of thyroid nodules. Journal of Clinical Ultrasound. 38 (6), 287-293 (2010).
- Kim, S. H., et al. Observer variability and the performance between faculties and residents: US criteria for benign and malignant thyroid nodules. Korean Journal of Radiology. 11 (2), 149-155 (2010).
- Choi, Y. J., et al. A computer-aided diagnosis system using artificial intelligence for the diagnosis and characterization of thyroid nodules on ultrasound: initial clinical assessment. Thyroid. 27 (4), 546-552 (2017).
- Chang, T. -. C. The role of computer-aided detection and diagnosis system in the differential diagnosis of thyroid lesions in ultrasonography. Journal of Medical Ultrasound. 23 (4), 177-184 (2015).
- Li, X. Fully convolutional networks for ultrasound image segmentation of thyroid nodules. , 886-890 (2018).
- Nguyen, D. T., Choi, J., Park, K. R. Thyroid nodule segmentation in ultrasound image based on information fusion of suggestion and enhancement networks. Mathematics. 10 (19), 3484 (2022).
- Ma, J., Wu, F., Jiang, T. A., Zhu, J., Kong, D. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images. Medical Physics. 44 (5), 1678-1691 (2017).
- Song, W., et al. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics. 23 (3), 1215-1224 (2018).
- Wang, J., et al. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images. , 3114-3118 (2018).
- Wang, L., et al. A multi-scale densely connected convolutional neural network for automated thyroid nodule classification. Frontiers in Neuroscience. 16, 878718 (2022).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Communications of the ACM. 60 (6), 84-90 (2017).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 770-778 (2016).
- Hu, H., Gu, J., Zhang, Z., Dai, J., Wei, Y. Relation networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 3588-3597 (2018).
- Szegedy, C., et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 1-9 (2015).
- Dosovitskiy, A., et al. An image is worth 16×16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. , (2020).
- Touvron, H., et al. Training data-efficient image transformers & distillation through attention. arXiv:2012.12877. , (2021).
- Liu, Z., et al. Swin Transformer: Hierarchical vision transformer using shifted windows. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). , 9992-10002 (2021).
- Vaswani, A., et al. Attention is all you need. Advances in Neural Information Processing Systems. 30, (2017).
- Chen, J., et al. TransUNet: Transformers make strong encoders for medical image segmentation. arXiv. arXiv:2102.04306. , (2021).
- Ren, S., He, K., Girshick, R., Sun, J. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems. 28, 91-99 (2015).
- Li, H., et al. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports. 8, 6600 (2018).
- Lin, T. -. Y., et al. Feature pyramid networks for object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. , 2117-2125 (2017).
- Ouahabi, A. A review of wavelet denoising in medical imaging. 2013 8th International Workshop on Systems, Signal Processing and their Applications. , 19-26 (2013).
- Mahdaoui, A. E., Ouahabi, A., Moulay, M. S. Image denoising using a compressive sensing approach based on regularization constraints. Sensors. 22 (6), 2199 (2022).
- Castleman, K. R. . Digital Image Processing. , (1996).
- Liu, W., et al. Ssd: Single shot multibox detector. European Conference on Computer Vision. , 21-37 (2016).
- Redmon, J., Farhadi, A. Yolov3: An incremental improvement. arXiv. arXiv:1804.02767. , (2018).
- Lin, T. -. Y., Goyal, P., Girshick, R., He, K., Dollár, P. Focalloss for dense object detection. arXiv. arXiv:1708.02002. , (2017).
- Carion, N., et al. End-to-end object detection with transformers. Computer Vision-ECCV 2020: 16th European Conference. , 23-28 (2020).
