介绍了轨道计算机断层扫描(CT)图像的目标分割协议。解释了使用超分辨率标记轨道结构地面真相的方法,从CT图像中提取感兴趣的体积,以及使用2D顺序U-Net对轨道CT图像进行多标签分割建模的方法。
近年来,基于深度学习的分割模型在眼科领域得到了广泛的应用。本研究介绍了基于U-Net构建轨道计算机断层扫描(CT)分割模型的完整过程。对于监督学习,需要一个劳动密集型和耗时的过程。介绍了利用超分辨率标记以有效掩盖轨道CT图像的地面真相的方法。此外,作为数据集预处理的一部分,将裁剪感兴趣的卷。然后,在提取轨道结构的感兴趣体积后,利用U-Net构建用于分割轨道CT关键结构的模型,使用顺序2D切片作为输入,并有两个双向卷积长期短存储器以保持切片间的相关性。这项研究主要集中在眼球、视神经和眼外肌的分割上。对分割的评估揭示了使用深度学习方法将分割应用于轨道CT图像的潜在应用。
眼眶是一个约30.1 cm3 的小而复杂的空间,包含重要的结构,如眼球、神经、眼外肌、支撑组织以及用于视觉和眼球运动的血管1。眼眶肿瘤是眼眶内组织异常生长,其中一些威胁到患者的视力或眼球运动,可能导致致命的功能障碍。为了保护患者的视觉功能,临床医生必须根据肿瘤特征决定治疗方式,手术活检通常是不可避免的。这种紧凑而拥挤的区域通常使临床医生在不破坏正常结构的情况下进行活检具有挑战性。基于深度学习的病理学图像分析用于确定眼眶状况,有助于避免活检期间对眼眶组织造成不必要或可避免的损伤2。眼眶肿瘤图像分析的一种方法是肿瘤检测和分割。然而,由于发病率低,包含眼眶肿瘤的CT图像的大量数据收集受到限制3。计算肿瘤诊断的 另一种有效方法4涉及将肿瘤与眼眶的正常结构进行比较。正常结构中的眼眶CT图像数量相对大于肿瘤。因此,分割正常轨道结构是实现这一目标的第一步。
本研究介绍了基于深度学习的轨道结构分割的整个过程,包括数据收集、预处理和后续建模。该研究旨在为有兴趣使用当前方法有效生成掩蔽数据集的临床医生以及需要有关轨道CT图像预处理和建模信息的眼科医生提供资源。本文提出了一种基于U-Net代表性深度学习解决方案的顺序二维分割模型,用于医学图像分割,提出了一种轨道结构分割和顺序U-Net的新方法。该协议描述了轨道分割的详细过程,包括(1)如何使用掩蔽工具进行轨道结构分割的地面真相,(2)轨道图像预处理所需的步骤,以及(3)如何训练分割模型并评估分割性能。
对于监督学习,四位经验丰富的眼科医生已经获得了董事会认证超过 5 年,他们手动注释了眼球、视神经和眼外肌的面罩。所有眼科医生都使用掩蔽软件程序(MediLabel,见 材料表),该程序使用超分辨率在CT扫描上高效掩蔽。遮罩软件具有以下半自动功能:(1)SmartPencil,生成图像强度为5的超像素图簇;(2)SmartFill,通过计算正在进行的前景和背景6,7的能量函数来生成分割掩码;(3)自动校正,使分割蒙版的边框干净并与原始图像一致。半自动功能的示例图像如图 1 所示。协议部分(步骤 1)中提供了手动屏蔽的详细步骤。
下一步是轨道CT扫描的预处理。为了获得感兴趣的眼眶体积(VOI),确定了眼球,肌肉和神经在正常情况下所在的眼眶区域,并裁剪了这些区域。数据集具有高分辨率,面内体素分辨率和切片厚度为 <1 mm,因此跳过插值过程。相反,窗口剪辑是在 48 HU 剪辑级别和 400 HU 窗口进行的。裁剪和窗口裁剪后,为分割模型输入8生成轨道VOI的三个连续切片。协议部分(步骤 2)提供了有关预处理步骤的详细信息。
U-Net9 是一种广泛使用的医学图像分割模型。U-Net架构包括一个编码器和一个解码器,前者提取医学图像的特征,后者以语义方式呈现判别特征。当使用U-Net进行CT扫描时,卷积层由3D过滤器10,11组成。这是一个挑战,因为3D滤镜的计算需要很大的内存容量。为了减少3D U-Net的内存需求,提出了SEQ-UNET8,其中在U-Net中使用了一组顺序的2D切片。为了防止3D CT扫描的2D图像切片之间失去时空相关性,在基本U-Net中使用了两个双向卷积长期短记忆(C-LSTM)12 。第一个双向C-LSTM提取编码器末端的切片间相关性。第二个双向C-LSTM在解码器输出后,将切片序列维度中的语义分割信息转换为单个图像分割。SEQ-UNET 的架构如图 2 所示。实现代码可在 github.com/SleepyChild1005/OrbitSeg 中找到,协议部分(步骤 3)中详细介绍了代码的用法。
基于深度学习的医学图像分析广泛应用于疾病检测。在眼科领域,检测和分割模型用于糖尿病视网膜病变、青光眼、年龄相关性黄斑变性和早产儿视网膜病变。然而,除了眼科之外,其他罕见疾病尚未得到研究,因为对用于深度学习分析的大型开放公共数据集的访问有限。在没有公共数据集可用的情况下应用此方法时,屏蔽步骤是不可避免的,这是一项劳动密集型且耗时的任务。然而,建议的掩蔽步骤(协议部分,步骤1)有助于在短时间内生成高精度的掩蔽。使用超级像素和基于神经网络的填充(对低级图像属性相似的像素进行聚类),临床医生可以通过单击像素组而不是指出特定像素来标记遮罩。此外,自动校正功能有助于优化掩模过程。这种方法的效率和有效性将有助于在医学研究中生成更多的蒙版图像。
在预处理的众多可能性中,提取VOI和窗口剪切是有效的方法。在这里,提取VOI和窗口剪辑在协议的步骤2中介绍。当临床医生准备数据集时,从给定数据集中提取VOI是该过程中最重要的一步,因为大多数分割病例都集中在整个医学图像中的小区域和特定区域。关于 VOI,眼球、视神经和眼外肌的区域根据位置进行裁剪,但提取 VOI 的更有效方法有可能提高分割性能14。
对于细分,SEQ-UNET用于研究。3D医学图像体积大,因此深度神经网络模型需要大内存容量。在SEQ-UNET中,分段模型是用少量切片实现的,以减少所需的内存大小,而不会丢失3D信息的特征。
该模型使用 46 个 VOI 进行训练,这对于模型训练来说并不是一个很大的数字。由于训练数据集数量少,视神经和眼外肌分割的性能受到限制。迁移学习15 和域自适应8 可以为提高分割性能提供解决方案。
这里介绍的整个分割过程不仅限于眼眶CT分割。高效的标记方法有助于在应用领域对研究领域唯一时创建新的医学图像数据集。GitHub 关于预处理和分割建模的 python 代码可以通过修改裁剪区域、窗口裁剪级别和模型超参数(例如顺序切片的数量、U-Net 架构等)应用于其他领域。
The authors have nothing to disclose.
这项工作得到了韩国国家研究基金会(NRF)的支持,该基金会由韩国科学和信息通信技术部(MSIT)资助(编号:2020R1C1C1010079)。对于CMC-ORBIT数据集,天主教医学中心的中央机构审查委员会(IRB)提供了批准(XC19REGI0076)。这项工作得到了2022年弘益大学研究基金的支持。
GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
SEQ-UNET | downloadable from GitHub | ||
SmartFil | wizard in MediLabel | ||
SmartPencil | wizard in MediLabel |