基于深度学习的3DMRI脑肿瘤分割算法研究论文

2020年10月13日11:36:24基于深度学习的3DMRI脑肿瘤分割算法研究论文已关闭评论

基于深度学习的3DMRI脑肿瘤分割算法研究论文

摘要

脑胶质瘤是最常见的原发性脑恶性肿瘤,具有很高的侵袭性和各种不同的组 织学亚区域,从多模态磁共振扫描图像中分割脑肿瘤区域,有助于对患者进行早 期异常诊断,预后监测和治疗评估。由于脑胶质瘤本身固有的高异质性,在多模 态MRI图像上体现出具有高度的非均匀性和不规则形状,因此对脑肿瘤进行精 准可靠的分割依然是是医学图像分析中一项具有挑战性的工作。近年来,深度学 习在脑肿瘤分割领域表现出了很好的性能效果。但基于深度学习的分割方法需要 大规模的标注数据,而脑肿瘤数据一般数据规模小且单例数据复杂,脑肿瘤本身 固有的高度异质性,会导致肿瘤区域的子区域之间存在类内差异以及肿瘤区域和 非肿瘤区域之间的类间差异。因此,使用深度卷积网络模型对数据进行建模时需 要从两个方面考虑,(1)输入网络的数据块尺寸要尽可能大,以期单个样本的样 本数据块能更全面的代表数据的分布。(2)脑肿瘤数据的复杂性,就需要拟合能 力更强的卷积模型对其进行建模,增加网络对数据的理解能力,更好的完成像素 级分割的任务。但是,实践中往往受限于物理计算资源的限制,在使用深度卷积 神经网络对脑肿瘤数据进行建模时,需要在输入数据尺寸和网络复杂度之间寻求 一个平衡点。基于此,设计一个轻量级且表达能力强的深度卷积完成脑肿瘤分割 任务,成为本文的研究动机。针对这个问题,本文从不同的空间维度探索设计, 用于脑肿瘤分割的网络架构,提出了融合了多种注意力机制和特征融合机制网络 结构(Brain Tumor Attention Network)BT2Net,在 BraTS19 数据集中的得分为, 0.8931, 0.7936, 0.706的分割性能。为了弥补空间损失,本文又在此基础上提出 了融合注意力机制的(3DBrain Tumor Attention Network) 3DBT2Net,在 3D 网络结 构中,为了解决卷积层数较浅,感受野较小的问题,本文在数据输入切分时避免随 机将数据切分小块,而是根据先验知识对数据进行有针对性的切分,加入全局平 均池化层增加网络对数据全局语义信息的理解,在不显著增加内存的情况下,增 加注意力机制模块可以加快网络的收敛速度,通过是设计带有类内和类间权重的 Loss函数,改善多个目标区域之间面积不均衡对训练造成的影响,在BraTsl9数 据集上测试的数据显示,我们的方法在检测数据集上分别得到增强肿瘤、全肿瘤 和肿瘤核心的Dice分数分别为0.70、0.85和0.80。

关键词:脑肿瘤分割,深度学习,卷积网络,注意力机制

Abstract

Glioma is the most common primary brain malignant tumor, with high invasiveness and various histological sub-regions. Segmenting the brain tumor area from the multimodal magnetic resonance scan image can help patients Perform early abnormal diagnosis, prognosis monitoring and treatment evaluation. Due to the inherent high heterogeneity of gliomas, brain tumors are highly heterogeneous and irregular in multimodal MRI images. Therefore, accurate and reliable segmentation of brain tumors remains a challenging task in medical image analysis. In recent years, deep learning has shown good performance in the field of brain tumor segmentation. However, the deep learning-based segmentation method requires large-scale annotation data, and brain tumor data is generally small in size and complex in single-case data. The inherent high heterogeneity of brain tumors itself will cause intra-subclass regions between tumor regions Differences and inter-class differences between tumor areas and non-tumor areas. Therefore, the use of deep convolutional network models to model data needs to be considered from two aspects: (1) The size of the data block input to the network should be as large as possible, in order that the sample data block of a single sample can more fully represent the distribution of data . (2) The complexity of brain tumor data requires a more powerful convolution model to model it, increase the network's ability to understand the data, and better complete the task of pixellevel segmentation. However, in practice, it is often limited by physical computing resources. When using deep convolutional neural networks to model brain tumor data, it is necessary to find a balance between input data size and network complexity. Based on this, designing a lightweight and strong expressive deep convolution to complete the brain tumor segmentation task has become the research motivation of this paper. In response to this problem, this paper explores and designs network architectures for brain tumor segmentation from different spatial dimensions, and proposes a network structure (Brain Tumor Attention Network) BT2Net that combines multiple attention mechanisms and feature fusion mechanisms. In the BraTS19 data set The scores are 0.8931, 0.7936, and

0.706. In order to make up for the loss of space, this paper also proposes the (3DBrain Tumor Attention Network) 3DBT2Net fused attention mechanism. In the 3D network structure, in order to solve the problem of shallower convolutional layers and smaller experience fields, this article Avoid splitting data into small pieces randomly when inputting data. Instead, divide the data according to prior knowledge, and add a global average pooling layer to increase the network's understanding of the global semantic information of the data, without significantly increasing In the case of memory, increasing the attention mechanism module can accelerate the convergence rate of the network. By designing the Loss function with intra-class and inter-class weights, the effect of area imbalance between multiple target areas on training is improved. In BraTsl9 The data tested on the data set shows that our method obtains Dice scores of 0.70,0.85, and 0.80 for the enhanced tumor, the whole tumor, and the tumor core on the detection data set, respectively.

Key Words: Brain tumor segmentation, deep learning, convolutional network, attention mechanism

1章引言

本章首先介绍了选题的研究背景和意义,然后介绍了在不同空间维度空间使用 深度学习对脑胶质瘤分害啲研究探索。紧接着介绍了本论文所提出方法的研究内容, 即通过在2D深度卷积网络的不同位置融合不同的注意力机制模块和特征融合模块, 寻找最优分割算法,然后在兼顾硬件环境和不损失MRI数据多模态多维度空间信 息的条件下,将深度卷积模型设计为简洁高效的使用BT2Net对脑肿瘤进行分割, 针对3D深度卷积网络结构浅,感受野较小,全局语义信息缺失造成分割性能下降 的问题,本文采取了融合简洁的注意力机制模块和全局平均池化层进行改善,在进 行数据切分时根据先验知识对数据进行有针对性的切分,很好的解决了 ROI区域和 非ROI区域数据不均衡导致分割性能下降的问题。SOTA性能的分割模型往往需要 大量精准注释的优良数据,经过专业医师精准注释的医学数据往往非常难获取,且 成本较高,但未经过专业注释的数据相对容易获取。本文在最后也对基于深度学习 模型围绕脑胶质瘤临床需求对弱监督学习和生存期预测谈论自己的看法。

1.1研究背景及意义

脑胶质瘤是指始于神经胶质细胞的肿瘤,是最常见的原发性脑恶性肿瘤,可以 出现在脑的任何部位和任何年龄段的人群中,具有不同程度的侵袭性和各种不同的 组织学亚区域 即瘤周水月中区,核匚、坏死区,包含增强核心区和非增强核心区肿瘤 核心区。人类专家将每个分割图分为三类,即整个肿瘤(包括所有四个肿瘤类别)、 肿瘤核心(包括除水肿外的所有肿瘤类别)和活性肿瘤(仅含活性核3屮]。根据美国 脑肿瘤注册中心调查先显示脑胶质瘤约占中枢神经系统肿瘤的27%,占恶性肿瘤的 比例约为81%[3]。根据美国肿瘤协会最新统计发现,2019年将近80,000人被诊断 患有原发性脑肿瘤,将有近16,000人死于脑瘤。约三分之一(32%)的脑和中枢 神经系统(CNS)肿瘤是恶性的。目前,在美国约有28,000名儿童正在与脑 瘤作斗争,有超过70万美国人患有脑瘤。在我国脑胶质瘤(brain glioma)的 年发病率为5-8/10万,5年发病死率仅次于胰腺癌和肺癌[4]。根据其组织病 理学表现,世界卫生组织(WHO)中枢神经系统肿瘤分类将脑胶质瘤分为1・ IV 级[5]:

  • I级神经胶质瘤包括毛细胞星形细胞瘤,多见于儿童。
  • II级肿瘤是弥漫性星形细胞瘤,是低级肿瘤。
  • III级脑胶质瘤弥漫性,称为间变性星形细胞瘤。他们被认为是高等级的。
  • IV级 胶质母细胞瘤被认为是高等级的。

I、II级为低级别脑胶质瘤,在儿童和年轻人中比较常见,III、IV级为高级别 脑胶质瘤,在老年人中更为常见。其中胶质母细胞瘤(GBM)是最常见的成人原发 性颅内肿瘤,占所有颅内肿瘤的15%至20%和所有星形细胞瘤的约50%0根据 中国脑肿瘤多中心横断面研究[1],所有人群的原发性脑肿瘤年龄标准化患病率 为22.52/百万,在20・59岁的人群中,脑胶质瘤占31.1%。根据中国神经胶质瘤 基因组图谱(CGGA)的统计数据,恶性神经胶质瘤的预后较差,低度神经胶质 瘤(WHO II级)的平均总生存时间(OS)为78.1个月,间变性神经胶质瘤为 37.6个月,GBMs为14.4个月。对于低度神经胶质瘤,6个月,1年,3年和5 年OS率分别为99%, 94%, 79%和67%。间变性胶质瘤分别为88%, 75%, 51 %和36%;对于GBM,分别为87%, 61%, 15%和9%[2]。目前,脑胶质瘤 的发病机制还不明了,饮食中的N■亚硝基化合物可能会影响儿童和成人脑瘤的 风险[6],病毒细菌的感染也会加速脑胶质瘤的形成[9][10], 1另外,暴露在强电 离辐射[7][8]和与罕见综合征相关的高外显率基因遗传突变被认为是两个诱发脑 胶质瘤的重要因素,这些不确定因素给脑胶质瘤的预防带来了挑战。因此,对胶 质瘤患者进行及时的早期诊断,制定合理的个体化治疗方案对提高患者的生存率 至关重要。在实际的临床实践中,包括计算机断层扫描(CT)、正电子发射断层扫 描(PET)以及核磁共振成像(MRI)在内的医学成像技术,已经应用于对脑胶质瘤的 非侵入性评估,计算机断层扫描(CT)扫描可显示肿瘤及其相关发现;但是,在 诊断神经胶质瘤时,与磁共振成像(MRI)相比,CT扫描不够灵敏,可能会遗 漏小的肿瘤。MRI或造影剂增强MRI由于其在软组织中的敏感性和出色的图像 对比度,对肿瘤的存在及其比例和位置更加敏感,可以更清楚的反应出人体软组 织解剖结构,已成为大脑诊断和治疗计划的首选医学成像方式。常见的MRI模 态通常包括T1加权成像(Tl), T2加权成像(T2),流体衰减反转恢复(FLAIR) 成像和对比度增强的T1加权(CET1)成像如图(1・1)。

1.1脑肿瘤数据的四种模态

放射科医师根据各种MRI的特征对神经胶质瘤进行综合诊断。然而,由于脑胶 质瘤本身固有的空间异质性,且呈浸润性生长,肿瘤内部可能发生复杂的病理变 化,导致脑肿瘤MRI图像的灰度、形状、纹理及组织学特征等发生变化,使具 有多种模态的脑胶质瘤MRI图像呈现出多样性和复杂性,这使得放射科医生和 其他临床医生难以识别和分割脑肿瘤。手动脑胶质瘤分割需要很专业的先验知识, 耗时耗力,而且容易发生错误,这很依赖于医生的经验。一些半自动分割方法操 作复杂,很难应用于实际临床诊断,因此,开发准确可靠且全自动的脑肿瘤分割 算法,具有很强的临床意义。虽然MRI可以很好的表现脑神经软组织解剖结构 和病灶影像,但由于MRI图像分辨率差,对比度低,灰度不均匀,部分容积效 应,伪影,部分软组织结构灰度值相近,不同成像设备之间的成像差异以及扫描 过程中产生的成效噪声等问题都会对精准的自动分割带来挑战,以上部分限制可 以通过实施参考文献中提出的一些简单方法来解决。肿瘤的位置,大小形状,以 及不同个体的生理环境对病灶产生的差异也不同等因素,造成的高度异质性外观 使得难以制定有效的分割规则,因此,模态脑胶质瘤自动分割仍然是医学图像分 析中具有挑战性的任务之一。

1.2国内外研究现状

近年来,随着算法,算力,以及数据规模的提升,以深度学习为代表的机器 学习算法开始在包括目标检测,识别,分类,分割以及场景理解等在内的计算机 视觉研究领域取得了巨大进展。以图像分类为例,在使用机器学习算法对图像任 务进行数据建模时,传统的机器学习算法,首先对输入数据进行特征工程处理, 对特征进行手工提取和选择,然后通过设计和训练分类器完成图像的分类任务。 与传统机器学习算法不同的是,深度学习模型利用反向传播算法对网络进行参数优化更新,可以自动的对特征进行筛选和分类器的学习在进行特征工程处理时, 特征的构建,提取和筛选需要人为的先验知识,其中每一步都会影响模型的整体 性能,而深度学习模型在对图像任务进行建模时,可以看作是对模型的隐式自动 优化求解,整个学习过程可以是一个端到端的过程,受干扰因素较少。深度卷积 神经网络可以结合图像数据的特点和图像任务,逐层提取特征,逐渐获得网络输 入数据的语义信息,建立像素到语义节点的映射,以及语义节点间的关系,最后 实现对语义信息的理解实现特定的图像任务。实践证明,深度卷积神经网络模型 在自然图像和医学图像分割领域的表现要优于传统机器学习方法,以及基于传统 图像处理的分割方法。基于此,本文接下来将介绍使用深度学习方法在脑肿瘤分 割领域的国内外研究进展。

1.2.1基于传统图像处理的脑肿瘤分割算法

这一小节本文将简要介绍基于传统图像处理的脑肿瘤分割算法,主要方法 有:

基于阈值的方法。基于阈值的图像分割是图像处理中最简单、最传统的方法 之通过将一个像素值强度与其他一个或多个阈值相比较进行分割,所有值大 于阈值的像素被分类为前景像素,所有值小于阈值的像素被分类为背景像素。最 常用的阈值分割算法有全局阈值分割法、局部阈值分割法和自适应阈值分割法。 如果输入的MR图像包含强度相似的目标或者目标与背景的对比度较高,则采用 全局阈值分割方法。当为整个图像选择单个阈值时,它称为全局阈值。这是对图 像进行阈值处理的最直观的方法。[17]中Sung等提出使用数据先验的先验信息对 阈值进行估计。在标准化的T2加权MRI中,Stadlbauer等人提出[18]使用数据正 态分布统计的方法得到阈值,正常脑组织的边界阈值为均值加三倍标准差。在此 阈值的基础上,计算出可定义为病理组织的面积。基于各区域像素强度的变化, 提出了一种自适应阈值分割方法,将合适的前景图像目标从背景中分离出来。但 是这种方法的局限性在于,不能很好的抵抗数据中含有的噪声,鲁棒性比较低。 针对两个或两个以上组织结构重叠时阈值分割可能失败的问题,Gibbs等[19]提出 了一种非监督的tl加权后对比度图像增强肿瘤像素的分割方法。该系统首先利 用图像直方图对人工选取的感兴趣区域进行灰度阈值处理,得到与周围环境灰度 不同的分割图像对象。由于人工选择感兴趣区域的要求,该方法的一个更严重的 缺点是不能有效地考虑T1后对比度图像中代表正常结构的超强像素的存在。当

梯度效应对所选子图像尺寸影响较小时,可以有效地进行局部阈值分割。

区域增长(也称为区域合并)是一种提取图像连通区域的方法,在这种方法中, 每个像素被分配给一个特定的物体或区域,它需要一个与所感兴趣的对象相对应 的种子点。种子点可以由人工手动选择,也可以用种子发现算法初始化。然后, 利用区域生长规则检查所有相邻像素,如果它们的强度足够相关,它们被添加到 生长区域。重复这个过程,直到没有更多的像素可以添加至性长区域。它不需要 任何先验的形状知识,因此可以在形状变化的任何对象上实现。但是,该方法对 种子初始化和噪声敏感。对于相邻区域共享相似强度和不平滑变化区域(如纹理 图像)的图像,效果不佳。它可以应用于受光照变化影响的图像,但是只能在经 过适当的预处理之后才能应用[20]。针对这一问题,[21]通过使用梯度信息来识别 边界可以通过引入MRGM的方法进行了改善。[22]使用种子区域增长算法根据阈 值T2和PD图像的生成来处理脑MRI图像,然后通过马尔可夫逻辑算法对其进 行进一步处理,进而提高分割性能。

基于图谱的分割方法。Zollei等人[24]提出了基于图谱的分割方法,该方法分 析了大脑子结构的形态学差异。Cuadra等人[23]提出了自适应模板调节空间变化 的分类分割算法,用于病变分割,其中仿射变换图像应用于图谱图像,以便能够 全局匹配病灶区域。Zhou和Bai[25]提出了一种结合图谱配准、模糊连接和参数 偏差场校正的全自动脑MRI图像分割框架。使用模糊连通性的主要优点是它同 时考虑了两个体素之间的空间邻接程度、强度邻接程度和强度梯度邻接程度。

基于可变模型的分割方法。可变莫模型的方法主要包括,水平集方法、动态 轮廓以及多动态轮廓方法。这类方法可以用来分割边界不足的区域,如边缘缺失、 感兴趣区域和背景之间缺乏纹理对比度等。Prastawa等人[26]提出的水平集方法是 用来在分割的最后阶段达到平滑分割结果的效果。使用水平集表示的优点是,由 于曲线,曲面是间接表示的,拓扑变化是自然可以实现的。参数活动轮廓模型, 也称为蛇型模型,最初是由Kass, Witkin和Terzopoulois[27]基于梯度下降法给出 的。动态轮廓是简单连接的闭合曲线,通过将可变形模型与图像曲线相匹配来跟 踪边界,并受权重(外部和内部力)的影响,以使定义的能量函数最小化。动态轮 廓初始化必须为为所需轮廓,否则,它可能会发现远离轮廓的局部最小值[28]。在 [29][30]中,Cohen通过引入对偶活动轮廓模型使动态轮廓从内测和外侧接近所需 轮廓,改善对全局最小值的检测。

基于机器学习的脑肿瘤分割方法主要可以分为监督学习和无监督学习两大类,

KNN、ANN、贝叶斯分类等可归为监督学习的范围,另外无监督分割主要包含一 些聚类的方法,如K-means[34], SVM, FCM(W® C iW)[35][36],马尔可夫随 机场卩7],EM[38]等。Cocosco等人[31]提出了_种基于非参数knn的分类方法, 这种方法对成像伪影和先生图像质量的可变性更有鲁棒性。这种方法对MRI图像 的强度分布敏感。Clarke [32]等人首次使用人工神经网络(ANN)技术对MR图像 中脑肿瘤分割。人工神经网络是一种自适应的数据分类方法,不需要任何规则。 它们在多变量的、非线性的和有噪声的领域表现良好。使用人工神经网络的主要 优点是它们不依赖于任何关于底层概率密度函数的假设。在3Dslice集成的脑肿瘤 分割算法中,贝叶斯分类器被用于期望最大化(EM)分割方法[33]。k・Means算法虽 然简单且计算效率高,但即使经过大量迭代,也可能无法给出最佳值。确定群集 的实际数量需要有关图像的先验知识。如果选择的簇数与实际簇数相同,则k- means算法将给出正确的分割;否贝!J,结果将是错误的。Ahmed和Mohamad|39] 结合Perona和Malik[40啲各向异性扩散模型进行图像增强,并用k均值聚类对不 同的组织和肿瘤进行分类,并观察到了可靠的结果。为了解决集群中心初始化的 弊端,Dhanachandra等人提出。[41]已经实现了将减法聚类用于k均值算法的初始 化。伴随着部分拉伸增强的预处理步骤和中值滤波的后处理步骤以去除不希望的 区域,最终导致改进的分割质量。FCM(模糊C均值)聚类算法由Bezdek在1993 年提出[42]。标准FCM算法的主要缺点是它使用了非鲁棒的欧几里得距离,并且 对噪声敏感。艾哈迈德(Ahmed)等人。重新设计了包含空间上下文信息的标准 FCM算法[43],此方法是使用修改后的目标函数补偿强度不均匀性,并确认受其相 邻像素影响的像素标签。但是,它在每次迭代时都要计算邻域项,这会花费很多 时间。为了克服这个问题,通过引入均值和中值滤波[44],提高了对异常值和噪声 的鲁棒性。

1.2.2基于深度学习的脑肿瘤分割方法

卷积神经网络(CNNs)最初是在1998年由LeCun提出[54],用于手写字体 识别,但由于计算资源以及数据规模的限制,使用卷积网络对图像数据建模帮 助计算机更好的完成视觉任务仍然没有的到大规模流行。直到在2012年的 ImageNet大规模视觉识别挑战赛(ILSVRC)中,由Krizhevsky等设计的 AlexNet刷新了比赛记录,才改变了上述状况。得益于计算资源和数据规模的 大幅度提升,AlexNet网络相比于LeNet网络,具有更深的卷积层数和更多的

1・2基于深度学的语义分割网络卷积通道。卷积规模的提升可以使卷积神经网络提取到到更多、更复杂的高纬 数据特征,这些多维的高级和低级的图像特征可以很好的帮助网络学习理解 数据,在AlexNet中首次使用了 Relu激活函数替代sigmoid函数,缓解了随 着卷积层数的增加造成的梯度弥散问题,减少了计算量。采用最大池化层代替 平均池化,减少特征模糊化,最大程度的保留了空间邻域像素之间的关系值。 随着卷积层数的加深,加大了网络的你和能力,防止过拟合的的训练策略也首 次被提出,作者在训练AlexNet的过程,使用数据增强和Dropoutd的策略避 免数据过拟合,为以后的深度卷积神经网络提供了借鉴。随后,通过设计表达 能力更强的网络结构来表达图像数据的内在特征,以完成特定的视觉任务,成 为了计算机视觉研究人员重点关注的热点领域,随后卷积神经网络朝着更深 更宽的方向发展,出现了 VGGNet, GoogleNet, InceptionNet, ResNet, DensNet 等为代表的深度卷积网络结构,极大的促使了包括目标检测[49][50][51],语义 分割[52][53],图像识别[45][46][47][48]等在内的计算及视觉任务的性能。

就其本质而言,许多手工设计的特征利用了非常普通的边缘相关信息,对 脑肿瘤领域没有特定的适应性。理想情况下,人们希望具有组合和细化为更 高级别、适应任务的表示的特性。目前,深度卷积神经网络可以可以自适应的 提取多个级别的特征,可以更充分的挖掘利用MRI数据包含的信息完成脑肿 瘤分割任务。使用深度学习进行脑肿瘤分割已经成为了 一个研究热点和趋势。
从给定的包含脑肿瘤MRI图像中提取一个或多个感兴趣的目标区域,在机器 学习中可以称之为语义单元,将这些语义单元提取出来的过程也是对像\体素 点进行逐点分类的过程,称之为语义分割。所以脑肿瘤的分割和用于自然图像 语义分割的网络既有相似之处又有区别,有区别的地方是要考虑MRI图像的 复杂性。目前,整体大致可以分为两种类型一种是基于Encode-Decode的U・ shape网络结构,一种是基于多尺度融合的卷积网络架构。在本小节中,将简 要回顾一下深度学习在脑肿瘤分割领域的研究进展。Zikic [55]等受CNN在图 像识别中的良好性能表现,设计了一个浅层的2D卷积神经网络,网络中的激 活函数全部使用ReLu,输入数据为19*19*4,融合了了脑肿瘤数据的四种模 态。G. Urban等提出了一种具有22层深度的三维卷积神经网络的自动脑肿瘤 分割算法[56]o MohammadHavaei等为了提取到每个像素点邻域的特征以及上 下文信息,设计了一种双流路径的卷积神经网络,这些流分别称为本地路径和 全局路径。该体系结构由两个流组成:具有较小的7x7接收场的路径和另一 个具有较大的13x13接收场的路径[57]o提出了一个级联的全卷积神经网络, 将脑肿瘤的多模态磁共振图像分为背景和三个层次区域:整个肿瘤,肿瘤核心 和增强肿瘤核心。级联旨在根据子区域层次结构将多类分割问题分解为三个 二进制分割问题的序列。第一步将整个肿瘤分割,第二步将结果的边界框用于 肿瘤核心分割。然后基于肿瘤核心分割结果的边界框对增强的肿瘤核心进行 分割。我们的网络由多层各向异性和膨胀的卷积滤波器组成,并与多视图融合 相结合以减少误报。在这些网络中采用了残差连接和多尺度预测来提高分割 性能[58]。KonstantinosKamnitsas等提出了一种双路径,11层深的三维卷积神 经网络,对脑肿瘤进行分割。作者在深入分析了当前用于脑肿瘤分割网络结构 的局限性而提出的。减少了计算量作者提出一种高效且有效的密集训练方案, 该方案将相邻图像斑块的处理加入到网络中的一个通道中,同时自动适应数 据中存在的固有类不平衡。为了合并本地和更大的上下文信息,作者采用了双 路径架构,该架构可以同时处理多个尺度的输入图像。[59]o Kamnitsas等人 通过汇总多种方法,提出了一种多模型集成的方法(EMMA), EMMA结合了 DeepMedic[57]> FCN[60]和U-net[61]模型,并综合了它们的预测结果。该方 法减少了单个模型的元参数的影响以及将配置过度拟合到特定数据库的风险。 EMMA可以看作是一种无偏见的通用深度学习集成模型,它表现出出色的性
能。相比于通过在改进分割网络结构来提升分割性能,Isensee把重点放在了 网络的训练过程上,网络结构仅做了很小的修改,在BraTs2018中得到了第二 名的成绩,但是该方法使用了额外的数据作为训练数据的补充[62] o Richard McKinley[65]等提出了一种新的用于语义分割的网络体系结构,该体系结构 受到最近用于图像分类的Densenet体系结构的启发[63],其中池层被大量使用的空 洞卷积代替。Densenet使用密集块,其中每一层的输出在传递到下一层之前都与 其输入连接在一起。典型的Densenet体系结构由许多由过渡层分隔的密集块组成: 过渡层包含池化操作,该操作允许一定程度的平移不变性并对特征图进行下采样。 在文献[64]中提出了一种适用于语义分段的Densenet体系结构,该体系结构采用了 U-net的现在标准方法:下米样路径,后跟上米样路径,其中跳连接传递来自样本 空间维的特征图,特征图从下采样路径到上采样路径进行融合。Andriy Myronenko[66]^出了一种新的基于编码器的解码器CNN架构,具有较大的非对称 编码器提取的图像特征和一个较小的解码器来重建分割掩码。作者向编码器端点添 加一个额外的分支,以重建原始图像,类似于自动编码器体系结构。由于训练数据 集的大小受到限制,因此使用自动编码器分支的动机是向编码器部分添加其他指导 和规范化。作者遵循变分自动编码器(WE)方法,以更好地对编码器端点的功能 进行聚菊分组。此外,作者在硬件允许的条件下,作者把数据的batchsize设置为 1,最大限度的扩大了单个数据的尺寸(160x192x128)。

1.3本文主要研究内容和贡献

尽管卷积神经网络在自然图像分割领域实现了较高的像分割性能,但由于多 模态脑肿瘤MRI数据的复杂性,要想获得准确且可靠的分割效果,需要根据多模 态脑肿瘤MRI数据的特点,进行针对性的设计和优化整个模型结构以及学习过程。

硬件计算资源的提升和带有专业医生标注的脑肿瘤影像数据的增加,为深度 学习在脑肿瘤分割领域的使用提供了有利条件,运用深度学习技术对脑肿瘤分割 已经逐渐成为一个新的研究趋势。但由于医学影像数据的复杂性,想要训练一个 准确且可靠的鲁棒分割模型还是存在诸多的挑战。为了训练一个快速且准确的脑 肿瘤分割模型,本文将从数据,网络结构,和损失函数三个方面出发探究脑肿瘤 分割的最佳方法,针对带有精确标签数据获取难的问题,本文运用半监督学习方 法探索脑肿瘤分割,以达到利用少量标注数据训练出鲁棒且准确的脑肿瘤分割模 型。根据以往的研究结果,Encode-Decode的U型结构己经成为脑肿瘤分割最常 用的基本结构,基于此,主要研究内容有

  • 在融合残差模块ResUNet结构中的不同位置加入注意力机制模块,探 究注意力机制模块对最终分割性能的影响。
  • 探究编码端和解码端特征融合的最佳方式,通过加入特征融合模块, 改善特征融合的效果,通过添加全局平均池化模块增加全局语义信息。
  • 在保持2D网络不变的晴况下,通过增加输入数据的维度,探索增加 数据的维度对提升网络分割性能的影响。

⑷ 在融合残差模块的3DResUnet结构中,由于输入数据像素点较多,_ 定程度上也增加类间的数据不平衡,本文通过设计多重权重loss改善这种不均衡 性。

本文通过在数据,网络结构,损失函数三个不同角度,探索提高分割性能的方 法。即通过在2DResUnet网络结构的不同地方添加注意力机制,改进了特征融合 方式,提升了 2D网络的分割性能。通过逐渐提升数据和网络的维度,探索由低维 到高纬,对脑肿瘤分割性能的影响。针对2D网络不能很好的提取三维空间信息, 但是受限于硬件条件又很难把整个原始3D数据作为网络输入,以往随机剪裁的方 法,可能会造成非ROI区域与ROI区域不均的情况,本文通过实验探究以及肿瘤 数据的先验知识,提出了一种新的数据预处理和数据融合的方法,很好的改善了此 问题。

1.4论文篇章的组织结构

本文针二维空间和三维空间网络的局限性,分别从不同的空间角度探索最佳 的脑肿瘤分割方案,试图在扩大肿瘤数据和提升卷积网络的复杂度之间寻求一个 平衡点。本文将以下章节探讨如何设计一个量级轻且分割性能客观的卷积模型,每 个章节具体为:

第二章主要介绍了本文用到的包括卷积、池化、以及激活函数在内的深度学习 基础知识。介绍脑肿瘤分割任务的数据集以及脑肿瘤分割的评价标准。

第三章介绍了在融合残差模块的BT2Net中,通过在不同位置添加注意力机制 改善分割性能,设计特征融合模块进编码段和解码端特征融合的方式。

第四章介绍了在3D空间网络结构中添加注意力机制,使用类间与类内加权的 loss函数。并探索网络最佳的数据输入,预处理,以及后处理的方式,让网络尽可 能的学习到到包含全肿瘤的3D数据。

第五章对整个论文进行了总结,总结2D, 3D分割的优缺点,并探讨了在小数 据集上进行深度学习模型训练的半监督学习方法,和研究方向。

2草 深度学习基础及脑肿瘤分割任务介绍

在第一章介绍了简要介绍了脑肿瘤分割的一些方法,从研究进展来看,基于 深度都学习的脑肿瘤分割方法已经成为对脑肿瘤分割的主流方法,本章在基于第 _章的基础上,对本文用到的部分深度卷积网络基础知识做了介绍,之后,将介绍 多模态脑肿瘤分割BraTsl9数据集以及基于此数据集的脑肿瘤分割任务和分割性 能的评测标准。

2.1卷积神经网络

全连接神经网络中,紧邻层的每一个神经节点都是有链接关系的,实践证明, 全连接神经网络在图像处理的很多任务上都取得了很好的效果。但是全连接神经 网络的输入数据为图像原始数据,当输入网络的数据过大,随着节点层数增多,网 络规模增加,会造成训练参数急剧增加,待优化参数过多就会很容易造成模型过拟 合。为了避免该问题,在实际的计算机视觉任务中,常用的是深度卷积神经网络, 使用卷积层代替全连接层,做特征提取,然后将提取的特征数据输入到全连接层进 行识别分类任务图(2-1)。

2.1深度学习模型示意图在分割任务中用,已经有很多网络结构用全卷积层替代全连接层,并取得很好 的分割效果,特别是在分害蜘脑肿瘤MRI数据这样单个数据量较大的任务时,可

以减少大量的参数量。

2.1.1卷积层

卷积核是一个正方形权重矩阵,通过按照指定的步长在2D输入数据上“滑动需 对其当前打开的输入部分执行逐元素乘法,然后将结果求和得到单个输出值作为 输出特征图的像素点。不同层特征图之间可以做到权重共享,大大减少了待优化参 数量,保留像素邻域空间激活值,是一种有效的特征提取方法。女口图(2-2):

2.2卷积计算的离散输出

每个卷积层是由指定数量的卷积核组成,其中每个卷积核是可训练权重的 HxWxC矩阵;对输入的特征图像进行卷积操作,以生成新的特征图(DL中的张 量)作为输出,其高度和权重由输入特征图像,步幅和填充确定,并且与过滤器数 量一样多的通道。然后,将张量中的每个值通过激活函数增加模型的非线性表达能 力。每层的权重为(过滤器宽度)x (过滤器高度)x (层输入中的通道数)x (过 滤器数)。与全连接层不同,卷积核通常比输入图像的大小小得多,并且实现多层 特征图权重共享。

卷积计算中两个常见的操作为填充和跨步:填充操作可以使某些层的输出特 征图与输入特征图的大小保持一致。在卷积神经网络中,当增加通道数量时,空间 尺寸的大小会减小。实现此目的的一种方法是使用池化层(例如,采用每2x2网格的平均值/最大值将每个空间尺寸减小一半)O也可以使用跨步的做法实现此功能。 跨步操作是卷积核在进行卷积操作的时候跳过某些位置滑动,在更现代的网络中, 研究人员一般倾向于跨步卷积代替池化操作。

2.3带有填充的卷积计算离散输出

2.1.2池化层

池化是构成深度卷积神经网络的另一个重要操作,池化窗口和卷积核的大小 一般相同,通过滑动窗口操作,提取窗口内的最大值或者求窗口区域矩阵的平均值, 可以理解为对卷积的结果进行的总结,maxpoolmg和avgpoolmg如图(2-4),(2-5)所 示:

2.1.3 常用 Normalization 介绍
2.4平均池化 图2.5最大池化

神经网络对零附近的值比较敏感,但是随着网络的加深会使数据偏离零均值 的情况。训练一个性能好,鲁棒性强的深度卷积神经网络是一件很具有挑战性的事 情,因为网络模型可能对卷积网络每一层的初始随机权重,优化算法的配置敏感。 造成这种困难的一个可能原因是,我们在使用误差估计时,是将模型从输出到输入 逐层更新,该估计假定当前层之前各层的权重是固定的。但是“非常深的模型涉及 几个功能或层的组成。假定其他层不变,根据梯度下降原则更新每个参数。实际上, 网络会同时更新所有层[67]「在网络对每一批次数据进行批量计算处理之后,当权 重更新时,输入到网络深层的分布可能会发生变化。由于在更新的过程中所有层均 已更改,这可能导致优化算法一直在试图追逐一个动态的学习目标。在网络中,各 层输入分配的这种变化,称为“内部协变量平移進8]。例如,给定期望先前层输出 具有给定分布的值的晴况下,更新层的权重。在更新前一层的权重后,此分布可能 会更改。归一化处理常被用作加速网络收敛的常用技术手段。常见的归一化处理包 K Batch Normalization[69]> Layer Normalization[70]> Instance Normalization[71 ] > Group Normalization[72] > Switchable Normalization[73]等。本章小节,将主要介绍批 量归一化处理(BN)。

批标准化处理(BN)是对一个batch的数据做标准化处理,常用在卷积和激活操 作之间,经过BN操作原本偏移对数据,重新回归零附近,使进入激活函数的数据 重新回归到激活函数的线性区,输入数据微小的变化更明显的体现到激活函数的 输出,提升输入函数对数据的区分能力。标准的标准化处理会使数据完全符合标准 化分布,弱化了激活函数的非线性激活能力,因此[69]在标准的归一化基础上增加 了两个可训练参数,缩放因子参数丫,和偏移因子卩。反向传播时,这两个因数会 与其他的可训练_起更新优化。使得常规标准化处理之后的数据,通过缩放因子和 偏移因子,增大了数据的宽窄和偏移量,保证了网络的非线性百搭能力。对卷积层 的输入进行归一化会影响模型的训练,从而大大减少所需的训练迭代周期数。BN 可以减少泛化错误。:BN计算:

TT'k _ H -止atch

° batch

Match = —£硏

m i=l

丹如必批标准化之前,第£个卷积核输出的第,个像素点。"比仙批标准化之 前,第〃个卷积核,bmch_s 张输入特征图中,所有像素点的平均值。成仙批 标准化之前,第上个卷积核,阪丄畑 张输入特征图中,所有像素点的标准差。 最终的输出为:

2.2脑肿瘤分割任务介绍

本小节主要介绍了用于脑肿瘤分割的数据集,以及用于评估脑肿瘤分割方法 的标准。

2.2.1 BraTsl9数据集介绍

BraTS提供了一个公开的数据集,专注于评估多模式磁共振成像(MRI)扫描 图像中脑肿瘤分割的最新方法。数据集中的每一例都是经过医师精准标注,并通过 经验丰富的放射科医生审核通过,审核专业医师通过。BraTS19 »集的训练集部 分一共包含了 335例数据(259HGG和76LGG),每一例数据都包含四种3DMRI模 态(T1,T2,Hair,Tice),每种模态数据都在经过去颅骨后,重采样到lxlxlmm的分辨 率。这些数据由来自于19个不同机构的不同核磁扫描仪设备扫描收集得到的。每 种模态的数据尺寸都被处理为为240x240x155o这些数据中的肿瘤部分,按照医生 的注释标准一共划分为3个部分,肿瘤增强区(ET, label二4),瘤周围水肿区(WT, label二2),和肿瘤核心区(TC, label =!)□

图2.7 BraTS19部分脑肿瘤数据示例

2.2.2基于深度学习的脑肿瘤分割流程

3DMRI多模态数据无论是在成像方式方面还是成像意义都比自然图像复杂, 包含的信息也更丰富,因此,使用深度学习方法对脑多模态核磁共振数据进行脑 肿瘤分割任务,与自然图像的语义分割既有相同之处又有区别。用脑肿瘤数据训

练深度卷积神经网络时,主要有以下特点:

  • 整体样本数据量少,且单个数据维度高
  • 数据标注的一致性差
  • 成像适量参差不齐(成像噪声,伪影,等)
  • 不同病例相同模态数据之间的数值可能存在较大差异
  • 脑肿瘤本身固有的高度异质性,使成像的信息更为丰富
  • 脑肿瘤与不同软组织之间的灰度值存在相似的可能性,等

如果要使用机器学习的方法训练一个具有特定功能的模型,数据的规模和复杂度_ 定要和模型的复杂度相匹配,如果模型的数据量较小且数据的复杂度较高就会使得 训练模型时很难收敛,如果数据规模少,模型复杂度高,就会很容易造成过拟合; 如果数据规模较大,模型复杂度低就会使得模型拟合能力不够造成欠拟合。带标准 label的脑肿瘤数据规模量少,且单例数据维度高,纬度越高数据包含的信息就越丰 富,数据复杂度就越高。因此,在使用深度学习做脑肿瘤分割的任务时,要充分理 解数据的特点,有针对性的做数据预处理,减少原始数据不必要的复杂度(如去噪, 偏移场矫正,归一化等)。深度卷积网络的模型的越深,越复杂,模型的拟合能理就 越强,但是,在脑肿瘤数据规模达到一定规模时,就应该建立更深更复杂的网络, 完成脑肿瘤分割任务。但是,受限于现有的硬件计算资源,卷积神经网络的深度和 复杂度都会受限,因此需要从数据,网络架构,loss函数,三个角度去设计性能更 优的深度学习模型。

图(2・7)显示了一般的基于监督学习的脑肿瘤分割流程,首先对原始数据进行数 据预处理,一般包括多模态数据之间的配准,去除颅骨,去偏移场矫正(本文使用N4 的方法进行去偏移场操作),脑区域归一化等步骤。在归一化时,为保证数据归_化 操作之后数据分布在零附近的同时,保持数据的对比度,本文只对大脑区域做了归 一化,不包含非闹区域。然后将数据划分数据集,对模型不断地迭代训练 直到在 验证集上满足模型评估要求,然后用训练好的模型在新的数据测试上进行预测得出 结果。如果在BraTS数据集上可以不用自己划分数据集,将测试集上的预测结果提 交BraTS数据平台进行评测,评估模型最终的性能。

2.8基于深度学习的脑肿瘤分割算法流程图

2.2.3脑肿瘤分割评测标准

Dice系数是衡量脑肿瘤分割结果的常用的评价指标,表示真实区域与预测区域 重合的部分占两者之和的百分比,可以很好的而衡量分割预测结果与真实label之 间的重合度,BraTS19将Dice系数作为一项重要的评测标准。如图(2・9)所示,PQ 代表预测结果的非肿瘤区域,片代表预测结果中的脑肿瘤区域,邛弋表医生勾画的 非肿瘤区域,7;代表医生勾画的脑肿瘤区域,BraTS19的数据集虽然收集于19个 不同的机构但是,每个病例的数据都是由四名医师标注,最后有权威医师审核通过 的,所以,在此数据集上,可以认为医生标注的区域为脑肿瘤区域金标准。Dice系 数计算如下:

八代表逻辑与运算,| |代表求和运算,即对所有像素点求和。

2.3本章小结
经过激活函数输出的结果中,每个像素点的值是一个[0,1]之间的小数,与经过 one-hot处理过的医生标注的数据进行可直接进行相应矩阵运算操作,也可以将网络 输出的结果经过阈值处理变为二值化数据。然后再与金标准label进行矩阵运算, 两种方法通过实验评测证明,同样的预测结果,经过选取合适的阈值进行二值化处 理的预测结果,Dice评分要稍优于不做二值化处理的预测结果。

本章主要介绍了用于脑肿瘤分割任务的公开数据集。在此基础上,简要叙述了 基于深度卷积神经网络的脑肿瘤分割流程,以及评估脑肿瘤分割算法的性能的Dice 系数,此外,评估脑肿瘤分割性能的指标还有敏感性,特异性,霍夫距离等,本文 由于篇幅限制没有做一一详细介绍。下一章,本文将介绍在基于融合残差模块的 2DResUNet的深度卷积神经网络对脑肿瘤分割任务的探究工作。

3章使用BT2Net的方法对脑肿瘤进行分割探究

每一例脑肿瘤MFU数据都包含四种模态,每种模态都有其自身的特殊成像意 义,为了能够融合所有模态数据通常会将四种模态叠加在一起,作为卷积神经网络 的输入数据。输入网络的有效数据尺寸越大,网络对数据的全局语义信息理解的就 更全面,较为深度的卷积网络可以提取更多的空间语义信息和上下文信息,可供网 络学习的特征数就越多,有益于网络性能的提升。但是,受限于计算机计显卡显存 的限制,如果输入数据较大,只能损失网络的深度和复杂度,如果加深卷积层数, 就要降低输入数据的尺寸。基于此,现在比较常见的处理方式是,在数据输入的尺 度和网络结构的复杂度之间取平衡,本文从2D,2.5D,3D的角度探索最佳的脑肿瘤 分割方案,在融合残差模块的2DResUNet的网络结构的不同地方添加注意力机制, 和特征融合机制模块,有效的提升了脑肿瘤分割精度。本章节将介绍本文在2D网 络结构中,对脑肿瘤分割任务所作的工作。

3.1数据预处理

由于脑肿瘤图像数据的特殊性,数据预处理的结果对分割结果影响很大,具体 可以概括为:配准,去颅骨,重采样,偏置场矫正,直方图匹配,脑区域像素值标 准化。BraTS19数据集提供的数据已经对数据做了配准,去颅骨重采样处理。核磁 共振图像中的偏置场是一种不良的伪影,通常被认为是_幅图像上强度的平滑变化, 其产生主要是由于图像采集过程中的不合理操作或者图像本身的特性造成的。这种 伪影可以通过平滑的图像强度变化来表征,叠加到真实的图像上,会产生灰度值亮 度偏差。虽然偏压场很难被肉眼观察到,但是会显著地降低了许多医学图像分析技 术的性能,在进行脑肿瘤分割操作前需要进行去偏移场操作。近年来,人们提出了 许多方法来校正医学图像中的偏场。N4偏置场校正算法是一种用于校正存在于 MRI图像数据中的低频强度不均匀性(称为偏置场或增益场)的流行方法。该方法 也已成功地集成到许多医学图像处理的软件中。且采用简单的参数模型,不需要组 织分类。本文使用N4对BraTS19数据进行偏置场矫正处理结果如图(2・10)所示:

图3.1偏置场矫正对比

BraTS数据集一共源自于19个不同机构,且由不同的成像机器扫描采集, 不同病例之间的相同模态数据灰度值范围有较大偏差的情况。因此在偏置场 矫正之后本文对数进行了标准化处理,使数值分布在零附近。如公式3.1所

ZJN

图3.2数据标准化

3.2数据增强处理

数据扩充是解决过拟合问题的有效方法,特别是在没有大型标记训练集的情 况下。针对于医学数据集规模较小的问题,主要有基于传统空间和强度变换的数 据增强方法,混合图像数据增强方法,以及基于对抗网络的图像合成方法。在 2D空间网络中,本文主要使用了基于传统空间的数据变换增强方法。主要方法 包括放大,缩小,旋转,平移剪裁,镜像,弹性形变等。数据变换的单位是单个病例,即,每次变换时多种模态一起随之改变,相应的标签数据也随之改变。

3.3基于空间变换的图像增强

3.3网络结构设计

脑肿瘤本身固有的高度异质性,造成了肿瘤区域在核磁共振成像的外观上呈现 出灰度值,形状,尺度等不规则变化。多模态脑肿瘤分害啲难点除了来自于夕卜观空 间的异质性,还表现为肿瘤不同子区域之间的不规则变化,这种变化会带来不同子 区域之间分布不均的问题,这就要求卷积神经网络在对脑肿瘤图像进行特征提取时, 要充分提取肿瘤的空间边缘信息和全局语义信息,以及来自于不同尺度和较大区域 的上下文信息,来消除局部区域信息造成的歧义,达到达到对脑肿瘤区域像素级精 确分割的目的。

最近的深度卷积网络已经证明全局平均池化能有效的统筹全局语义信息, ParseNet[72]首先将全局平均池应用于语义分割任务。PSPNet[73]和Deeplab v3[74] 将其扩展到空间金字塔空间结构,并在在不同的分割数据集中表现出色。

近年来,越来越多的医学图像分割采用全卷积网络(FCN[70],UNet[71]),从输入 图像中提取丰富的语义信息表征,预测像素级标签并取得了较好的效果。本文的分 割方法遵循基于编码器■解码器的CNN架构,针对卷积层数少,网络感受野较小,

不能充分利用全局语义信息的问题,本文在2DUnet的基础上增加了全局平均池化 层用于提取全局语义信息,并在解码端将全局语义信息融入到特征图中,增加网络 对输入数据的全局感知能力。此外,最近的研究表明,网络中的注意力机制模块, 能够自适应的帮助网络增加重要特征的权重,降低不重要特征的权重,有效的提升 了深度卷积模型的性能。本文在传统的2DUnet中添加了 SENet[69]网络中的注意力 模块如图(3・4),并在编码端的最底层添加全局平均池化层。卷积网络架构如图(3・5)

图 3.4 Squeeze-and-Excitation 模块

output

图3.5添加注意力机制的UNet网络

3.3.1注忌、力机制木吴块设计

BraTS19数据集提供的数据,大小为(240,240,155),且每例数据包含有四种不同 的模态,在数据规模相对较小,单样例数据本身较复杂的时候,即数据规模少,数 据分布复杂高。这样在用深度学习模型来对其进行图像建模时,会出现两个问题:⑴ 如果深度卷积网络层数较浅,则会使模型拟合能力不够,造成模型欠拟合。⑵ 在 计算资源有限的条件下增加网络深度会减小输入数据尺寸,不利于全局特征信息的 感知,可能由局部信息造成信息误判。因此 寻求一种在不显著增加网络计算量的 基础上增加网络的表达能力,成为了脑肿瘤图像分害啲一个研究方向,由此本文 提出的解决方案是,通过在网络的不同地方添加注意力机制模块,并从空间和通道 两个不同角度,有针对性的设计注意力机制模块,增加注意力模块的自适应能力。

主干网络各个层级的特征都要经过细化残差模块图3.6,首先主干网络每一个 残差模块提取的特征输入模块时,先是一个1X1的卷积,通道数统一为512个, 1X1卷积不改变特征图大小但可以改变通道信息,然后经过类似与残差模块的求和, 激活操作,增加此block可以增强每个阶段特征的识另U能力。
3.6细化残差注意模块

3・7通道注意力模块

由于脑肿瘤本身的高度异质性导致其外观的复杂度高,在进行多子区域脑胶质 瘤分割是很容易出现同一子区域类内不一致和不同子区域之间类间不区分的情况, 针对此问题本文添加了通道注意力模块。卷积网络在不同阶段的特征具有不同程度 的区分度,丰富的特征如果不能得至U有效的筛选会导致预测的一致性不同。通过这 种设计,我们可以使网络逐步获得判别特征,从而使预测在类内保持一致。为每一 个特征图添加权重,图3.8,增加整个网络特征提取的一致性,减少像素级分类的错 误。

不同卷积层提取的特征所代表的语义信息是不同的,以往的做法是将不同级别 的特征图简单叠加或相加求和进行融合,较深层的卷积层可能含有丰富的上下文信 息以及更高的全局语义信息,较低级的卷积层包含有丰富的空间信息,特征表征了 丰富的空间信息细节o我们使用特征融合模块将这些特征融合在一起[75] o

3.3.2 2DEncode-Decode 最终结构

本文上一小节通过对3DMRI多模态脑肿瘤数据的深入分析,针对规模少,单 例数据复杂度高的特点可能带来的问题,弓I入了不同的注意力机制模块进行改善, 通过引入细化残差模块增强每个阶段的识另U能力,引入通道注意力模块帮助网络自 适应的选取判别特征,弱化非判别特征,引入特征融合模块将包含空间信息丰富的 低级特征与包含上下文信息的高级特征进行自适应的融合,使得具有判别能力的上 下文信息和描述与局部空间细节的特征互补,同时,尽可弱化的对任务无判别的无 关特征。最终本文BT2Net的分割网络如图3.9所示:

图3・9融合注意力机制的ET2Net分割网络结构图

网络的输入数据大小为(240,240,4)保留了原始数据二维空间的原始大小,将四 种模态中相对应的层叠加在一起组成四通道的数据,这样,最大程度的保留了原始 数据的空间信息,并融合了四种模态的全部特征,使得卷积网络提取空间和模态间

的信息,帮助模型更准确的为数据建模完成脑肿瘤分割任务。

3.4损失函数

本文采用了加权重的Dice系数,其表达式为:

GDL=\-

N

Eg

叫=J N

I n

(3.4)

其中l代表类别,本文在label的处理是没有采用one-hot模式所以L=2,N代表 像素点的个数代表真实的标签,”代表网络预测的结果°C代表子区域的个数 这里04,性代表类间的权重,这个参数是由先验知识手动设置。

3.5模型训练

本文所有的训练和预测实验都是在两块NVIDIA Tesla V100的显卡上进行的, 在训练BT2Net时我们使用Adam优化器进行训练,Bath size32,,本文采用了 inv learning rate 策略,其中:

LR(t) = base _ /r x (1 + 丫 x iter jpower

其中,base_lr =0.001, y=0.00001, power = 0.15

3.10 BT2Net loss 收敛图

3.6数据升维

尽管2D数据尽可能的保留了 2D空间信息以及多模态信息,但是不足之处在 于,卷积网络完全没有学至U三维空间信息,不能充挖掘3DMRI数据,基于此在, 在原来网络不变的条件下,本文从兼顾计算资源和空间信息的角度出发,改变原来 没中模态只取一层的做法,采取2.5D空间数据,具体做法为:在与每一张mask相 对应的四种模态的原始数据的切片上下多取两层,这样一张mask对应与4*5张原 始数据slice,这样的数据介于2D与3D之间,且只改变网络模型的输入尺度并没 有改变网络的空间维度,因此称之为2.5D,实验证明增加的2.5D空间信息,有助 于细小区域的分割性能提升,具体结果将在下一小节进行分析。

四种模态四张原始数据 mas

3・11 ET2Net数据输入(2D)

3・12 ET2Net数据输入(2.5D)

3.7 2D分割方法结果与分析

表1 BraTS2019训练集中各种不同策略性能比较结果

Dice

  WT CT ET
UNet 0.6149 0.5322 0.3326
UNet+GAP+SE block 0.6332 0.5448 0.3423
2DRecUNet+RRB 0.7293 0.6014 0.5433
2DRecUNet+RRB+CAB 0.7235 0.7660 0.6053
2DRecUNet+RRB+CAB+FFB 0.8520 0.7811 0.6736
2.5DRecUNet+RRB+CAB+FFB 0.8931 0.7936 0.7060

表中数据是在BraTS19数据集中提供的167例数据中测试得到。在同样的训练 策略下,从表中的结果对比中可以看出,编码端和解码端采用残差模块代替传统的 卷积有良好的性能提升,特征融合模块可以自适应的融合深层的上下文信息和低级 的空间形态细节信息,此外增加数据维度,能有效提升个各自区域的分割性能。如 图(3-13),从图中可以看出2.5DRecUNet+RRB+CAB+FFB的策略,能够很好的处理
好一些较小区域。对每一个区域进行二值化截断时,需要选取不同的截断值,本文

对三个区域(WT,CT,ET)选取的截断值分别为:0.55, 0.50, 0.33。如图(3J2)所示, 子区域的相对面积越小对截断值的敏感度越高。

3.13不同子区域的分割结果经过截断值二值化之后的结果统计

网络输结果 真实标签 阈值截断二值化结果

3.14 BraTS_TCIA02_605_l数部分层结果显示

3.8本章小结

本章主要介绍了,在2D空间结构中,通过分析3DMRI数据的特点,从网络结 构损失函数的角度,提升深度卷积模型的性能,最后在数据上进行升维,显著的提 高了小区域跟个的能力。从不同分割策略的结果中分析得出,使用残差模块替代简 单的卷积层能够,显著提高Encode-Decode型结构的编码和解码能力,此外,通过 在网络中添加注意力机制模块和特征融合机制模块,这些模块能够帮助网络在数据 规模小且单例数据复杂的可学习数据上,自适应的调节网络的判定特征与非判定特 征的权

4章 使用3DBT2Net的脑肿瘤分割方法

从第二章的分析结果可以看出,提升网络输入数据的维度能够显著的提高网络 的分割性能,为了充分挖掘3DMRI脑肿瘤数据的高维空间信息。原则上,输入数 据尺度要尽可能的代表原始数据,网络结构要有足够的深度和复杂度拟合输入的高 维度空间数据。在计算资源有限的条件下,在高维度输入数据和有足够拟合能力的 深度卷积网络之间找到_个平衡点,本章节试图从融合了 3D残差模块的3DBT2Net 网络添加注意力机制和有针对性的划分数据出发,探究在3D空间结构中最佳的分 割方案。

4.1 3D数据预处理及数据增强

在上一章节数据预处理的基础上,对于3D网络数据输入需要进行切块处理, 常见的处理方式是,在原始3DMRI数据上随机剪裁出固定尺寸的数据块,但是可 能会造成两个问题:(1)由于肿瘤区域在整个脑肿瘤图像中所占的比例要少于非 肿瘤区域,且各个肿瘤子区域之间也存在类间分布不均云的t青况,随即剪裁的数据 块可能是原始数据的任何部位,这样可能会加剧这种数据不均衡的睛况。(2)深度 卷积模型在输出是的预测mask的数据块大小是要和输入数据块的大小相对应的, 最后进行数据后处理拼接成和原始数据尺寸大小_样预测结果时,在肿瘤边缘区域 容易出现不平滑链接的情况,导致合成后的最终预测结果肿瘤区域变形严重,降低 网络性能。如图(4・1)所示:

4.1 BraTS19_2013_l合成后预测结果显示

为了避免此种情况的发生,本文结合脑肿瘤数据的先验知识,采取固定的剪裁 方式,让切割的数据块尽可能的包含整个肿瘤区域,本文的做法是,对于每一种模态 的数据以(°'°'°),为中心点进行剪裁,数据块的大小为(U,VW),本文取(12&12&128), 中心数据块取两次,前后左右的数据块分别以(2128)心-128),*128)), (0,(V-128), (W-128)) , ((U-128),0, (W-128)) , (0,0, (W-128))为中心点裁剪一次, 然后将从每个模态中取出的对应数据块叠加在一起,组成作为送进网络的数据。由 于我们使用的是3DCNNS架构,数据量明显不足。当从有限的训练数据训练大型 神经网络时,必须采取一些策略来避免过拟合。与2D网络中一样,在这项工作中, 数据扩充是解决这个问题的策略之我们在(X,Y)坐标平面上旋转数据,并沿X 轴和Y轴旋转镜面。我们对输入图像通道应用随机(每通道)强度偏移(0.1到0.1的 图像标准)和随机缩放(0.9到1.1的图像标准)。

4.2网络结构设计

3D深度卷积网络的设计既要考虑数据尺寸又要兼顾模型的复杂度,所以2D 网络分割的经验基础上,我们采用3D-Resnet作为骨干网络,因为它在计算机视觉 任务中表现出色。考虑到物理内存,我们采用3Dresnet-34作为编码部分的骨干网 络,包括4个带3DSE块(图4-2)的res块和4个max pooling层。每向下采样一 次,特征图的大小就变成原来的一半。每个模块由几个基本残差单元组成,如图(4- 3)所示。

43网络结构可视化示意图。网络输入为3DMRI裁剪,形状为(160x160x128),

我们采用3DResnet34结构编码器。在编码部分,每个卷积块后采用的压缩激励余块。在每
个剩余块之后,在跳过连接之前使用一个SE块。

4.3 loss 函数

在3DBT2Net中输入数据进行了剪切,_定程度上环节数据不均衡的情况,为 了解决数据不平衡的问题,本文采用加权DICE函数作为全局方向求梯度的损失函 数:

Weighted Dice 二二

■ 列円+卩|丿

其中P为预测概率。T代表真实值。K表示每个类别的数量。

4.4模型训练

我们在Keras实现我们的网络,并在NVIDIA Tesla V100 32G GPU上训练它。

我们的网络架构是使用大小为(160x160x128)的体素和批量大小为10的随机采 样补丁进行训练的。我们使用Adam optimizer来训练网络,学习率为0.0001。如果 经过5个周期的训练,损失值没有降低,我们将学习率取为原来的十分之一,最小 学习率不小于le-6o早期停止策略也被使用。对于每个epoch, 36次迭代将花费大 约3分钟和10秒。

4.5数据后处理

网络输出的每个子区域的预测矩阵的尺寸和剪切之后送进网络的数据尺寸一 样,所以需要把从网络中输出的矩阵进行组合得到最终和原始图像大小一样的图 像。假设原始图像的大小为©MW)对于某一个模态的原始图像剪裁的具体做法 为:对于每种模态数据,以(°°°),((U -128),0,0) , (0,(V -128), 0),

((U -128), (V -128),0) (0,0, (W -128)) ((U -128),0, (W -128))

(0, (V -128), (W -128)) ((U -128), (V -128), (W -128))

(从前往后依次为1〜8数据块)坐标为起始坐标点,沿X轴正方向,Y轴正方 向,Z轴正方向,截取尺寸为(128x128x128)的矩阵,对应每个坐标点得到加个矩 阵,之后将加个矩拼接成(128xl28xl28xm)的矩阵,一共得到8个 (128 x 128 x 128 xm)的矩阵,最后再以原始图像中心坐标点(U/2, V/2, W/2)为其实 坐标剪切一个尺寸为(I?* x 128 x 128)的矩阵,对应加个模态一共得到m个矩阵, 拼接成(128x12/128 5)的矩阵(第九块矩阵),综上一个原始数据可以剪切出 9个对应的数据块,在训练数据是将这些作为训练数据送入到网络中训练模型。最 后在预测阶段,对_个病例做预测时,对一个将要预测的病例数据剪切,同上述方 法,剪切出九个数据块送进网络,得到9个对应同大小的预测数据块,然后先将前 8个数据块拼接(重合部分以后者的值为准)成原始数据大小的矩阵,最后以中心点 (U/2,V/2,W/2)为中心点的数据块部分,用以第九块数据块的预测值填充,得到最 终的分割图像。

4.6 3D分割方法结果与分析

表1显示了我们的模型在BraTS 2019数据集上的结果。每个通道的输出值在 0-1之间,因此我们需要每个子区域的截止值来输出二进制值。在本文中,和2D 中一样,WT、TC和ET的截止值分别为0.55、0.50和0.35。我们发现TC和ET 对其截止值的选择非常敏感(4-5)。

4.5训练数据中不同区域的Dice系数统计

根据我们的统计,我们发现一些亚区非常小,甚至在某些情况下不存在,但是 我们使用3个标签的训练数据集训练的模型可以预测3个亚区,包括整体、增强 和核心肿瘤。例如,如果一个案例没有增强子区域,但是模型生成的预测掩模图像 包含增强子区域,这将使原始数据中包含的其他子区域变小并降低dice值。此外,

小的次区域对界限更敏感。人们普遍认为,用骰子值作为评价方法时,小子区域是 非常敏感的,需要重视。最近的研究表明,较早的层特征通常更普遍,而较晚的层 特征表现出更高的特异性。因此,我们发现添加注意机制可以提高小区域的分割精 度。

4.6部分病例数据分割结果显示

2 BraTS2019训练集验证数据和测试集结果

Dice

  WT TC ET
Training 0.91 0.88 0.72
Validation 0.86 0.73 0.66
Testing 0.85 0.80 0.70

图4.7是一个典型的分害1J例子,真实的和预测的标签覆盖在TlcMRI轴向、矢 状和冠状切片上。整个肿瘤(WT)可见一个联合区,包括绿色、黄色和红色的标签。 ET用黄色表示。TC包括ET,以及坏死的(充满液体的)和非增强的(固体的)肿瘤部 分,如红色所示。

图4.7 BraTS2019训练集上的一个典型分割结果示例

图4.8是BmTS2019验证集上的一个典型的分割结果示例。它展示了一个典 型的分割示例,只是预测标签覆盖了 TlcMRI轴向、矢状和冠状切片。

04.8测试集分割结果可视化

47本章小结

在3D卷积网络架构中,关键是要在输入数据尺寸和网络结构复杂度之间寻求 一个平衡点。在保证输入数据尽可能的代表原始数据的前提下,提高网络的复杂度, 增加网络的拟合能力,实践证明,注意力机制能够在不显著增加网络计算量的前提 下,自适应的学习的到网络特征的权重,强化判别特征,弱化非判别特征,从而提 高网络的拟合能力加速网络快速收敛。从结果来看3D卷积网络有效的提升了脑肿 瘤各个区域的分割性能,因此,充分挖掘3DMRI数据高纬度空间信息有助于网络 对3DMRI数据建模,显著提高网络的分割此性能

5章总结与展望

5.1研究总结

本文通过对脑肿瘤数据分析,分别从2D, 2.5D, 3D的空间维度对脑肿瘤任务 进行探究,在2D空间卷积神经网络模型中,在不同位置引入不同的注意力机制, 和特征融合机制模块,提出了类内加权和类间加权的损失函数,改善了脑肿瘤数据 类内和类间不平衡造成的小区域分割不清晰的问题。在3D空间中,本文基于在脑 肿瘤数据的先验知识,确定输入网络数据尺寸能够尽可能的覆盖全部肿瘤的前提 下,通过不断加深网络提高网络对脑肿瘤数据的建模能力。引入注意力机制显著提 升了模型的收敛速度,以及模型的鲁棒性。

实验表明,在网络深度有限且数据规模小单例数据复杂的包肿瘤分割任务中, 在合适的位置引入适当的注意力机制能很好的,帮助模型从不同级别的特征中,自 适应的选择判别信息。此外,全局平均池化层能增加网络感知全局信息的能力,能 够有效改善由剪切数据块或卷积层数较少,带来的局部信息错误引导的现象。上下 文信息和空间特征信息都有助于深度卷积神经网络对数据的建模,通过设计有效 的特征融合机制模块,使高级特征与低级特征根据网络对分割任务的需求,自适应 的选择,也能够显著提高网络的分割性能。

5.2研究展望

基于深度卷积神经网络医学影像分析已经成为了一个研究趋势,但是医学小 样本的问题限制了,深度学习在医学领域的应用,当前基于监督学习的脑肿瘤分割 已经能够分割出脑肿瘤的多个子区域,且分割效果远超于传统分割算法,一个重要 的原因是,不同于传统方法只利用了数据的浅层表观信息,深度学习能够通过卷积 神经网络提取不同深度的信息,既包括包含丰富空间细节信息的低级特征也包括 根深级别的上下文信息,帮助网络根据特定的任务理解数据信息。因此,怎样使用 深度学习的方法对样本集小且单例数据较复杂的医学图像进行图像建模,达到医 学影像分析的目的,因此,通过使用半监督学习或者无监督的方式对医学影像数据 进行建模,完成具有临床意义的辅助诊断分析,是未来研究的主要方向之一。结合 脑肿瘤的特点可以从以下几点入手:

⑴使用图像增强技术即基于传统空间和强度变换的数据增强方法,混合图像 的数据增强方法,以及基于对抗网络模型的图像合成方法,从数据的角度增加网络 的可训练数据。

  • 充分利用其它有标记的数据集,首先是使用迁移学习将训练好的数据在小 样本数据集上进行微调;还可以使用域自适应学习,域适应技术试图通过学习一个 共同的潜在表示或通过学习将图像从一个域转换到另一个域来弥合不同数据集之间 的分布差距。无监督的域自适的方法是通过从源数据中带label的数据,以及目标数 据上无label的数据中学习。半监督的域自适应是通过从源数据带有label的数据以 及目标数据的无label数据进行学习;此外还可以使用数据集融合技术利用多个数据 集来训练_个基于异构、非联合数据集的通用分割模型,这样做具有两个优点:1)更 有效的训练,因为多个模型被合并到一个模型中;2)增强的正则化,因为来自多个来 源的数据可以提供进一步的监督。领域适应和数据集融合都旨在利用多个数据集;然 而,它们采用不同的方法:前者通过最小化域转移来实现,而后者通过学习区分域来 实现。

鉴于本文作者水平有限,论文提出的脑肿瘤分割方法肯定还存在某些不足之 处,敬请各位评审专家不吝指正。

参考文献

  • 脑胶质瘤诊疗规范(2018年版)
  • Jiang, G.F. Tang, Y. Lin, X.X. Peng, X. Zhang, X.W. Zhai, et al.Prevalence estimates for primary brain tumors in China: a multi-center cross-sectional study Chin. Med. J., 124 (17) (2011), pp. 2578-2583
  • Yang, Y. Wang, X. Peng, G. You, W. Zhang, W. Yan, et al.Management and survival rates in patients with glioma in China (2004-2010): a retrospective study from a single-institution J. Neurooncol, 113 (2) (2013), pp. 259-266,
  • Barami, K (July 2010). nOncomodulatory mechanisms of human cytomegalovirus in gliomas**. Journal of Clinical Neuroscience. 17 (7):819-23.

⑸ Dziurzynski K, Chang SM, Heimberger AB, et al. (March 2012). HCMV and Gliomas Symposium. nConsensus on the role of human cytomegalovirus in glioblastoman .Neuro Oncol. 14 (3):246-55. doi: 10.1093/neuonc/nor227. PMC 3280809.

  • nIARC classifies radiofrequency electromagnetic fields as possibly carcinogenic to humans** (PDF) (Press release). IARC. 31 May 2011.
  • Morgana, L. Lloyd; Kesarib, Santosh; Davis, Devra Lee (2014). HWhy children absorb more microwave radiation than adults: The consequences*1. Journal of Microscopy and Ultrastructure. 4 (2): 197-204
  • Sung Y-C, Han K-S, Song C-J, Noh S-M, Park J-W (2000) Threshold estimation for region segmentation on MR image of brain having the partial volume artifact. In: 5th international conference on signal processing proceedings, WCCC-ICSP, vol 2. IEEE, pp 1000-1009
  • StadlbauerA, Moser E, Gruber S, Buslei R, Nimsky C, Fahlbusch R, Ganslandt O (2004) Improved delineation of brain tumors: an automated method for segmentation based on pathologic changes of 1H-MRSI metabolites in gliomas. NeuroImage 23(2):454761
  • Gibbs P, Buckley DL, Blackband SJ, Horsman A (1996) Tumour volume determination from MR images by morphological segmentation. Phys Med Biol 41(11):2437
  • Sato M., Lakare S., Wan M., KaufinanA., Nakajima M. A gradient magnitude based region growing algorithm for accurate segmentation Proc. Int. Conf. Image rocessing, vol. 3 (2000), pp. 448-451
  • Lakare S., KaufinanA.3D Segmentation Techniques for Medical Volumes

Center for Visual Computing, Department of Computer Science, State University of New York (2000), pp. 59-68

  • Bajwa I., Asghar M., Naeem M.Learning-based improved seeded region growing algorithm for brain tumor identification Proceedings of the Pakistan Academy of Sciences, vol. 54 (2017), pp. 127-133
  • Zollei L, Shenton M, Wells W, Pohl K (2007) The impact of atlas formation methods on atlas- guided brain segmentation. In: Proceedings of medical image computing and computer-assisted intervention: MICCAI international conference on medical image computing and computer-assisted intervention. Citeseer, pp 3976
  • Cuadra MB, Duay V Thiran J-P (2015) Atlas-based segmentation. In: Paragios N, Duncan J, 细ache N (eds) Handbook of biomedical imaging. Springer, Boston, pp 221-244
  • Zhou Y Bai J (2007) Atlas-based fuzzy connectedness segmentation and intensity nonuniformity correction applied to brain MRI. IEEE Trans Biomed Eng 54(1):122-129
  • Prastawa M, Bullitt E, Moon N, Van Leemput K, Gerig G (2003) Automatic brain tumor segmentation by subject specific modification of atlas priors 1. Acad Radiol 10(12):1341-1348
  • Prastawa M, Bullitt E, Moon N, Van Leemput K, Gerig G (2003) Automatic brain tumor segmentation by subject specific modification of atlas priors 1. Acad Radiol 10(12):1341-1348
  • Kass M., Witkin A., Terzopoulos D.Snakes: active contour models Int J ComputVis, 1 (4) (1988), pp. 321-331
  • Srikrishnan V., Chaudhuri S., Roy S D, Sevcovic D.On stabilisation of parametric active contours IEEE Conf. Computer Vision and Pattern Recognition, CVPR'07 (2007), pp. 1-6
  • Cohen L D, Cohen I.Finite-element methods for active contour models and balloons for 2-D and 3- D images IEEE Trans Pattern Anal Mach Intell, 15 (11) (1993), pp. 1131-1147
  • Balafar M (2014) Fuzzy cc-mean based brain MRI segmentation algorithms. Artif Intell Rev 41(3):44149
  • Yang X, Fei B (2011) A multiscale and multiblock fuzzy cc-means classification method for brain MR images. Med Phys 38(6 Part 1):2879-2891
  • Capelle AS, Alata O, Fernandez C, Lefevre S, Ferrie J (2000) Unsupervised segmentation for automatic detection of brain tumors in MRI. In: Proceedings of international conference on image processing, vol 1. IEEE, pp 613-616
  • Pham DL, Xu C, Prince JL (2000) Current methods in medical image segmentation. Annu Rev Biomed Eng 2(1):315-337
  • Clarke L (1991) MR image segmentation using MLM and artificial neural nets. Med Phys 18(3):673
  • Pohl KM, Fisher J, Grimson WEL, Kikinis R, Wells WM (2006) A Bayesian model for joint segmentation and registration. NeuroImage 31(1):228-239
  • Srikrishnan V., Chaudhuri S., Roy S D, Sevcovic D.On stabilisation of parametric active contours IEEE Conf. Computer Vision and Pattern Recognition, CVPR'07 (2007), pp. 1-6
  • Srikrishnan V., Chaudhuri S., Roy S D, Sevcovic D.On stabilisation of parametric active contours IEEE Conf. Computer Vision and Pattern Recognition, CVPR'07 (2007), pp. 1-6
  • Dhanachandra N., Manglem K., Chanu Y JImage segmentation using k-means clustering algorithm and subtractive clustering algorithm Procedia Computer Science, 54 (2015), pp. 764-771
  • Dhanachandra N., Manglem K., Chanu Y JImage segmentation using k-means clustering algorithm and subtractive clustering algorithm Procedia Computer Science, 54 (2015), pp. 764-771
  • Bezdek J C, Hall L O, Clarke L PReview of MR image segmentation techniques using patternrecognition

Med Phys, 20 (4) (1993), pp. 1033-1048

  • Chen S., Zhang D.Robust image segmentation using FCM with spatial constramts based on new kernel-induced distance measure IEEE Trans Syst Man Cybem B (Cybem), 34 (4) (2004), pp. 1907- 1916
  • LECUN Y BOTTOU L, BENGIO Y et al. Gradient-based learning applied to document recognition [J], Proceedings of the IEEE, 1998, 86(11):2278-2324.
  • GIRSHICK R. Fast r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2015: 1440-1448.
  • LIU W, ANGUELOV D, ERHAN D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, 2016b: 21-37.
  • REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016:779-788.
  • LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation [C]//Proceedmgs of the IEEE conference on computer vision and pattern recognition. 2015:3431-3440.
  • CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Deep lab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 40(4):834-84&
  • KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012:1097- 1105.
  • SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J], arXiv preprint arXiv: 1409.1556, 2014.
  • SZEGEDY C, LIU W, JIA Y et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.
  • HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.
  • Zikic, Y Ioannou, M. Brown, A. Criminisi Segmentation of brain tumor tissues with convolutional neural networks Proc. BRATS-MICCAI (2014)
  • Urban, M. Bendszus, F. Hamprecht, J. KleesiekMulti-modal brain tumor segmentation using deep convolutional neural networks Proc. BRATS-MICCAI (2014)
  • Mohammad Havaei, Axel Davy, David Warde-Farley, Antoine Biard, Aaron Courville, Yoshua Bengio, Chris Pal, Pierre-Marc Jodoin, Hugo Larochelle, Brain tumor segmentation with Deep Neural Networks,Medical Image Analysis,Volume 35,2017,Pages 18-31,
  • Wang G., Li W., Ourselin S., Vercauteren T. (2018) Automatic Brain Tumor Segmentation Using Cascaded Anisotropic Convolutional Neural Networks. In: Crimi A., Bakas S., KuijfH., Menze B., Reyes M. (eds) Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Bram Injuries. BrainLes 2017. Lecture Notes in Computer Science, vol 10670. Springer, Cham
  • Kamnitsas, Konstantinos & Ledig, Christian & Newcombe, Virginia & Simpson, Joanna & Kane, Andrew & Menon, David & Rueckert, Daniel & Glocker, Ben. (2016). Efficient Multi-Scale 3D CNN with fully connected CRF for Accurate Brain Lesion Segmentation. Medical Image Analysis. 36. 10.1016J.media.2016.10.004.
  • Long, J., Shelhamer, E., Darrell, T.: Fully convolutional networks for semantic seg-mentation. In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 3431 {3440 (2015)
  • Ronneberger, O., P.Fischer, Brox, T.: U-net: Convolutional networks for biomed-ical image segmentation. In: Medical Image Computing and Computer-Assisted Intervention (MICCAI). LNCS, vol. 9351, pp. 234(241. Springer (2015)
  • Isensee, ,Kickingereder, P., Wick, W., Bendszus, M., Maier-Hein, K.H.: No new unet. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018). Multimodal Brain Tumor Segmentation Challenge (BraTS 2018). BrainLes 2018 workshop. LNCS, Springer (2018)
  • McKinley, R., Meier, R., Wiest, R.: Ensembles of densely-connected cnns with label-uncertainty for brain tumor segmentation. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018).
  • Huang, G., Liu, Z., van der Maaten, L., Weinberger, K.Q.: Densely connected convolutional networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2017)
  • Jegou, S., Drozdzal, M., Vazquez, D., Romero, A., Bengio, Y.: The one hundred layers tiramisu: Fully convolutional densenets for semantic segmentation, vol. abs/1611.09326 (2016).
  • Myronenko A. (2019) 3D MRI Brain Tumor Segmentation Using Autoencoder Regularization. In: Crimi A., Bakas S., Kuijf H., Keyvan F., Reyes M., van Walsum T. (eds) Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. BrainLes 2018. Lecture Notes in Computer Science, vol 11384. Springer, Cham
  • Hu, L. Shen, and G. Sun. Squeeze-and-excitation networks. arXiv preprint arXiv: 1709.01507, 2017. 5,7
  • Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pat-tern recognition, pages 3431-3440, 2015.
  • Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet:Convolutional networks for biomedical image segmentation.In International Conference on Medical image computing and computer-assisted intervention, pages 234-241. Springer, 2015.
  • Liu, A. Rabinovich, and A. C. Berg. Parsenet: Looking wider to see better. In International Conference on Leammg Representations, 2016.
  • Zhao, J. Shi, X. Qi, X. Wang, and J. Jia. Pyramid scene parsing network. In IEEE onference on Computer Vision and Pattern Recognition, 2017.
  • Hu, L. Shen, and G. Sun. Squeeze-and-excitation networks. arXiv preprint arXiv: 1709.01507, 2017. 5,7
  • Liu, A. Rabinovich, and A. C. Berg. Parsenet: Looking wider to see better. In International Conference on Leammg Representations, 2016.
  • Zhao, J. Shi, X. Qi, X. Wang, and J. Jia. Pyramid scene parsing network. In IEEE onference on Computer Vision and Pattern Recognition, 2017.
  • -C. Chen, G. Papandreou, F. Schroff and H. Adam. Rethinking atrous convolution for semantic image segmentation. arXiv, 2017.
  • Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pat-tern recognition, pages 3431-3440, 2015.
  • Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet:Convolutional networks for biomedical image segmentation.In International Conference on Medical image computing and computer-assisted intervention, pages 234-241. Springer, 2015.
  • Changqian Yu, Jingbo Wang, Chao Peng, Changxin Gao, Gang Yu, and Nong Sang. Bisenet: Bilateral segmentation network for real-time semantic segmentation. In Proceedings of the European Confere

致谢

感谢我的指导老师李志成研究员。本课题从开题,中期,到结题,一直是在老 师的认真知道和督促下完成的,本文亦是在隆晓菁老师的帮助和修正之下完成的。 更感受到老师工作中的兢兢业业,生活中的平易近人。此外,他们严谨的治学态 度和忘我的工作精神值得我去学习。

感谢课题组的所有同学们,帮助我解决了很多实际问题,是我的毕业课题那 能够顺利的进行。

感谢在我研究生期间所有为我们授课的老师们,帮助自己拓展了汲取知识的 广度和深度。老师们的认真负责以及专业的领域知识也时时亥孩怕勺激励着我。