基于3D卷积神经网络的海马体 配准技术研究论文

2020年7月14日16:46:02基于3D卷积神经网络的海马体 配准技术研究论文已关闭评论

基于3D卷积神经网络的海马体 配准技术研究论文

摘要

海马体是大脑组织的重要组成部分,是重要的边缘神经系统,它的主要功能是进行记 忆、学习以及空间定位。许多神经系统疾病,如颍叶癫痫、阿尔茨海默病、精神分裂症及 抑郁症等,都与海马体形态体积和功能的改变有关。磁共振图像因为它本身具有对比度丰 富、分辨率高以及三维脑组织信息等特点,能够实现海马体三维重建,是研究海马体形态 的重要数据。图像配准是海马体分析的重要步骤,通常是将拍摄的海马体图像配准到标准 模板空间中,进而实现对海马体形态、灰度等信息的统计。然而,传统的图像配准方法在 解决图像配准问题时存在计算量大、耗费时间长的问题。近年来,随着深度学习的发展, 端对端网络的产生,为解决图像配准问题提供了新的思路。针对海马体配准的问题,本文 提出了基于3D卷积神经网络的海马体配准模型,能够非迭代的估计图像之间的空间对应 关系,解决配准算法中计算时间长的问题。该方法通过端对端的学习,以传统图像配准方 法计算的形变训练深度学习模型,作为卷积神经网络的初始值,然后使用配准方法中优化 形变使用的相似度矩阵进一步优化网络的参数。

本文的研究内容主要包含以下几个方面:

  • 提出了基于3D卷积神经网络的海马体配准模型,并成功实现脑部海马体配准任 务。该方法基于3D卷积神经网络设计端到端学习模型,使用已知形变场和相似度矩阵双 重监督的方法,在保留学习传统图像配准方法的精度的同时,以无监督的方式进一步优化 海马体配准模型,最终训练的模型可以直接估计三维图像之间的空间对应关系。在公开数 据集上的实验结果证明,该方法可以有效估计图像之间的空间对应关系,实现大脑海马体 的对准。
  • 提出了基于3D卷积神经网络的全脑图像配准模型,能够有效解决深度学习算法 在全脑图像上配准的难题。分别提出基于Patch的方法和修改卷积层的方法两种实现方案。 基于Patch的方法将全脑图像分割成大小相等的图像,图像块之间有重叠,对每个图像块 单独执行图像配准,最后通过对图像块形变的计算和拼接,得到全脑图像的空间对应关系; 全图配准方法,该方法根据对全脑图像卷积所需显存的计算,修改卷积的通道数。通过在 公开的脑图像数据集上实验,两种方案都可以有效实现脑图像配准。此外,我们分析了这 两种方法的优缺点。
  • 提出了基于卷积神经网络多光谱眼底图像的配准方法,为解决多模态配准问题 提供了新的思路。该方法借助卷积神经网络随着训练记录卷积参数的特点,学习图像间的 空间对应关系。对于多光谱眼底图像,血管图对齐能够代表图像对齐。因此,在模型训练 时,使用图像对应的血管图计算相似度帮助网络的训练。在眼底多光谱数据上的实验结果 表明,分割图指导的弱监督图像配准方法可以有效实现眼底多光谱图像的配准。

关键词:卷积神经网络,配准,海马体,核磁共振图像 中图分类号:TP391

Hippocampus registration based on 3D・convolution neural network

Abstract

Hippocampus is an important part of the limbic nervous system, which is mainly responsible for human memory, learning, and spatial positioning. Many neurological diseases, such as temporal lobe epilepsy, Alzheimer5s disease, schizophrenia, and depression, are associated with changes in the shape, volume and function of the hippocampus. Magnetic resonance imaging (MRI) can provide three-dimensional brain tissue information with rich contrast and high resolution. It is essential data for the study of hippocampal morphology. Image registration is very important for hippocampal analysis. Usually, the captured hippocampal images are registered into the standard template space, and then we can realize the statistics of hippocampal morphology, gray level, and other information. However, the traditional image registration methods have the problems of a large amount of computation and time-consuming. In recent years, with the development of deep learning and the emergence of the end-to-end network, it provides a new way to the above problems of image registration. For hippocampus registration, this paper proposes a hippocampus registration model based on 3D convolution neural network, which can estimate the spatial correspondence between images without iteration during the test and solve the problem of time-consuming in the traditional registration algorithm. Our method can be training to estimate the displacement between the two input images through end-to-end learning from the ground-truth deformation field. The ground-truth deformation field can be used as the initial value of fully convolution network, and then further optimized the parameters of the network using a similarity matrix similarity to the traditional registration method.

(1 ) We propose a hippocampus registration model based on 3D convolutional neural network and successfully solve the hippocampal registration task in the MRI brain image. The method is based on an end-to-end 3D convolutional neural network which using the dual supervision, including known deformation field and similarity matrix, the hippocampus registration model is further optimized in an unsupervised manner while retaining the accuracy of learning from the traditional image registration methods. The trained model can directly estimate the 3D spatial correspondence between the two input images. The experimental results on the public data set prove that the method can effectively estimate the spatial correspondence between images and achieve the alignment of the hippocampus of the brain.

(2) We propose a global brain image registration model based on 3D convolutional neural network, which can effectively realize the registration of deep learning methods on whole brain images. Two implementation schemes are proposed: (1) Based on the image patch method and (2) Modifying the convolutional layer. The patch-based method divides the whole brain image into equal-sized image patches, and there are overlaps between the image patches. Image registration is performed separately for each image patch. Finally, the spatial correspondence of the whole brain image is obtained by calculating and splicing the image patch deformation. For the method

 

of modifying the convolution layer, we adjust the number of convolution channels by calculating the required memory for the whole brain image. Through experiments on the open brain image data set, both schemes can effectively achieve brain image registration. Also, we analyze the advantages and disadvantages of these two methods.

(3) We propose a deep-learning-based registration method for multispectral fundus images, which provides a new approach for solving the problem of multimodal image registration. With FCN, the spatial correspondence between images is studied by recording the convolution parameters with the training process. For multispectral fundus images, retinal vessel alignment can represent image alignment. Therefore, in the model training, the image corresponding vascular map is used to calculate the similarity to help the training of the network. The experimental results on the fundus multispectral data show that the weak supervised image registration method guided by segmentation map can effectively realize the registration of fundus multispectral images.

Key words: Convolutional Neural Network; Image Registration; Hippocampus; Magnetic resonance imaging (MRI);

中图分类号:TP39

第一章绪论

1.1研究背景与意义

医学图像处理是对不同的成像技术,如CT、MRI、超声等技术生成的图像进行显 示,以及通过医学图像分割、医学图像配准等方式对图像的内容进行解读。21世纪以 来,随着科技的发展,医疗设备的完善,以及人们经济条件和生活水平的日益提高, 人们对健康的重视程度也随之提高,医学图像处理经历了一个从静态到动态、从形态 到功能、从二维到多维的发展过程,极大的帮助医生做出更加准确的医疗诊断服务, 医学图像处理对辅助疾病诊断具有非常重要的意义。

图像配准技术,是在不失真的前提下,将不同时间、不同成像设备或不同条件下 获取的图像所含的内容映射到指定的空间中Z】。医学图像配准是实现医学图像信息融 合的基础,非刚性图像配准是医学图像分析的基本技术之一,在区域分析、手术导航、 放射治疗等领域有重要的应用意义[7罔。图像配准技术在医疗诊断分析中应用越来越广 泛,其中配准技术在大脑分析领域的应用也越来越广泛。

1.1.1海马体介绍

海马体是大脑的一部分,它存在于大脑底部中段的内褶皱中。人类已经研究海马 体超过4个世纪,它是大脑中研究最多的部分之一。海马体的名字来自希腊语单词 Hippo,意思是海马,由于海马体与海马的形状相近。它不仅有助于长期记忆的存储, 还负责记录物体或人的位置。如果没有海马体的工作,我们甚至无法记住我们的房子 在哪里。

1-1大脑海马体模型图1

海马体功能

有研究表明,海马体参与新记忆的形成,也与学习和情绪有关。海马体在新记忆 的形成,组织和储存中起着至关重要的作用,并将某些感觉和情感与这些记忆联系起 来。海马体的不同亚区域在某些类型的记忆,如空间记忆中起着重要作用。海马体也 在巩固睡眠期间的记忆中发挥作用。

这些并不意味着记忆本身长期存储在海马体中。相反,人们认为海马体作为装运 中心的一部分,接收信息,登记信息,并在将其运送出去存储并存储在长期存储器中 之前暂时存储信息。睡眠被认为在这个过程中发挥着关键作用。

影响海马体的疾病

海马体是大脑中非常敏感的部分,一系列条件会对其产生不利影响,例如长期处 于压力中。一些疾病的产生,如阿尔茨海默病、抑郁症、癫痫、精神分裂、失忆症、 创伤后应激障碍等疾病的发展都与海马体有一定的联系。因为海马体在新记忆的形成 中起着如此重要的作用,海马体的损伤会对某些类型的记忆产生严重的长期影响。

海马体是最早受阿尔茨海默病影响的区域之一。阿尔茨海默氏症的早期征兆是一 个人开始失去短期记忆。随着疾病的进展,海马体体积减少,对日常生活产生影响。 患有难治性颖叶癫痫的患者常伴随着海马体硬化。

一些研究人员表示,在抑郁症患者中,海马体可缩小20%。患有严重抑郁症的人 的海马体平均比没有抑郁症的人平均小10%。科学家们不确定小尺寸是否是抑郁症的 结果,或者它是否是一个促成因素。有证据表明压力会对海马产生负面影响。

目前的研究

2016年,科学家发表了一篇关于运动对认知衰退和衰老的研究综述。研究发现, 运动可以增强海马体结构产生新的神经细胞的能力,这可能意味着运动可以改善记忆。 然而,产生这种结果的影响因素非常复杂,许多变量会影响结果,需要更多的研究来 证明。

2017年8月,香港的研究人员发表研究结果表明,海马体中的低频活动可以驱动 大脑中其他部分的功能连接。换句话说,海马体中的活动不仅会影响记忆和方向判别, 还会影响视觉、听觉、和触觉等功能。

目前海马体的功能、海马体与各种疾病的联系仍在研究中。

12海马体彩色模型图

13脑部MRI图像海马体在水平位、冠状位、矢状位影像图

1.1.2卷积神经网络的发展

近年来,随着计算机视觉、医学图像等领域的发展以及人工智能在医学图像领域 的发展,图像配准特别是多模态图像配准的需求也日渐明显。传统的图像配准方法通 常是通过迭代过程逐步优化,为实现精确的图像配准效果,存在计算资源消耗大、耗 时长的问题。一对三维脑组织数据用最经典的SyN配准方法在CPU上计算时间大约 为一小时左右,导致精确的图像配准方法无法在实际的医疗中得到很好的应用。随着 硬件设备的不断提升,图像处理与分析技术的快速发展,基于深度学习方法的图像处 理不断进步,以及端到端网络的产生,深度学习模型已经能够在图像分割等任务中达 到非常精确的结果。深度学习网络具有随着训练记录训练参数的优势,为解决图像配 准过程中存在的问题提供了新的研究方向。最新的研究成果,例如有监督的图像配准、

2 http s: //www. dailymail. co. uk 无监督的图像配准方法,都表现出了巨大的时间优势。研究基于卷积神经网络的实时 医学图像配准,对疾病的分析、手术导航、放射治疗等医学问题有着重要的意义。

1.2国内外研究现状及分析

卷积神经网络在图像分类、图像分割、目标检测、风格转换等图像处理任务中表 现出非常好的结果。2012年,MNIST数据库的错误率为0.23%。随后,一个名为 AlexNet的CNN赢得了 2012年ImageNet大规模视觉识别挑战赛⑼。在ILSVRC 2014 大规模的视觉识别挑战中,几乎所有排名靠前的团队都使用CNN作为他们的基本框架。 获胜者GoogLeNet网络使用了 30多层卷积层,将对象检测的平均精度提高到0.439329, 并将分类误差降低到0.06656,这是迄今为止最好的结果。卷积神经网络在ImageNet 测试中的表现接近于人类的表现。另外,卷积神经网络在视频分析问、自然语言识别Hi]、 健康风险评估0、棋盘游戏问等方面也有应用。

海马体是颖叶内侧的复杂脑结构,在学习和记忆方面发挥着重要作用。海马体结 构脆弱,易受到各种刺激的破坏。研究表明,它也会受到各种神经和精神疾病的影响。 在过去十年左右的时间里,人们已经了解了影响海马体并产生从分子到形态学变化的 条件。放射学描绘,电生理学和组织化学表征的进展使得有可能更详细地研究这种脑 结构网。

赵问等人比对抑郁症患者和健康人的大脑MRI数据中海马体体积形态,经过数据 的三维重建,分析了抑郁症患者于正常人的海马体形态结构和体积的差异,证明了 MRI 图像对海马体形态分析的重要性以及MRI图像观察的海马体体积可用于抑郁症患者临 床诊断。此外,还有年龄问以及其他外部因素"I对海马体的影响也在研究中。

由于海马体体积的变化是阿尔茨海默病的早期症状,因此脑图像的海马体分割可 用于辅助阿尔茨海默病的诊断。MR脑图像广泛用于神经病学研究和临床实践,并可 用于研究疾病与海马体体积之间的关系。然而,海马体的手动分割是一项耗时的工作, 由训练有素的专家通常需要两个小时或更长时间。此外,专家需要广泛的培训,以确 保分割过程中的高重复性和可靠性[罔。因此,手动分割需要非常密集的劳动,并且在 实际分析应用中受到限制。没有任何人为干预和专家知识的自动分割技术可以解决手 动分割的局限性。通常,采用一种基于图集的分割方法MB],在地图集图像和要分割 的目标图像之间执行配准。使用在配准期间确定的映射来变换图谱的手动标记以获得 目标图像的分割。应用从图谱图像到目标图像的配准以获得精确的分割结果四4]。基 于多图集的分割执行从多个图集图像到目标图像的多次配准,这缓解了这个问题并减 少了基于单个图谱的分割的偏差并且产生了更高的准确度。

1.3论文主要研究内容与创新点

本文的主要研究是基于深度学习的脑部核磁共振图像海马体配准,分析核磁共振 图像中海马体的特征,结合已有的配准方法以及深度学习回传机制,设计提出了双重 监督训练图像配准模型,实现对脑部核磁共振图像中海马体区域的配准,进一步实现 对全脑核磁共振图像的无监督配准。

1.3.1论文研究内容

本文的研究内容主要由以下四个方面组成:

  • 研究现有的深度学习模型,包括深度学习实现分类、分割等任务,配置深 度学习运算环境。

探索深度学习的运行机制,在高性能服务器上搭建深度学习模型。由于三维数据 的卷积神经网络计算需要占用大量的GPU计算资源,本文研究内容之一是探索如何让 研究中使用的数据高效利用GPU计算资源进行计算。

  • 研究FCN网络模型在医学海马体MRI图像配准的可行性。

FCN网络模型经过卷积、池化等操作提取图像中的信息,再经过反卷积操作将图 像还原到原图像大小,从而实现图像的像素级别的分析,针对图像配准的任务,对FCN 网络进行改造。深度学习过程需要大量的标注数据,而图像配准的任务中没有已知的 精确地形变场作为真实标签,我们采用相似度矩阵的方法训练网络。训练的过程类似 于传统方法中的迭代优化过程。经过训练的模型能够实现对海马体图像的自动分析, 得到图像之间的空间对应关系。

  • 研究FCN网络模型在全脑MRI图像配准中的应用。

研究全卷积神经网络的结构特点,分析卷积神经网络实现三维图像配准的难点。 针对显存不足的问题,设计两种解决全脑海马体配准的技术方案,并且进行实验验证。

  • 研究MSI图像的成像机制,针对MSI图像设计多模态配准模型。

对于MSI图像,不同层的图像有明显的灰度差异,其配准问题类似多模态图像的 配准问题,已有的单模态图像配准的方法不再适用。研究卷积神经网络的计算和梯度 回传机制,针对MSI配准问题提出使用借助血管图配准的弱监督图像配准方法,禾UCNN卷积神经网络模型,进行图像特征提取。经过训练的模型可以在无血管图的情况 下,估计图像之间的形变。

1.3.2创新点

论文的创新点主要有如下四点:

  • 针对医学图像配准任务中获取密集形变难的问题,设计双重监督的深度学 习配准算法。
  • 将自己提出的基于深度学习的配准方法应用于全脑图像的配准,在尽可能 保留配准精度的基础上极大地缩短了配准的时间。
  • 将提出的基于深度学习的配准模型应用于眼底多光谱图像,针对多模态图 像特征的差异性,提出分割导向的弱监督配准方法。

1.4论文组织结构

第一章,绪论。该部分阐述了本论文的研究背景及意义。分别从基于灰度的图像 配准方法、基于特征的图像配准方法和基于学习的图像配准方法三方面分析了国内外 研究现状,随后分析了传统图像配准方法中存在的不足。最后,总结了本文的研究目 标、研究内容和创新点。

第二章,配准方法研究与基于深度学习的医学图像配准算法分析。本章介绍了图 像配准问题中的具体实现过程方法。引出目前基于深度学习的图像配准,分别从有监 督的图像配准方法、双重监督的图像配准方法和无监督的图像配准方法三个方面分析 了最新的基于深度学习的图像配准方法。

第三章,大脑MRI影像海马体配准模型。本章首先简单描述了海马体在人体中的 重要作用,而后介绍了 MRI影像的成像原理。基于海马体在MRI影像中的形态表现, 设计基于卷积神经网络的海马体配准模型。最后,通过实验验证了我们所提出的配准 模型的优越性。

第四章,全脑MRI影像的配准模型。本章首先介绍了脑图像配准的研究背景,分 析了全脑图像配准的可行方案:(1)基于Patch的方法;(2)全图配准方法。最后, 通过实验方式验证两个配准方案的可行性,对比分析这两个基于深度学习的配准方案 的优缺点。

第五章,多模态图像配准模型。本章首先针对多模态图像配准问题中图像间存在 特征差异的问题提出了针对多模态配准问题的分割导向的弱监督图像配准模型,然后 简单介绍了多光谱眼底图像的成像原理,以及配准存在的问题。而后,在多光谱眼底 图像上实验,验证了我们提出的分割导向的弱监督图像配准模型。由于是对全图配准, 我们借助深度学习的多尺度架构加入了金字塔模型,分别从不同尺度上对配准结果进 行优化。最后,通过实验分析我们提出的弱监督的多光谱眼底图像配准模型的优越性 能。

第六章,总结与展望。对本文研究进行了总结,并提出了在研究过程中存在的尚 未解决的问题,提出下一步的研究计划。

1.5本章小结

本章首先介绍了论文研究内容的背景及其意义,然后总结了本文的研究内容和研 究创新点,最后对本文的整体结构进行了介绍。

第二章 基于深度学习的医学图像配准算法分析

本章中首先介绍了图像配准的基本概念、图像配准的常用方法,总结分析了几种基于 深度学习的图像配准方法,为接下来实现海马体配准提供了理论基础。

2.1配准的基本概念

图像配准,是将不同时间、不同成像设备或不同条件下获取的的图像中所含的内容映 射到指定的空间中。近年来,图像配准技术在计算机视觉、医学图像分析等领域得到广泛 的应用,可作为图像检测、分割等任务的预处理工作。

图像配准的具体流程:

21图像配准流程

2.1.1特征空间

图像配准有两种普遍的应用。第一个是将标记数据从模板空间映射到目标空间。例如, 在海马体分割的任务中,模板空间提供了海马体边界的标注。映射过程可以将模板空间的 标注边界映射到目标空间。当海马体的表现结构特征不足以标记结构时,这种策略是非常 重要的。第二个是按照第一个方法的“逆方向”操作,不是将模板映射到主题,而是将主 题映射到模板。基于功能变量和结构变量的研究依赖于对模板空间的映射。

2.1.2空间变换

将待配准图像与模板图像之间相关联的变换模型称为空间变换。分为以下几类:

刚体变换:图像只经过平移或旋转,图像本身内容不发生任何形变。

矩阵形式:

其中0表示旋转角,txty分别表示x方向和y方向的位移量,p和分别表 示配准前和配准后坐标位置。

仿射变换:二维坐标到二维坐标之间的线性变换,包括平移、缩放、翻转、旋转、剪 切,一系列的原子变换的复合来实现。仿射变换在图像配准中的应用非常广泛,常作为形 变变换前的预配准步骤。

矩阵形式:

刚性变换是特殊的仿射变换。

投影变换:投影变换是一种比较复杂的转换类型,需要建立两平面场之间及邻域双向 连续点的一一对应关系。投影矩阵通常是比例和透视投影,将视锥体转换为长方体形状。 因为视锥体的近端小于远端,所以具有扩展靠近相机物体的效果。通常在手术导航中应用。

非线性变换:非线性变换是在不同图像之间建立空间对应关系,通过非线性密集变换 或空间变化的变形模型形变源图像到模板图像。这种复杂的高维的参数或非参数话的变换 能够覆盖精细的、局部化的图像形变。可变形配准与器官分割一起,是现代医学图像分析 的主要挑战之一。

2.1.3插值算法

源图像经过插值变形到目标域,从而导致图像形变。常用的插值方法有:

最近邻插值:是一种简单的插值算法,取最近邻域点的像素灰度值作为插值点得灰度 值。最近邻插值算法计算简单,易于实现,常用于对标注(Label)图像执行形变时插值。

线性插值:线性插值是和周边点计算关于距离的线性方程,得到插值点的灰度值。对 于二维图像,执行双线性插值。首先在一个方向上执行线性插值,然后再另一个方向上再 次执行线性插值。尽管在每一个步骤上的采样值都是线性的,但是整体的插值不是线性的。 双线性插值是图像配准中最常用的插值方法,在图像配准任务中得到广泛的应用。

B■样条插值:B样条函数通过称为控制点的点数并创建平滑曲线,可以使用多个点创 建和管理复杂的形状和表面。在图像形变问题上,是利用分段光滑的曲线描述需要插值的 点。

特征空间的选取会影响变形图像的估计。当估计前向映射时,源图像的每个体素被向 前推到其在变形图像中的估计位置。当估计后向映射时,从源图像中提取变形图像中的体 素的像素值。两种方案之间的区别在于解决插值问题的难度。在第一种情况下,需要解决 散射数据插值问题,因为源图像的体素位置通常被映射到非体素位置,并且必须计算变形 图像的体素的强度值。在第二种情况下,当变形图像的体素位置被映射到源图像中的非体 素位置时,可以通过内插相邻体素的强度值来容易地计算它们的强度。

2.2图像配准方法研究

图像配准的方法可以分为以下两种:(1)基于灰度的方法;(2)基于特征的方法。 近年来,随着机器学习的发展,也出现了基于机器学习的图像配准方法。

2.2.1基于灰度的图像配准方法

比较经典的基于灰度的图像配准方法如Demons^], ANTs-SylW®, FNIRT^l, FLIRT%]。 这类算法的一个关键部分是利用适当的相似性度量。图像相似度量是对两个图像或两个图 像区域之间的相似性进行定量评估的方法,是配准方法的基础。在医学图像和计算机视觉 中已经提出了大量的图像相似度度量,常见的相似度度量的方法包括:

互相关(Cross-coirelation CoefcientCC)。归一化相关强度值之间的相关性除以目 标和参考物体的平方根自相关:

该方法具有良好的配准精度,适用于同模态图像间的配准和部分异模态图像之间的配 准。

互信息(mutual informationMI)。互信息基于信息理论概念。互信息以及互信息方 法的变体被广泛应用于图像配准[29]。

经过计算,我们能够分别得到图像A和B的信息癇,然后再进行下一步,计算他们之

联合Z商减去两组的Z商来获得互信息

MI = H(AB) — HQ4) — H(B)                                (2-6)

该方法既适用于同模态图像的配准,又适用于异模态图像之间的配准。注册不同模态 的图像时,互信息是很好的相似度度量方式。

均方差(Mean Squ吐ed Difference, MSQ)。均方强度值之间的平方差的和,要求两个 对象具有相同范围的强度值。

该方法只能用来进行同模态图像间的配准。

没有正确的图像相似性度量标准,但是有适用于特定应用程序的一组度量标准。应根 据要配准的对象类型和预期的未对准类型来选择度量。

然而,基于灰度的配准方法的主要限制是强度匹配不一定意味着正确的解剖学位置对 应。主要原因是图像采集的过程中可能存在伪影和噪声,而基于灰度的方法不能区分真实 的组织特征和伪影与噪声产生的特征。

2.2.2基于特征的图像配准方法

基于特征的配准方法将图像配准总结为特征匹配和变形优化问题。提取待配准图像中 的点、线、边缘等特征信息进行匹配。常见的特征提取方法有:定向梯度直方图(Histogram of oriented gradient, HOG)卩叭 尺度不变特征(Scale Invariant Feature Transfbnn, SIFT) [31k 梯度和方向直方图(Gradient Location and Orientation Histograms, GLOH)卩习等。某些类型 如SIFT特征不依赖于特征区域的大小,对旋转、缩放、亮度差异等保持稳定性。一些特 定类型的特征是依赖于梯度信息,因此在计算时不受不同模态外观差异的影响。

2.2.3基于学习的图像配准方法

近年来,随着机器学习技术的发展,为解决图像配准过程中迭代优化时间长的问题, 基于机器学习的方法被提出⑴】。

基于机器学习的方法使用主成分分析(principal Component Analysis, PC A)和支持向 量机(Support Vector Regression, SVR)作为学习模型,学习目标图像到模板图像之间的 形变。估计初步的中间形变,计算得到中间图像,之后通过已有的图像配准方法得到中间 图像到模板图像的形变路径。结合两步所获得的形变,得到最终的形变路径。对于每一个 目标图像,都会估计出对应的中间模板。由于中间模板与模板图像之间非常接近,在配准 任务中小的形变更容易计算,而目标图像到中间模板是通过形变场计算得到,不存在形变 误差。因此,基于机器学习的图像配准方法不仅能缩短图像配准所需的时间,而且有利于 提高图像配准的精度。

然而,基于机器学习的图像配准方法,训练的机器学习模型与模板图像是一一对应的, 一旦更换了模板图像,配准模型要重新训练。

2.2.4传统图像配准方法中存在的不足

传统的图像配准方法,无论是基于灰度的还是基于特征的方法都能够达到比较高的配 准精度。然而,无论是基于灰度的方法还是基于特征的方法都是通过迭代运算来进行优化, 由于迭代优化需要大量计算,时间复杂度高、对硬件设备的要求也比较高,无法在实际医 疗中得到应用。基于学习的方法,一定程度上解决了配准计算中迭代优化时间长的问题。 然而,此类基于学习的方法是以固定模板为前提的。

2.3医学图像配准

可形变的医学图像配准⑻是医学图像处理中的一项基本任务,主要有以下几方面的应 用:(1)多模态融合,通过不同的成像设备获得的信息融合,以便于诊断和治疗。(2) 研究同一目标个体随时间发生的解剖结构的变化。(3)正常解剖变异的人口建模和地图 集统计。可形变的图像配准随着器官分割成为现代医学图像分析中的主要挑战之一,该 过程通常被描述为一个优化问题,其目的是寻找不同图像之间对应的空间变换关系,配准 的目标通常是通过最小化能量函数实现:

其中,“表示模板图像,IsS)表示形变后的目标图像。公式中的第一项表示模板图 像与形变后的目标图像之间的相似度。第二项表示形变场的平滑性。最大化形变后的目标 图像与模板图像的相似度,或最小化差异,同时加入平滑项R(0)得到最优的形变场0。

2.4深度学习算法在医学图像配准问题中的应用

基于深度学习的图像配准是以端到端的全卷机网络(Fully Convolution Network, FCN) 网为基础搭建。网络分为编码(Encoder)和解码(Decoder)两个主要部分,编码器部分 包括包括卷积层(Convolution)和池化层(Pooling),能够得到不同尺度的特征映射图 (Feature Map)。解码器部分包括卷积层和反卷积层,卷积层进一步卷积特征图得到高维 特征映射,反卷积层将特征图逐步将特征图映射回原图像大小。

FCN网络模型的输入为待配准的目标图像和模板图像,经过卷积神经网络自动学习图 像之间的空间对应关系,用于预测目标图像与模板图像之间的非线性关联更】。因此在卷积 运算前,首先将目标图像与模板图像用仿射变换快速对齐,消除图像间的线性差异。其后, 图像配准的回归网络预测图像中的每一点形变的回归值,得到密集的形变场。

简言之,配准网络类似于一个参数函数,用于估计图像对之间的形变:

R (F,M) =0                                                   (2-9)

其中,R( •, •)是用于配准的回归网络,F是固定的模板图像,M是浮动的目标图像。

2.4.1有监督的图像配准方法

对于有监督的图像配准方法网,已知的形变场作为训练回归配准网络的Ground-trutho 如图2・3所示,输入为目标图像和模板图像的图像对对应位置的Patch,输出为此Patch中 间区域的三维形变(心,dy, dz) o之所以选择使用Patch作为网络的输入,是由于GPU 显存的限制。

其中0表示配准网络的到的形变场,09表示形变场的真实标签图,欧式距离损失函 数表示预测形变场与真实形变之间的欧氏距离平方的均值,也就是均方误差(Mean of Square Error, MSE)

深度学习模型需要大量的训练数据训练深度学习模型才能避免网络模型的过拟合。对 于图像配准任务特别是医学图像配准任务,图像间密集的形变场是非常难获得的,通常需 要非常有经验的医生花费大量的时间来标注。在实验中无法获得足够的已知有真实标记形 变场的图像对来训练深度学习网络。对此,在实际研究的过程中,通常使用已有的经典的 图像配准方法获得的形变场作为真实标签来训练深度学习模型。这种方式训练的深度学习 模型可以在非迭代的情况下预测图像间的空间对应关系,特别是在训练数据集上,能够达 到与用于训练的配准方法接近的配准结果。在测试数据上,也能表现出较好的形变结果。

然而,有监督的学习方法存在一个显而易见的问题一一即使网络模型经过了足够的训 练,训练模型的精度无法超越已知的配准方法。

2.4.2无监督的图像配准方法

为解决有监督图像配准方法中存在的问题,提出将传统的基于灰度的图像配准方法中 用于优化形变的相似度矩阵作为图像配准网络的优化条件厲;37;翅,在配准网络输出的形变 场之后加上可导的空间转换层(Spatial Transform Layer, STL)阳。配准网络的输入为目 标图像和模板图像的图像对对应位置的Patch,输出为此Patch中间区域的三维形变(心, dy9 ©),空间转换层的作用是将通过回归配准网络得到的形变矩阵与目标图像结合,经 过线性插值的方法得到形变后的目标图像。用已知的相似度度量矩阵计算形变后的目标图 像与模板图像差异作为训练配准网络的回传导数。空间转换层既具有前向传播的功能,又 具有反向传播的功能。同时,用正则化损失函数直接作用于配准网络输出的形变矩阵保证 形变场矩阵的平滑性。

24无监督的图像配准模型图

无监督配准网络的损失函数类似于传统方法的目标函数,包含相似度度量和形变场平 滑两个部分

相似度度量Lossm计算模板图像与形变后的图像间的差异,任何相似度矩阵都可以 作为计算损失函数的相似度度量方法。形变场的正则化项厶OSSr表示形变场的平滑,在传 统的迭代优化的图像配准方法中使用高斯平滑,每一次迭代产生的形变场都经过高斯卷积 平滑。这里可以先对形变矩阵使用拉普拉斯算子得到二阶导数图像,再通过最小化二阶导 数图像的到平滑的形变矩阵。

无监督的图像配准是通过最大化形变后的目标图像和模板图像之间的相似度来估计 目标图像到模板图像的密集形变场。无监督配准网络的训练过程类似于传统的图像配准迭 代优化的过程。因此,网络的训练不需要任何已知的标注或是形变场。经过训练的网络模 型可以在无任何标注的情况下无迭代的预测图像之间的空间对应关系。在新的图像对上的 实验,无监督的方法的结果优于有监督的训练方法。

无监督的网络训练方法在训练过程中不需要已知的标注,训练数据非常容易获得,任 何同模态的待配准数据都可用于训练和优化深度学习模型。然而,在训练过程中存在收敛 较难的问题,模型容易陷入局部最优。两部分损失函数之间的权重直接影响网络的收敛和 配准网络预测的形变矩阵的精确度。

2.4.3双重监督的图像配准方法

双重监督的图像配准方法购结合有监督和无监督两个配准方法的优势。用已知的形变 矩阵作为训练网络的Ground-truth,相似度度量方法进一步优化配准的结果,辅助配准网络 的训练。

双重监督的配准网络输入依旧为目标图像和模板图像的图像对对应位置的Patch,输出 为此Patch中间区域的三维形变(d%, dy, dz) o

厶 o ssTota[ = aLo ssM + RLo ss©                             (2-12)

配准网络的损失函数中包含无监督配准网络的损失函数厶OSSM和有监督网络的损失 函数LOSS0,由于使用已知的形变作为初始量,因此不需要形变场的空间平滑。Cl)LossM表示模板图像与使用网络输出的形变场形变后的目标图像之间的差异。(2)厶Oss© :表 示预测的形变场与已知的形变场之间的差异。

其中必和0是两个子目标函数的系数,a>0, p >0,并且必+ 0 = 1。系数在训 练过程中是动态变化的,在初始训练阶段P取较大的数值以加速网络的收敛,在微调阶 段a取较大的值来细化配准。

方法中的已知形变场是用已知的经典配准方法(如Demons©], ANTs-SyN^)得到形 变矩阵,作为配准网络的Ground-trutho双重监督的配准网络既避免了有监督配准模型中 缺少训练数据的问题,又避免了无监督方法中网络收敛难的难题。

2.5本章小结

基于卷积神经网络的图像配准方法是目前图像配准中非常前沿的方法,经过训练的回 归模型能够在无迭代的情况下自动提取图像对的特征,得到图像对之间的空间对应关系, 避免了传统图像配准方法中迭代优化的过程,极大地缩短的了图像配准所需的时间。

本章列举了配准的基本概念,从基于灰度的方法、基于特征的方法和基于学习的方法 三方面分析了已有的传统配准方法,并分析了传统的配准方法中存在的不足,而后分析了 近年来随着深度学习的发展出现的基于深度学习的图像配准方法。对已有的方法的分析证 明了我们的方法在实现双重监督的海马体结构配准的可能性,是后续研究工作的基础和前 提。

第三章 基于3D卷积神经网络的MR I影像海马体区域配准模型

在第二章中我们介绍了配准方法以及基于深度学习的配准方法,其中,基于有监督、 无监督、双重监督的方法可以应用于大脑MRI影像海马体的配准。在本章中,我们在第二 章所提到的深度学习的配准方法的基础上,提出我们的大脑MRI影像的海马体配准模型 (HR-Net)实现对海马体的配准。

本章中首先介绍了海马体的重要性、MRI影像的成像原理和成像特征,然后基于海马 体在MRI图像上的表现特征设计基于3D卷积神经网络的海马体配准模型HR-Net,模型 分别从网络结构和损失函数两方面具体介绍。最后,在实际的MRI影像的实现结果基础上 分析了基于3D卷积神经网络方法的一些优点。

3.1 MRI影像成像原理介绍

核磁共振成像(Magnetic Resonance Imaging, MRI)是一种非侵入性成像技术,可以在 不使用有害辐射的情况下生成三维详细的解剖图像。它通常用于疾病检测,诊断和治疗监 测。能激发并检测构成活组织的水中质子旋转轴方向的变化。核磁共振成像采用强大的磁 铁,产生强大的磁场,迫使体内的质子与该磁场对齐。当脉冲射频电流通过患者时,质子 被激发,并且旋转脱离平衡,抵抗磁场的拉力。当关闭射频场时,MRI传感器能够检测质 子与磁场重新对准时释放的能量。质子与磁场重新对准所花费的时间以及释放的能量的大 小取决于环境和分子的化学性质。医生能够基于这些磁性来区分各种类型的组织。为了获 得MRI图像,将患者放置在大磁体内并且在成像过程中必须保持非常静止以便不使图像模 糊。对比剂(通常含有轧元素)可以在MRI之前或期间静脉注射给患者,以增加质子与磁 场重新对准的速度。质子重新排列越快,图像越亮。

MRI扫描仪特别适合于对非骨骼部位或身体的软组织进行成像。它们不同于计算机断 层扫描(CT),因为它们不使用有害的电离辐射的X射线。MRI成像比CT成像能更清楚 地显示大脑,脊髓和神经,以及肌肉,韧带和肌腱的软组织结构;因此,MRI通常用于对 膝盖和肩部损伤进行成像。在大脑中,MRI可以区分脑白质和脑灰质,也可以用于诊断动 脉瘤和肿瘤。由于MRI不使用X射线或其他辐射,因此当诊断或治疗需要频繁成像时, 尤其是大脑中,它是首选的成像模式。然而,MRI比X射线成像或CT扫描更昂贵。

在MRI成像时,氢原子用于产生可检测的频射信号,水和脂肪中富含氢原子。在通过 T1 (自旋晶格;即,与静磁场在相同方向上的磁化)和T2 (自旋-旋转;横向于静磁场)的 独立弛豫过程激发之后,每个组织返回到其平衡状态。为了产生T1加权图像,在通过改 变重复时间(TR)测量MR信号之前允许磁化恢复。该加权图像可用于评估大脑皮层,识 别脂肪组织,表征局灶性肝脏病变,并且通常用于获得形态学信息,以及用于造影后成像。 为了创建T2加权图像,在通过改变回波时间(TE)测量MR信号之前允许磁化衰减。因 此,MRI扫描基本上映射了体内水和脂肪的位置。

MRI影像能够提供对比度丰富、分辨率高的三维组织成像。海马体在大脑中属于灰质 结构,在MRI影像中脑白质(WM)和脑灰质(GM)有明显的对比度。因此,通常在MRI 扫描影像中研究海马体的变化。

图3-1是海马体在脑部MRI图像中的显示。MRI对软组织呈现较高的对比度,是观察 脑部海马体最常用的医学成像方式。

3.2基于卷积神经网络的海马体配准模型

在第二章中我们研究了配准算法,分析了多种配准算法的特点以及存在的优势和缺点。 在本节中,我们在基于深度学习的配准算法的基础上,设计基于卷积神经网络的海马体配 准模型(HR・Net)实现对大脑海马体的自动配准,分别从网络结构和损失函数两个方面详 细介绍了我们提出的HR-Neto为了解决图像配准优化问题,我们利用FCN建立图像表征 的深度学习模型,同时建立了特征表示与图像变换之间的映射关系。与大多数端到端的深 度学习方法不同,我们的方法使用双重监督,首先基于训练数据训练模型,然后利用训练 的FCN模型来估计体素到体素之间的空间变换,通过最大化图像相似度度量来进行图像配 准,为考虑图像之间潜在的大形变,采用多分辨率策略来共同学习不同空间分辨率下的空 间变换,在不同分辨率下,对固定图像与目标图像之间的图像相似度度量进行计算,作为 深度学习网络的自监督。

图3-2展示了我们提出的双重监督海马体配准模型。模型在双重监督的配准方法的基 础上搭建,属于半监督的图像配准方法。一方面,使用已有的经典方法ANTs-SyN获得形 变场作为网络的Ground-truth,端对端的训练回归网络,训练过程与普通的回归网络训练 类似。另一方面,我们选择均方误差(Sum of Squared Differences, SSD)作为相似度矩阵, 无监督的优化回归网络的训练,相似度矩阵不能直接对形变场执行运算,而是先使用网络 得到的形变场形变目标图像,得到扭曲的目标图像与模板图像计算相似度,经过可导的空 间变换层,反向传播损失层计算的相似度,以最大化扭曲的目标图像与模板图像的相似度。

目标图橡

32双重监督的海马体配准模型图

对于给定模板图像与目标图像,我们选择海马体附近区域。配准网络的输入为模板图 像与目标图像中的图像对,通过两个通道连接到深度学习模型,输出为图像之间的空间变 换关系,从而优化模板图像与变换后的目标图像之间的相似度度量。配准网络类似于一个 参数函数,用于估计图像对之间的形变:

配准回归网络输出的形变矩阵经过空间转换层,将目标图像形变为扭曲后的目标图像, 计算扭曲后的目标图像与模板图像之间的相似度优化回归网络。无监督优化的过程类似于 传统方法中图像配准的迭代优化,训练后的网络模型可以直接对新的图像进行前传计算, 无需迭代优化。

3.2.1网络结构

我们基于U・NetHi]建立全卷积神经网络,提出了一种新的深度学习的非刚性图像配准 框架来学习待配准图像之间的空间变换。

图3-3显示了我们所提出的3D海马体配准模型的网络结构,该回归网络是基于U-Net 网络搭建的,由编码部分和解码部分对称的两部分组成o包括卷积层(Convolutional Layer)、 归一化互相关层(Batch Normalization Layer)、激活层(ReLU layer)、池化层(Pooling Layer)、 反卷积层(Deconvolutional Layer)和全连接输出层。具体而言,FCN架构使用多通道输入 估计最终位移矢量,Patch对来自模板图像和浮动图像。每个卷积层之后是ReLU激活。每 次图像缩小通道数量加倍,从固定大小的16到最终256个卷积通道。随后的解码部分由3 层卷积、反卷积和激活层组成。损失函数是我们所定义的双重监督损失。值得注意的是, 在每个卷积层中不应用填充操作以避免引入无意义的信息。特征图尺寸将逐渐减小,最终 的估计形变矩阵对应输入Patch的中间区域。

在编码和解码之间,加入层间的跳变,使深层特征与浅层特征融合。既保留了经过多 次卷积所得到的高等级特征,又能保留图像的空间位置信息。层间跳变也使损失函数层计 算的回传导数能够传递到起始的卷积层,有利于回归网络的优化。

模型采用多分辨率策略,在每个分辨率上有对应的形变场的输出。以较低分辨率形变 场作为高分辨率的初始化输入,采用典型的前馈和深度学习方法对所有的空间分辨率的形 变场进行联合优化。

空间转换层。我们的双重监督的海马体配准模型通过最小化模板图像与形变后的浮动 图像的差异,为了使用图像间差异的梯度,构建了可微的空间转换层。对于每一个体素p , 我们计算Is上的空间变换0(p)o由于图像值只在整数位置定义,所以我们用相邻八个像 素的体素进行线性插值

”(/屛(卩))=爲切鮒))Is(q)% S}(1 -血(p)-亦)                                          (3-2)

其中,Z(0(p))表示0(p)的临近点,由于这些操作是可微的,因此,我们可以在优 化过程中直接进行反向传播来指导网络的训练。

3.2.2端到端学习

端对端学习是经典的深度学习方法,常用于图像的分割圧41]、风格转换[42;切等任务。 该方法通常是指省略任何手工计算的中间算法,并直接从采样数据集中学习给定问题的解 决方案。对于图像配准任务,配准网络直接从已知的形变矩阵中学习图像对之间的空间对 应关系,以真实的图像之间的形变矩阵作为Ground-truth,使用L2 norm为损失函数训练 回归网络模型。

其中,N为输出形变场对应的总体素的个数,% 为回归网络训练的Ground-truth, 0

为回归网络估计的形变矩阵,N为图像中包含的体素的个数。

这项损失函数通过最小化预测形变与已知形变之间的欧氏距离来监督网络的训练。需 要注意的是,作为真实标签的已知形变场的精度直接关系到配准网络的精度,这要求作为 网络监督的形变是非常精确的。已知的形变矩阵 通过ANTs・SyN〔26]获得,由于 ANTs-SyN方法对不同数据都能得到较好的配准结果,被认为是最经典的配准算法之一屮】。 3.2.3相似度辅助学习

回归模型输出图像之间的形变矩阵,形变矩阵形变浮动图像得到扭曲后的浮动图像。 通过最小化扭曲的浮动图像与模板图像之间的差异进一步优化配准结果,优化的过程中网 络的参数随之调整。我们定义图像相似度矩阵作为卷积神经网络的训练

其中,“表示模板海马体图像,心表示目标海马体图像,</>图像对经过回归网络前 传运算得到的形变矩阵。Loss(dis)similartiy表示形变后的目标图像与模板图像之间的差异。 通过最小化差异,实现图像配准。

与端对端的直接学习不同,使用相似度辅助配准的回归网络训练的方法不是对形变场 直接学习。而是计算扭曲的浮动图像和模板图像之间的差异优化卷积神经网络,在卷积神 经网络优化学习过程中,没有明确的输出结果的目标,而是通过对空间变换后的图像间的 计算辅助回归网络的训练。因此,我们将其称之为相似度辅助学习。

3.2.4形变场平滑

图像配准需要考虑形变场的平滑度,在传统的图像配准方法中,每次迭代后使用高斯 卷积进行局部平滑。对于基于卷积神经网络的图像配准方法,高斯平滑不再适用。因此我 们在目标函数中使用如下的平滑约束

其中,v20为形变场的二阶梯度(拉普拉斯变换),我们使用L2范数优化形变场的 二阶梯度来保证平滑。另外,由于过度的使用二阶导数平滑,会导致配准结果的不准确。 因此,我们加入了一项极小权重的平滑项血II0II1,最小化形变矩阵,减少配准结果中 不合理的匹配。通过实验发现,两项平滑项约束都是必不可少的。

3.2.5双重监督学习

双重监督的配准模型的学习,在训练的过程中,既有已知的形变作为Ground-truth, 监督网络的端对端训练,又有相似度矩阵,辅助网络的训练。总的损失函数由有监督学习、 无监督学习和形变场平滑三部分组成,定义为

LoSSTotal = aLoSS© + B L 0 S S (dis) s imilartiy + Y^^^^regu        (3~6)

其中,厶OSS0表示有监督的训练,以已知的形变矩阵监督回归网络的训练。

L0SS(dis)similartiy表示无监督训练,以图像相似度为监督回归网络训练的约束条件。此外, 对回归网络得到的形变场加入正则化约束。CL邛 和y是子目标函数的系数,a>o,p> 0, y>0,并且伉+ 0 = 1。系数在训练过程中是动态变化的,在网络训练的起始阶段, 我们将a设置为一个较大的权重,使网络快速收敛,得到比较精确且平滑的形变场,然 后逐渐增大P的进一步调整图像配准。在实际的实验中,我们首先设置a = l ,之后每 经过两轮迭代,a减小0.1, B增大0.1,直至0 = 1。y为形变场正则化项的参数,保持 形变场的平滑。

3.3实验和分析

本节先介绍了实验所需的运行环境和实验使用的四个公开数据集,然后对比了我们的 算法在与几种经典的配准算法的性能:D.DemensQ]、ANTs-SyN^。并对比了我们使用的 双重监督的深度学习配准方法与有监督、无监督的方法。在训练集和测试集上进行了实验, 在论文中展示了配准的结果。

3.3.1实验环境配置

我们通过改进的3D Caffey在ubuntu操作系统,2颗Intel至强CPU处理器,每颗CPU 处理器有io个核心,4块NVIDIA Tesla V100 32GB计算GPU卡的环境上运行的。网络采 用Xavier"】作为卷积层的初始化策略,使用Adam[47]优化算法和反向传播相结合来计算梯 度和更新网络参数来优化回归模型的训练。学习率开始为2 x 10e"4 ,并且在每50K次 迭代后将学习率乘以0.5o

3.3.2实验数据

为了验证我们所提出的3D海马体配准模型,我们使用四个真实的大脑MRI图像配准 常用的公开数据集(LPBA40, IBSR18, MGH10, CUMC12)邯]。数据集可以从网站上下载 (https://continuousregistration.grand-challenge.org/data/)这四个数据集对应脑组织分区, 其中包含海马体的精确标注。四个数据集的数据执行两两配对配准,总共3160对图像对。

在实验中,我们将图像仿射变换到MNI-152空间中,每个体素对应lmmi我们截取 海马体区域作为回归网络输入的Patch,估算Patch的中间区域。回归网络模型计算图像对 之间的局部空间变换,不包含全局变换。

3.3.3实验结果

密集的真实形变不是很好定义,因此许多配准方法直接比较形变后的目标图像与模板 图像之间是否相似。在本节中,我们使用定量评估的方式评估算法。定量分析是指使用专 家标注的解剖结构来评估我们提出的3D海马体配准模型(HR・Net)。我们使用Dice分数 测量我们方法的准确性,量化两个结构之间的体积重叠。

骰子相似系数(DSC)o我们使用DSC计算血管标签图的重合度来评估的图像配准框架 的性能。具体来说,我们定量地计算了由经过形变后的浮动图像对应的血管图与模板血管 图之间的DSC,以评估对齐精度。

朕(曲切)=加                      ㈣)

其中,Lse = W(LsQ)表示形变后的浮动图像对应的海马体解剖结构标签图,S表示 模板图像对应的海马体解剖结构标签图。

在Dice分数中,数值为1表示解剖结构完全重叠,分数为0表示没有重叠区域。

我们随机选择2500对图像对作为训练数据,剩下的图像对为测试数据集。分别在训 练数据集和测试数据集上展示了海马体区域的DSC值对比结果。将所提出的方法与两种标

在训练数据集的计算结果中,D.Demons的结果较差,DSC值为69.3%, ANTs-SyN 方法的配准结果非常好。在基于深度学习的方法中,无监督配准方法的结果最差,其次是 基于监督的配准方法,双重监督的配准方法结果最好。可见双重监督的配准方法在深度学 习配准方法中能够达到非常好的配准效果。

35来自LPBA40, IBSR18, MGH10, CUMC12数据集中测试集上的海马体配准DSC结果

在测试数据集上的计算结果中,有监督的配准方法的结果较差,其次是Daemons和 无监督的配准方法。ANTs-SyN和双重监督的配准方法的结果相对较好。

与训练集上的结果相比,可以看出,传统的图像配准方法的配准结果比较稳定,在训 练数据集和测试数据集中的结果差异不大,ANTs-SyN方法的结果非常好。基于深度学习 的图像配准方法中,有监督的配准方法在训练集上达到很好的配准精度,而在测试集上的 结果相对较差。无监督的配准方法在测试数据集上的精度下降非常小,能够实现我迭代的 快速估计图像之间的空间对应关系的目的。双重监督的图像配准方法在训练数据集和测试 数据集上都能达到较好的配准精度,能够达到在保持配准精度的基础上缩短配准时间的目 的。

31算法运行时间

通过对海马体配准模型的实验结果分析,我们发现:

(1)  三种深度学习训练方法都能训练回归模型,经过训练的网络可以无迭代的得到 与传统的图像配准算法相当的图像配准结果。

(2) 有监督的配准方法在训练数据集上能够得到非常好的配准结果,然而在测试数 据集上的结果并不好。

(3) 无监督的配准方法虽然在训练集上比有监督的图像配准算法精确度差但是能 够达到稳定的配准结果,测试数据集上可以的到很好的配准结果。

  • 双重监督的配准方法训练的配准模型能够得到非常好的配准效果,无论在训练 数据还是在测试数据上。

我们证明,我们的模型能够与最先进的配准方法ANTs-SyN相媲美,同时,我们的方 法需要更少的计算时间完成图像对的配准。我们的方法学习图像之间的特征是普遍的特征, 在训练数据集上完成模型训练之后,可以在测试数据上获得非常好的配准结果。通过在四 个数据集上的实验结果表明,我们的方法不仅能对健康人大脑MRI完成配准,对有疾病的 数据集也适用。

3.4本章小结

本章主要研究了基于3D卷积神经网络的海马体配准,我们的实验是在Caffe环境下搭 建。本章中介绍了海马体和MRI成像,详细介绍了 3D卷积神经网络配准模型。基于U・Net 搭建端到端的卷积神经网络模型,网络输出与输入相同尺度的形变矩阵。我们分别计较了 有监督、无监督、和双重监督的策略在海马体配准问题上的差异。首先,三种深度学习训 练方法都能训练回归模型。经过训练的模型能够对图像之间的空间对应关系进行直接的预 测。第二,几种方法在训练过程中是有差异的。采用无监督的训练方法,网络优化容易局 部极值,不利于得到最优的配准网络,且训练时间长。第三,配准精度。三种深度学习模 型的配准方法都能够在训练集上达到非常高的配准精度,与传统的经典方法ANTs-SyN相 媲美的配准结果。然而,无监督的配准方法在测试集上并不能表现出很好的效果。因此, 我们认为,相似度矩阵加入损失函数参与网络的训练,有利于提高模型的鲁棒性,使模型 不易出现过拟合的现象。

第四章 基于3D卷积神经网络的大体积密集形变预测模型

在上一章中,我们针对海马体的配准问题设计了针对海马体配准的深度学习配准网络。 然而,在实际的病变分析中,为避免个体偏差,通常对全脑图像执行配准。在本章中,我 们改进我们的配准网络,设计全脑MRI影像的配准模型。由于GPU显存的限制,全脑图 像无法在已有的模型中完成配准。在本章中,我们设计了基于Patch的方法(BR-Netl)和 修改卷积层(BR・Net2)两种方法完成全脑图像的配准。

4.1脑图像配准的意义

图像配准是各种生物医学成像应用中的关键步骤。它提供了将一个数据集与另一个数 据集进行几何对齐的功能,并且是所有成像应用程序的先决条件,这些应用程序可以比较 不同目标,成像模态或跨时间的数据集[49】。配准算法还能够汇总和比较实验室的实验结果, 基于人口的脑图谱的构建,以及用于检测结构和功能成像数据中的组模式系统的创建。配 准方法是医学图像分析的基础,并且与大脑图谱结合提供了大脑解剖学或生理学结构,是 人口统计学或功能趋势分析的方法。

当与脑图谱一起使用时,配准算法具有强大的应用范围。大脑的数字地图集代表3D 坐标系中的解剖结构,是大脑绘图的基础。地图集定义了大脑的空间特征,相对于其他功 能它的形状和特征是什么?这个功能激活区域在哪里?与普通数据库相比,大脑有何不 同?通过配准到地图集的方式,经过与数字地图集的配准可以定量地回答这些与之相关的 问题。

4.2脑图像配准模型分析

大脑MRI影像通常为三维的数据,我们以LONI LPBA40数据为例,数据采集,数据 大小为220 x 220 x 184。然而,由于GPU显存的限制,已有的端对端网络,例如FCN, U・Net很难实现三维数据的直接处理,通过对数据的分析,我们分别采用基于Patch的方法 和修改卷积层两种方法,实现对全脑图像的配准。两个实验中我们的都采取双重监督的图 像配准方法。

4.2.1基于Patch的方法

我们在脑图像中提取大小相等的图像块(Patch),卷积神经网络估计Patch中间点的 形变或中心区域的形变。使用滑窗的方式提取三维脑图像数据,Patch可以任意指定大小。 然而,Patch越小,计算时间越长;Patch越大,占用的显存越大。在本文中,我们采用80 X 80 x 80的Patch作为回归网络的输入,输出对应的中心区域大小为50 x 50 x 50的形变 矩阵。

我们采用卷积核为3x3 ,步长为1的卷积核对图像进行卷积,深层卷积网络可以更 好地捕获周围区域的信息。每次卷积不会采取加边(Pad)的操作。因此,在每次卷积时

图像面积会减小,随着卷积次数的增多,损失Patch最外层的信息,只保留中间区域。需 要注意的是,我们的所有卷积操作的Pad都为0。对于配准任务,黑边会对计算产生非常 大的影响,直接影响最终空间对应关系的产生。因此,输出的Patch的大小小于输入图像 的Patch大小。最终的形变场由所有Patch的中心区域的形变组成。

基于Patch的图像配准方法的网络结构如图所示,其中n = 8。

目标图像

41基于Patch的方法(BRNetl)网络结构图

基于Patch的方法对图像大小没有任何限制,实际图像运算的时候不需要调整图像大 小,使用滑窗的方式一次计算图像对之间的形变矩阵。

4.2.2全图配准方法

全脑图像配准网络如图4-2所示,网络结构与U・Net类似,由编码器和解码器组成。 为了减少内存的占用,我们使用步长为2的卷积实现降采样的功能。在原始的U・Net中, 每次降采样,特征的通道数会加倍,在我们的方法中,为了减少内存的占用,我们在第一 次降采样之后的降采样过程,采取特征通道数不翻倍的策略舵]。MRI脑图像的中间区域展 示脑组织信息,外围为像素值为0的空区域。因此,我们在卷积操作是采取加边的策略, 我们依旧选用3x3的卷积核,每次卷积操作的Pad设置为1,因此步长为1的卷积操作 特征图大小不变,步长为2的卷积特征图大小减半。解码器将经过编码器得到的特征图还 原为与原图像相同大小的形变矩阵。

图4・2为全脑图像配准模型(BR-Net2),我们设置n = 8。

全脑图像配准模型(BR-Net2)算法以整幅图像作为卷积神经网络的输入,图像的边 长需要是24的倍数。在实验中,我们将图像重采样到相同的大小。实际上,模型对图像大 小无特殊要求,并且测试数据的图像大小可以与训练数据不同。

4.3实验与分析

4.3.1实验环境配置

该网络在Pytorch®。]环境下搭建,并使用Adam进行优化。我们使用随机梯度下降(SGD) 算法来训练改进的损失函数的回归网络,并在四个具有32G显存的显卡NvidiaTeslaVlOO 上进行训练。学习率开始为2 x 10e-4 ,并且在每50K次迭代后将学习率乘以0.5。

4.3.2实验数据集

为了验证我们所提出的全脑MRI影像配准模型,我们使用与上一章相同的四个公开数 据集(LPBA40 (56 ROIs), IBSR18(96 ROIs), MGH10(106 ROIs), CUMC12(130 ROIs)) °LONI 数据集包含40个年轻成人脑MR图像,54个ROI标签,以及脑灰质(GM),脑白质(WM) 和脑脊液(CSF)的组织分割。IBSR18(96 ROIs), MGH10(106 ROIs), CUMC12(130 RO⑸ 分别对应96, 106, 130个脑组织ROI标签。这四个数据集都有对应精确的脑白质、灰质 和脑脊液区域的手工分割。在实验中,我们将图像仿射变换到MNI-152空间。

图4-3是LONI LPBA40数据集中第一个T1加权图像数据,我们分别展示了冠状位、 矢状位、水平位的截面图。图4・4中展示了 LONILPBA40数据集中的T1加权图像以及对 应的ROI区域标签。LONI LPBA40数据集包含56个专家手工绘制的ROI区域,在配准实 验中,通常去掉小脑和脑干区域,用剩余的54个脑区的Dice衡量配准结果。图4・5中展 示了 LONI LPBA40数据集中第一个T1加权图像数据以及灰质、白质和脑脊液的标签图。

Dice相似系数(DSC)o我们使用DSC计算血管标签图的重合度来评估的图像配准框架 的性能。具体来说,我们定量地计算了由经过形变后的浮动图像对应的血管图与模板血管 图之间的DSC,以评估对齐精度。

其中,厶爲)(蹲妙)表示形变后的浮动图像对应的脑区解剖结构标签图,S表示 模板图像对应的脑区解剖结构标签图。k表示对应的脑区。

图4-6和图4-7展示了 54个感兴趣区域(ROIs)在所有测试集上的平均DSC数值。

展示了我们提出的基于Patch的方法(BR・Netl)和修改卷积层(BR-Net2)的方法与经典 的图像配准方法ANTs-SyN的对比结果,我们的配准模型能够达到与ANTs-SyN相当的配 准精度。

下表展示了几种计算方法得到全脑配准所需的时间,常用的脑图像配准算法 ANTs-SyN在一对三维脑图像上执行配准的时间大概为一个小时;基于Patch的方法
BR-Netl运行时间小于2分钟,而全脑图像配准方法BR-Net2的运行时间小于1秒。基于 深度学习的方法特别是BR-Net2能够在非常短的时间内估计图像之间的空间对应关系,在 损失少量精度的前提下实现图像配准。

41算法运行时间

42两种基于深度学习的方法与经典配准方法ANTs-SyN的结果

48 ANTs-SyN方法与我们提出的基于Patch的方法(BR・Netl)和修改卷积层的方法(BR-Net2)
对比结果图

表4・2中展示了在IBSR18, CUMC12, MHG10 ±配准的脑白质和灰质的DSC值,我 们比较了我们提出的两种基于深度学习的方法与经典配准方法ANTs-SyN的结果。在三个 数据集上,我们提出的两种基于深度学习的全脑图像配准方法都能取得较好的配准结果, 基于Patch的方法(BR-Netl)的结果好于全图配准方法(BR-Net2) □

图4-8展示了基于深度学习的方法与ANTs-SyN的可视化结果图,通过可视化结果发 现,基于深度学习的从水平位切面上看能够达到比较好的配准结果。这是因为在计算的过 程中是以图像间的差异为约束条件的。而ANTs-SyN得到平滑的配准效果,从渲染图上观 察,通过ANTs-SyN配准后的渲染脑图像皮层更平滑。

4.3.4结果分析

我们通过实验比较了一个经典图像配准方法(ANTs-SyN)和两个基于深度学习的全脑 图像配准方法(BR・Netl, BR-Net2) o这几种配准方法都能达到很好的配准结果,其中, ANTs-SyN是非常经典的基于灰度的图像配准方法。我们通过DSC作为评价配准结果的标 准,ANTs-SyN在大部分脑区的配准结果高于基于深度学习的方法。BR-Net 1由于卷积通 道数较多,能够提取更多的隐含特征,结果好于BR-Net2o两种基于卷积神经网络的配准 方法在损失少量精度的条件下实现了快速的图像配准。其中,BR-Net2在全脑图像上的配 准时间少于1秒。

4.4本章小结

三维脑图像的配准一直以来都是医学图像分析中的一项重要挑战之一。该过程包括在 不同图像数据之间建立空间对应关系。在本章中,我们分别用基于Patch的方法(BR-Netl) 和修改卷积层(BR-Net2)两种方法完成全脑图像的配准。与经典的传统方法(ANTs・SyN) 相比,我们的方法能够在非常短的时间内估计准确的空间对应关系,极大地减少了配准的 时间损耗。

我们将基于Patch的方法(BR・Netl)和修改卷积层(BR-Net2)的方法与经典的传统 方法(ANTs・SyN)进行了比较,使用四个具有手动描绘的ROIs的真实大脑MRI数据集 进行了实验。实验结果表明,基于Patch的方法(BR・Netl)和修改卷积层(BR-Net2)的 方法都能产生与ANTs-SyN接近的配准结果,BR-Net2在损失有限的精度的情况下达到非 常快的预测速度。

在本章中,我们的实验是基于Pytorch环境搭建。我们将实验运行环境由3D Caffe更 换为Pytorch,是由于在对全脑图像LONI LPBA40数据集图像处理时,3D Caffe在全尺寸 数据上容纳的最大channel数量为4,特征层数过少会导致提取的信息太少,图像不能很好 的完成特征提取和估计形变的任务。为避免由于实验环境的差异导致的结果不同,在实现 全脑图像配准时,基于Patch的方法(BR-Netl)和修改卷积层(BR-Net2)的方法都选择 Pytorch运行环境。

第五章基于卷积神经网络的多模态图像配准模型

在前面两章中,我们介绍了基于卷积神经网络的配准网络在三维脑图像上的实现,脑 部MRI图像配准是同模态配准问题,在配准任务中,多模态图像的配准一直以来是图像配 准中的难点,例如,大脑图像的MRI与CT图像之间的配准。在本章中,我们将前两章的 方法做出改进,提出了一个分割导向的弱监督图像配准方法。该方法利用卷积神经网络自 动学习图像对特征,在计算损失函数时参考区域标注图,标注图的完全对齐意味着原图像 的对齐。标注图的计算避免了直接计算多模态图像的特征差异。

之后,介绍了多光谱眼底成像(MSI),分析了多光谱图像分析中存在的问题以及配 准时存在的难点,然后将提出的分割导向的弱监督图像配准模型(SR-Net)在多光谱视网膜 图像进行实验。实验表明我们的方法能够有效的解决多光谱眼底图像的配准问题。理论上, 分割指导的配准方法理论上可以扩展到任何多模态配准的问题中。我们会在今后的工作中 尝试使用分割指导配准的思路,实现大脑多模态图像的配准。

5.1分割导向的弱监督图像配准模型(SR-Net)

为了解决配准存在的难题,本节针对多模态图像配准问题,提出了一种新的弱监督非 刚性配准网络,我们将其命名为SR・Net。为了排除多模态图像独立信息的干扰,有必要提 取多层图像之间的特征信息。我们以多模态眼底图像为例介绍我们所提出的分割导向的多 模态图像配准模型。血管分割图像提供了清晰的解剖结构信息,可作为配准的依据。在血 管图像上,血管和背景区域的跃变不利于回归网络的训练,因此在实验中我们采用软标记 策略。在此基础上,提出了一种血管图导向的弱监督配准网络实现多模态图像配准方法。 该模型在训练完成之后不需要血管图像,可以直接从原始图像中预测图像之间的空间对应 关系,预测过程不需要迭代运算。

51多模态图像配准模型总框架

图5-1显示了所提出的分割导向的多模态图像配准的系统流程图,包括一个回归网络, 一个空间转换层和损失函数。输入图像为两幅多模态图像,经过配准网络自动学习图像特 征,得到图像之间的形变矩阵。形变矩阵形变浮动图像对应的Label区域的软标签,通过 计算形变后的标记图与固定图像对应的标记图的相似度矩阵以及直接对形变矩阵的正则 化约束作为训练配准网络的监督条件。标签图像直接用于计算损失层,而不是作为网络的 输入。因此,训练后的模型可以在没有标签图的情况下直接计算图像间的空间对应关系。

52多模态图像配准网络结构模型

图5-2为多模态图像配准网络的网络结构模型,我们提出的回归模型基于U・Net⑻网络 模型,该网络模型由编码器和解码器组成。回归网络中有池化层和反卷积层,用于产生不 同尺度的形变矩阵,为了适应配准任务,我们在网络上做了如下四个调整:(1)间隙填 充层。(2)多尺度自动上下文结构。(3)分割图指导。(4)损失函数。

5.1.1间隙填充层

如图5・2所示,我们的配准回归网络由多个层次组成,网络层包括卷积、池化、合并 和反卷积等。在编码器部分,数据每经过一次池化层,特征图的大小将减半,随着卷积层 数的增加,特征变为高等级特征。在解码器部分,高等级特征图将通过反卷积层逐步恢复 到原图像大小,每个尺度融合编码器部分同尺度提取的特征。多尺度网络在获取高层特征 的同时保留位置信息,避免忽略微结构对象。

然而,低等级的特征通常包含更多的细节特征,因此在特征融合时,经过多次卷积的 深层特征容易丢失。一些类似的端到端任务使用卷积和级联(CC)子过程El或间隙填充(Gap Filip。】来解决这个问题,它们使用额外的卷积层来填充编码器和解码器之间的间隙,以平 衡低等级和高等级特征。经过卷积运算后,将低等级特征与高等级特征进行融合,以增强 低等级特征,使之与高等级特征互补。

5.1.2多尺度自动上下文结构

金字塔结构被广泛应用于图像配准中,图像配准首先小尺度的图像上执行,得到在小 尺度上的空间对应关系,经过插值算法的到精细尺度的形变对应关系,在精细尺度上细化 形变矩阵,逐步执行到最精细的尺度。金字塔运算在一定程度上解决了大形变图像上配准 难的问题,避免配准优化陷入局部最优值,加快图像配准的速度和精度。

全卷积神经网络通过卷积,池化,反卷积等操作,会形成不同尺度的特征图。我们的 多光谱眼底图像配准模型借助全卷积神经网络的结构特点在每个尺度上都有对应的输入 与输出。

我们的回归模型将多尺度卷积神经网络与图像配准的金字塔结构融合。将原始图像降 采样为不同尺度的图像,作为网络层的输入,相应的视网膜血管图在相同尺度的输出层指 导网络训练。首先对细节较少的粗尺度图像进行配准,并将配准结果作为精细图像配准的 初始值,在不同的尺度上逐步进行优化。这样可以加快包含丰富图像细节的精细图像的配 准,加快回归网络的训练,在一定程度上避免了网络陷入局部最优解。该方法以控制各层 的学习速率为目的,逐层训练回归网络。

5.1.3分割图指导

53 —组多光谱眼底图像以及对应的血管标签图

深度回归网络的训练一直比较困难,因为需要综合全局和局部信息,才能得到每个像 素的回归值Q]。特别是我们的配准网络没有真实的地面真实位移图作为Ground-truth来训 练网络,增加了网络训练的难度。本文提出的方法是利用分割标签图进行弱监督网络训练 的方法。我们一多光谱眼底图像为例展示分割图软标签辅助配准策略。图5・3为一组多光 谱眼底图像以及对应的血管标签图。

为了更有效地利用血管和背景的边缘梯度,我们使用了软标签图来代替二值标签。软 标签的目的是在训练阶段通过血管标记边界梯度来纠正像素到像素的空间变换,避免过拟 合,使网络输出得到近似平滑的结果。

5-4图像软标签:(注)带有血管标记的MSI-550nm图像;(b)使用一个大的高斯核平滑运算的结 果图;(c)使用小的高斯核经过多次平滑运算的结果图

我们使用二维高斯滤波器(G(%,y)= 赤“巧处理二进制标签使其平滑。特别地, 我们比较了一个大的高斯核单次平滑和一个小高斯多次平滑的结果。多次平滑运算在每次 平滑之后与原二值标签结合。虽然多次卷积计算复杂,但它可以适用于非常小的末端血管。

图5-6分别表示:(a)带有血管标记的MSI-550nm图像;(b)使用一个大的高斯核 平滑运算的结果图;(c)使用小的高斯核经过多次平滑运算的结果图。显然,多次小高斯 核平滑运算得到的血管图像可以更好地保留血管标签的细节,特别是对于非常细小的末端 血管。

514损失函数

可形变的图像配准是估计图像间的空间对应关系。对于图像配准任务,给定的两幅图 像{",人},优化的目标是最小化配准任务的目标函数:

M%WQsQ)) +                                                   (5-1)

其中,第一项表示的是模板图像与形变后的目标图像之间的对齐程度,第二项表示形 变场的正则化矩阵。基于深度学习网络的目标函数也包含对应的两部分

^Total = L similarity + ^Regularization                            (5=2)

对于多光谱眼底图像配准,图像间存在明显的灰度差异,图像不能直接用于图像相似 度度量。因此我们采用血管标签图指导网络的训练。

标签图的相似性LSimilarity

同模态的图像可以通过最大化扭曲后的浮动图像和模板图像的相似性保证图像的对 齐,对于眼底多光谱图像,我们使用形变后的浮动图像血管标签图WQsQ)和模板图像 对应的血管图厶f的空间对应关系表示图像之间的对应关系。换句话说,我们认为血管的 对齐能够代表图像的对齐。特别的,为了更有效的利用血管和背景的边缘梯度,我们使用 二维咼斯滤波G(& y)=亦尹€ 2ff2代替二进制的标签。为了训练分割指导的多光谱眼底 图像配准网络,我们将相似度损失定义为一下目标函数:

L(Dis)similarity -                     + ©'(")) —                                  (5-3)

其中,u表示在血管标签图上的像素,N表示血管标签图上像素的个数。

形变场平滑约束Regularization

为了保证网络输出的空间变化矩阵的平滑性。我们采用复合的正则化损失函数为损失 函数监督回归网络的训练,我们定义的正则化损失函数为:

^Regularization = 篦」0能+躯」I能                                    (5-4)

第一项为拉普拉斯运算,得到图像的二阶导数。通过最小化图像的二阶导数,获得平 滑的空间变换。后一项是直接对回归网络的输出结果进行L2-norm约束,目的是平衡回归 网络的初始值。我们在实验中发现,这两个正则化约束是必不可少的,其中必和0是正则化 参数。

5.2多光谱眼底图像(MSI)成像原理

无创血管造影能够显示视网膜信息,由于无创、高效等特点,在临床上得到广泛的应 用。多光谱眼底图像(MSI)是一种特殊的眼底成像,是不同波长的单色LED光源投射到 眼底组织中,根据不同组织吸收光谱的不同,获得多光谱眼底图像。每个单色光谱图像显 示单层结构和代谢信息。如图所示,我们可以看到同一组织位置在多光谱图像中呈现的灰 度和特征差异。然而,MSI是在一个时间序列上米集,每两幅图像米集的时间间隔大约是 三秒,图像间存在复杂的眼动。

5-5眼底多光谱图像

图5・5为眼底多光谱图像,连续成像的11个波长分别为550 nm、580 nm、590 nm、

620 nm、660 nm、690 nm、740 nm> 760 nm> 780 nm> 810 nm 和 850nm。其后,展示了 几个多光谱复合的图像和立体渲染图。多光谱图像中两张不同光谱的组合形成组合光谱成 像,可以更好的显示眼底血管。例如,波长为580nm和波长为590nm的图像组合形成光 谱视网膜血管成像;波长为760nm和波长为810nm的图像组合形成光谱脉络膜血管成像; 波长为550nm和波长为660nm的图像组合形成图像与彩色眼底图像接近。因此,有效地 估计和消除来自不同光谱的MSI切片之间的空间不对齐是成像分析的前一步。

MSI图像配准存在两个难点。首先,多光谱图像之间的强度差异。MSI图像是利用不 同波长的单色LED光源投射眼底,得到的每幅图像显示视网膜或脉络膜不同深度的多光谱 图像。例如,绿色光谱(550 Nm)图像显示视网膜前膜,这一层有明显的视网膜血管。随着 波长的增加,穿透率增加,表现为神经纤维层、神经节细胞层等,直至脉络膜。图中在短 波长图像上显示清晰的血管信息,随着波长的增加,脉络膜结构逐渐出现,光谱间图像的 外观有明显差异。庆幸的是,视网膜血管仍能分辨,可以利用视网膜血管的树状结构执行 多光谱眼底图像的配准。其次,眼球运动引起的眼底变形。这是因为在两次拍摄之间的 时间间隔大约是三秒。三维空间上的眼球运动,在二维眼底图像中表现,复杂的眼球运动 在成像过程中给MSI图像的分析带来了巨大的挑战。

5.3实验与分析

我们在多光谱眼底图像(MSI)上验证我们提出的多模态图像配准模型。首先介绍实 验所需的系统环境,实验数据,然后定性和定量的衡量多光谱眼底图像的配准结果。

5.3.1实验环境配置

弱监督图像配准方法(SR-Net)在Pytorch环境下搭建,并使用Adam进行优化。我们使 用随机梯度下降(SGD)算法来训练改进的损失函数的回归网络,并在四个具有32G显存的 显卡NvidiaTeslaVlOO上训练回归模型。首先,我们在一名志愿者的10对图像上迭代训练 1000轮,这与传统的变形配准算法中的循环迭代优化类似。在此阶段,我们将学习速率设 置为10e-4o然后,我们用整个训练数据集对网络进行校正,学习速率为10e-5o随着对 网络的训练,各个损失层的损失权重也会随之调整,模拟配准分层计算过程。回归网络训 练的总时间为40ho

5.3.2实验数据集

本实验在MSI数据上运行我们的方法,数据如图5・5所示,一组MSI图像包含波长分 别为 550 nm、580 nm、590 nm、620 nm> 660 nm> 690 nm> 740 nm> 760 nm> 780 nm> 810 nm和850 nm的11个连续成像图像。该数据集包括100个志愿者的多光谱眼底图像数 据,其中10组数据有眼科专家的视网膜血管标记,共计10 X 2 X 11 = 220张带有视网 膜血管标记图的眼底图像数据。眼科专家手动的在图像上选择15个标记点,并在该序列 所有MSI图像上标记它们,这些标记点作为验证算法正确性的标准。

5.3.3实验结果

图5-7中展示了患有轻微糖尿病视网膜病变的病人的多光谱眼底图像,配准前后的 MSI眼底图像重合图像以及对应的血管图的重合图像的对比结果。通过对配准前后的结果 观察,不难看出,配准前的多光谱图像的重合图像有明显的不对齐现象,重合图像比较模 糊,配准后的图像结构清晰。

观察放大的视盘区域,配准后的视盘轮廓清晰,能看到明显的视网膜血管。配准结果 在血管图像上显示的更加清晰。此外,从配准后的图像重合图中,微血管瘤(图中表现为 黑色的圆点)依旧清晰可见,表明我们的配准算法表现出非常好的配准结果,经过配准的 图像不会影响病变区域的结构。

57配准结果。第一行从左到右依次是:配准前的一组MSI眼底图像的重合图,配准后的图像重合,
图配准前图像对应的血管图像的重合图,配准后的图像对应的血管图的重合图。第二行为第一行图像
对应的视盘区域的放大图

为了定量地衡量算法的精度,我们使用近点距离来衡量血管树的对齐程度。随着网络 的优化,匹配比可以接近100%,因此我们进一步使用Dice系数(Dice Similarity Coefficient, DSC)来评估匹配的准确性。

匹配点重合度。为了验证多模态配准模型的有效性,我们计算了 550 mn图像中与其 他图像的匹配点之间的手动标记点的距离。如果匹配点的距离低于阈值(在我们的实验中是 5个像素),我们就认为匹配是正确的。图5・7中展示了眼科专家手工标注的15对对应点。 然后,我们绘制一条曲线,显示在训练阶段,手动标记点正确匹配的比率。

5-9训练阶段的匹配点重合度

图5・8展示的是训练阶段的匹配点的重合度,图中可以看出,我们所提出的方法的总 体性能随着网络迭代次数的增加而提高。曲线越接近1,表示算法的性能越好。算法在网 络训练迭代10000次时重合度已经可以表现出很高的精度,无论在训练数据上还是在测试 数据上人工标记点的匹配都是正确的。

骰子相似系数(DSC)o我们使用DSC计算血管标签图的重合度来评估图像配准框架的 性能。具体来说,我们定量地计算了由经过形变后的浮动图像对应的血管图与模板血管图 之间的DSC,以评估对齐精度。

哄(从切)=龄 g)

其中,L's = W(LsQ)表示形变后的浮动图像对应的血管标签图,S表示模板图像对应 的血管标签图。

表中展示了图像对对应的视网膜血管配准结果的DSC的均方差。我们将提出的方法与 最新的基于分割标签的配准方法(LDWSLdl)对比。表中可以看出,LDWSL能够实现对 眼底多光谱图像的配准,并取得较好的配准结果。而我们的方法在网络结构,标签图像等 方面做了改进,能够取得更好的图像配准结果。

在多光谱眼底图像上的实验表明,我们的方法能够通过血管图学习图像间的空间对应 关系。图5・9是从一组多光谱眼底图像中选取的550nm的图像和740nm图像,图(a)是 波长为550nm的光谱图像,图(b)为550nm图像对应的血管标签图,图(c)是波长为 740nm的光谱图像,图d)是740nm图像对应的血管标签图。图1)是两张光谱图像未 经配准的重叠结果,图(2)是使用LDWSL方法得到的配准结果,图(3)是我们提出的 配准方法的到的配准结果。从图中可以看出,我们的方法能得到很好的配准结果,重叠后 的两张多光谱图像完全对齐。表现出我们提出的算法的优越性能。

5.4本章小结

本章在前几章中提出的基于卷积神经网络的配准方法的基础上,提出了分割导向的弱 监督配准模型。该方法利用卷积神经网络随着训练优化并记录网络参数的特点,借助图像 对应的血管图参与深度学习网络损失函数的计算,指导回归网络的训练。经过训练的模型 可以在不需要分割图的情况下估计图像间的空间对应关系,解决了多光谱图像配准问题。

该算法的提出对基于深度学习图像配准研究有重要意义。首先,我们设计的弱监督图 像配准网络采用图像标签的方式辅助网络的训练,避免了对图像的直接计算,经过训练的 深度学习网络能够在非迭代的情况下估计图像之间的空间对应关系,测试的过程不需要已 知的血管标签图。此外,我们的方法是基于多模态图像配准设计的,也可能应用到其他多 模态图像配准的任务中,为解决多模态图像配准问题提供了一个新的思路。

第六章总结和展望

6.1全文总结

医学图像配准是医学图像分析中的一个重要分支,是实现医学图像融合的基础,作为 解决区域检测、分割等问题的预处理工作。给定一对待配准的图像,图像配准的任务是得 到图像间的空间对应关系。本文研究了传统的基于迭代计算的图像配准方法,以及多种配 准方法在脑图像上的应用,分析了脑部核磁共振图像的特点及在MRI图像上配准存在的计 算量大、耗时长的问题。针对传统配准方法中存在的难点,结合大脑海马体的配准,提出 了基于3D卷积神经网络的海马体配准模型,进一步提出了全脑图像的配准模型,并针对 多模态配准问题提出了分割指导的多光谱眼底图像配准模型。

论文所做的主要工作包括如下几点:

  • 分析已有的图像配准方法及特点。

分析总结已有的图像配准方法,主要分为两大类:传统的迭代优化的配准算法和基于 深度学习的配准算法。分析了传统的图像配准算法中存在的计算复杂、计算时间长的问题。 基于卷积神经网络的图像配准算法的提出可以有效的解决传统图像配准算法中存在的不 足。分别列举了几种基于卷积神经网络的图像配准算法,并对其进行分析。

  • 提出基于3D卷积神经网络的海马体配准。

在对传统的和基于卷积神经网络的配准算法的分析基础上,针对大脑海马体的配准问 题,设计基于3D卷积神经网络的海马体配准网络。我们的配准模型使用已知的形变和相 似度矩阵双重监督,执行半监督的模型训练。该方法能够有效的避免无监督网络训练容易 陷入局部最优的情况,通过在公开的脑图像数据集上的实验,证明了方法的优越性。

  • 提出基于3D卷积神经网络的全脑图像配准。

由于显存的限制,基于卷积神经网络的三维图像处理较难执行。通常,研究人员会采 取将图像分为大小相等的Patch,再基于图像的Patch执行分割等处理。然而,对于图像配 准任务,空间对应关系的获得通常需要考虑全局信息。在我们的工作中,我们研究了基于 Patch的全脑图像配准和修改卷积层通道两种方案,对比分析了两种方案的实验结果。

  • 提出多模态图像配准模型,并将其用于多光谱眼底图像的配准。

多光谱眼底图像是不同波长的光照射入眼底,不同波长的光穿透力不同,所采集到眼 底图像的结构信息也不同,最终得到多光谱眼底图像。由于多光谱眼底图像采集深度不同, 所表现的信息也有差异,图像之间存在明显的结构灰度差异,已知的基于相似度度量的方 法无法使用。我们考虑到多光谱眼底图像的主要配准条件是视网膜血管的对齐程度,设计 基于视网膜分割图的分割指导的弱监督图像配准模型,该方法利用多光谱图像所对应的血 管图像辅助配准网络的训练。

6.2下一步的研究工作

本文提出了基于卷积神经网络的配准方法,在海马体配准,全脑配准具有较好的配准 准确性,我们进一步提出了分割指导的配准解决多光谱眼底图像配准的问题。随着计算机 视觉的发展,我们的配准方法仍有不足之处。在今后的研究工作中,计划在以下几个方面 进一步改善:

  • 本文所提出的分割导向的弱监督配准方法,理论上可以扩展到任何多模态图像 配准的工作。在下一步研究中,我们计划在脑图像上使用分割指导的配准网络进行脑图像 的配准。
  • 在传统的配准方法中,对称配准能够有效的提高配准的精确度di。而在基于卷 积神经网络的配准方法中,没有考虑到对称的约束条件,在今后的研究中,可以尝试将对 称形变的约束加入卷积神经网络的损失函数的设计。
  • 近年来,随着深度学习的发展,生成对抗网络(Generative Adversarial Networks, GAZ%])在图像生成、风格转换等研究中表现出非常好的研究前景。在下一步的研究中, 我们计划使用基于GAN网络的图像合成的方法,对多模态图像执行风格转换a】,进一步 执行图像配准。双向的图像合成,然后进一步执行双向的图像配准。有研究证明,双向图 像配准可以有效利用两种模态图像的信息,提高配准的精确度。
  • 本文提出的方法从已知的形变和相似度矩阵中学习图像间的空间对应关系。生 成对抗网络(Generative Adversarial Networks, GAN)使用两个模块,生成模型(Generative Model)和判别模型(Discriminative Model)的博弈来训练模型,生成模型产生预期的输出, 判别模型判断输出是否正确。在之前的研究中,我们使用已知的形变和相似度矩阵得到图 像间的形变关系,下一步的研究中,我们计划用判别模型判别图像间的对齐关系,对抗产 生正确形变冈。

参考文献

  • Beg M F, Miller M I, Trouve A, et al. Computing Large Deformation Metric Mappings via Geodesic Flows of Diffeomorphisms[J]. International Journal of Computer Vision, 2005, 61(2): 139-157.
  • Christensen G E, Rabbitt R D, Miller M I. Deformable templates using large deformation kinematics [J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1996, 5(10): 1435-47.

⑶ Conroy B R, Singer B D, Haxby J V, et al. fMRI-Based Inter-Subject Cortical Alignment Using Functional Connectivity [J]. Adv Neural Inf Process Syst, 2009: 378-386.

  • Fischer B, Modersitzki J. Fast inversion of matrices arising in image processingfJ]. Numerical Algorithms, 1999, 22(1): 1-11.
  • Rueckert D, Sonoda L I, Hayes C, et al. Nonrigid registration using free-form deformations: application to breast MR images [J]. IEEE Transactions on Medical Imaging, 2002, 18(8): 712-721.
  • Thirion J P. Image matching as a diffusion process: an analogy with Maxwe 11's demons [J]. Medical Image Analysis, 2011, 2(3): 243.
  • Maintz J B, Viergever M A. A Survey of Medical Image Registration [J]. Computer & Digital Engineering, 2016,33(1): 140-144.
  • Aristeidis S, Christos D, Nikos P. Deformable medical image registration: a survey [J]. IEEE Transactions on Medical Imaging, 2013, 32(7): 1153-1190.
  • Ciresan D C, Meier U, Masci J, et al. Flexible, high performance convolutional neural networks for image classificationfC]. Twenty-Second International Joint Conference on Artificial Intelligence, 2011.
  • Huang J, Zhou W, Zhang Q, et al. Video-based sign language recognition without temporal segmentation[C]. Thirty-Second AAAI Conference on Artificial Intelligence, 2018.
  • Grefenstette E, Blunsom P, De Freitas N, et al. A deep architecture for semantic parsing [J]. arXiv preprint arXiv: 1404.7296, 2014.
  • Pyrkov T V, Slipensky K, Barg M, et al. Extracting biological age from biomedical data via deep learning: too much of a good thing?[J]. Scientific reports, 2018, 8(1): 5210.
  • Gibney E. Google Al algorithm masters ancient game of Go [J]. Nature News, 2016, 529(7587): 445.
  • Anand K S, Dhikav V. Hippocampus in health and disease: An overview [J]. Annals of Indian Academy of Neurology, 2012, 15(4): 239.
  • 赵指亮,范大庆,唐玉峰,脑海马体体积、形态的MRI检测在抑郁症中的价值[J].国际精神病 学杂志,2017, (5): 822-825.
  • 郭琳.研究发现人成年后大脑海马体不再产生新神经元[J].海南医学,2018,(6).
  • 李志强,武慧欣,张媛,非电离辐射对海马体的影响及研究方法进展[J].中华放射医学与防护 杂志,2018, Vol.38Issue(2): 154-15&
  • Chen W, Li S, Jia F, et al. Segmentation of hippocampus based on ROI atlas registration[C]. 2011 IEEE International Symposium on it in Medicine and Education, 2011: 226-230.
  • 基于多图谱配准的海马体自动分割方法研究[D].南方医科大学,2014.
  • 脑部MRI海马体三维分割算法研究[D].电子科技大学,2015.
  • Dill Y Franco A R, Pinho M S. Automated methods for hippocampus segmentation: the evolution and a review of the state of the art[J]. Neuroinformatics, 2015, 13(2): 133-150.
  • Dill V, Klein P C, Franco A R, et al. Atlas selection for hippocampus segmentation: Relevance evaluation of three meta-information parameters [J]. Computers in Biology and Medicine, 2018, 95: 90-98.
  • Kayalvizhi M, Anandh K, Kavitha G, et al. Analysis of anatomical regions in Alzheimer*s brain MR images using level sets and Minkowski functionals [J]. Journal of Mechanics in Medicine and Biology, 2015, 15(02): 1540024.
  • Li Y, Jia F C, Zhang X D, et al. Local Patch Similarity Ranked Voxelwise STAPLE on Magnetic Resonance Image Hippocampus Segmentation[C]. Applied Mechanics and Materials, 2013: 1065-1070.
  • Vercauteren T, Pennec X, Perchant A, et al. Diffeomorphic demons: Efficient non-parametric image registration [J]. NeuroImage, 2009, 45(1): S61-S72.
  • Avants B B, Epstein C L, Grossman M, et al. Symmetric diffeomorphic image registration with cross-correlation: evaluating automated labeling of elderly and neurodegenerative brain [J]. Medical Image Analysis, 2008, 12(1): 26-41.
  • Andersson J, Smith S, Jenkinson M. FNIRT-FMRIB 5s non-linear image registration tool Fourteenth Annual Meeting of the Organization for Human Brain Mapping[C]. Hum Brain Map Conference, 2008.
  • Fischer B, Modersitzki J. FLIRT: A flexible image registration toolboxfC]. International Workshop on Biomedical Image Registration, 2003: 261-270.
  • Maes F, Collignon A, Vandermeulen D, et al. Multimodality image registration by maximization of mutual information [J]. IEEE Transactions on Medical Imaging, 1997, 16(2): 187-19&
  • Brox T, Malik J. Large displacement optical flow: descriptor matching in variational motion estimation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(3): 500-513.
  • Lowe D G. Object recognition from local scale-invariant features[C]. International Conference on Computer Vision, 1999: 1150.
  • Mikolajczyk K, Schmid C. A performance evaluation of local descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615—1630.
  • Kim M, Wu G, Yap P-T, et al. A general fast registration framework by learning deformation-appearance correlation [J]. IEEE Transactions on Image Processing, 2012, 21(4): 1823-1833.
  • Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.
  • Balakrishnan G, Zhao A, Sabuncu M R, et al. An unsupervised learning model for deformable medical image registrationfC]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 201 & 9252-9260.
  • Yang X, Kwitt R, Styner M, et al. Quicksilver: Fast predictive image registration-a deep learning approachfJ]. NeuroImage, 2017, 158: 378-396.
  • De Vos B D, Berendsen F F, Viergever M A, et al. A deep learning framework for unsupervised affine and deformable image registration [J]. Medical Image Analysis, 2019, 52: 128-143.
  • Krebs J, Mansi T, Mailhe B, et al.: Unsupervised probabilistic deformation modeling for robust diffeomorphic registration, Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support: Springer, 201& 101-109.
  • Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]. Advances in Neural Information Processing Systems, 2015: 2017-2025.
  • Fan J, Cao X, Yap P T, et al. BIRNet: Brain Image Registration Using Dual-Supervised Fully Convolutional Networks [J], 2018.
  • Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer-assisted Intervention, 2015: 234-241.
  • Isola P, Zhu J-Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 1125-1134.
  • Zhu J-Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. Proceedings of the IEEE International Conference on Computer Vision, 2017: 2223-2232.
  • Klein A, Andersson J, Ardekani B A, et al. Evaluation of 14 nonlinear deformation algorithms applied to human brain MRI registration [J]. Neuroimage, 2009, 46(3): 786-802.
  • Jia Y, Shelhamer E, Donahue J, et al. Cafle: Convolutional architecture for fast feature embedding[C]. Proceedings of the 22nd ACM International Conference on Multimedia, 2014: 675-678.
  • Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]. Proceedings of the thirteenth international conference on artificial intelligence and statistics, 2010: 249-256.
  • Kingma D P, Ba J. Adam: A method for stochastic optimization [J]. arXiv preprint arXiv: 1412.6980, 2014.
  • Klein S, Staring M, Murphy K, et al. Elastix: a toolbox for intensity-based medical image registration [J]. IEEE Transactions on Medical Imaging, 2010, 29(1): 196-205.
  • Toga A W, Thompson P M. The role of image registration in brain mapping [J]. Image and Vision Computing, 2001, 19(1-2): 3-24.
  • Paszke A, Gross S, Chintala S, et al. Automatic differentiation in py tor ch [J], 2017.
  • Nie D, Wang L, Adeli E, et al. 3-D Fully Convolutional Networks for Multimodal Isointense Infant Brain Image SegmentationfJ]. IEEE Transactions on Cybernetics, 2018, PP(99): 1-14.
  • Tajbakhsh N, Shin J Y, Gurudu S R, et al. Convolutional Neural Networks for Medical Image Analysis: Full Training or Fine Tuning?[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1299-1312.
  • Hu X Modat M, Gibson E, et al. Label-driven weakly-supervised learning for multimodal defbrmarle image registration[C]. 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), 201& 1070-1074.
  • Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]. Advances in Neural Information Processing Systems, 2014: 2672-2680.
  • Zhang Z, Yang L, Zheng Y. Translating and segmenting multimodal medical volumes with cycle-and shape-consistency generative adversarial networkfC]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 201& 9242-9251.
  • Fan J, Cao X, Xue Z, et al. Adversarial similarity network for evaluating image alignment in deep learning based registration [C]. International Conference on Medical Image Computing and Computer-Assisted Intervention, 201 & 739-746