基于机器视觉的动物交互行为与认知状态分析系统论文

2020年9月11日11:58:57基于机器视觉的动物交互行为与认知状态分析系统论文已关闭评论

基于机器视觉的动物交互行为与认知状态分析系统论文

摘要

计算机硬件的发展和算法的进一步成熟,促进了机器视觉的发展,使机器视觉应用领 域更加广泛,正在影响着我们的方方面面。精神类疾病困扰了很多人的生活,加快自闭症、 阿尔茨海默症、抑郁症等精神类疾病的药物开发进程,一直是我们国家急需解决的问题。 为了实现这一目标,我们采用小鼠、狗等动物模型进行研究,因为精神类疾病会通过行为 表现出来,所以需要研究动物交互行为来解析相关的神经环路。因为瞳孔直径变化与某些 精神类疾病关系密切,常常把瞳孔直径变化作为精神类疾病的诊断指标,所以需要研究动 物瞳孔的直径变化,进而解析动物的认知状态。但是传统方法在以下三个方面存在不足:

(1)在动物行为实时分析、反馈调节方面存在局限性;(2)无法对多种眼动类型的瞳孔直 径进行准确计算;(3)在分析狗的社交行为时,缺乏合适的算法。这些不足使得传统方法 显得力不从心、效率低下;机器视觉的发展为动物交互行为和认知状态分析提供了新的解 决方案,研究动物的交互行为和认知状态具有一定的应用价值与现实意义。

本文的工作旨在探索一种精确的动物交互行为与认知状态分析系统,由此提出了一种 系统和两种算法,分别是反馈式小鼠行为分析系统、眼动检测算法和狗的社交行为分析算 法。主要研究内容如下:

  1. 研发基于Bonsai开源框架的反馈式小鼠行为分析系统:基于Bonsai开源框架实 现反馈式小鼠行为分析,采用图像处理算法对小鼠行为实时分析,并在小鼠行为 特征变量达到阈值时进行反馈调节,优化了传统方法在实时分析反馈调节方面存 在的不足。
  2. 研发基于神经网络的眼动检测系统:调用了 DeepLabCut工具包,利用神经网络 能精确的识别多种眼动类型的瞳孔特征点,然后基于Matlab平台采用椭圆拟合和 距离平均法计算瞳孔直径。优化了传统方法无法精确计算移动眼动和遮挡眼动瞳 孔直径的不足,提高了计算准确率。
  3. 提出了狗社交行为分析系统:基于神经网络、图像处理和SVM研发狗社交行为分 析算法,能准确分析狗的社交行为。克服了市场上狗社交算法缺少、人工统计狗的 社交行为工作量大、效率低的不足,提升了分析效率。

如何实时分析和反馈调节动物行为、如何精确计算多种眼动类型的瞳孔直径、如何高 效分析狗的社交行为是国内外动物交互行为和认知状态分析领域的共同目标,本论文研究 传统方法在动物行为和瞳孔直径分析方面的不足,提出了相应算法的优化方法。借助Bonsai 开源框架、图像处理、神经网络和SVM,大大提升了动物交互行为与认知状态的分析能力。

关键词:图像处理,反馈调节,神经网络,SVM,社交

Abstract

The development of computer hardware as well as further maturity of algorithm have facilitated the development of machine vision, and enabled machine vision to be applied in a wider field, which are aflfecting our every aspect. Mental disorders have bothered many people in their lives, therefore, accelerating the development progress for the drugs against infantile autism, alzheimer disease, depressive disorder and other mental disorders has always been an urgent problem that needs to be solved in our country. In order to achieve this target, we use mice, dog and other animal models to conduct the research, as the mental disorder would be reflected through behaviors, it is necessary to study animal internal behavior to analyze the related neural circuit. Meanwhile, since change of pupil diameter is closely related certain mental disorders, pupil diameter change often serves as the diagnosis index of mental disorder, thus, it is necessary to study the pupil diameter change to further analyze the cognitive state of animals. However, the traditional method has shortcomings in the following three aspects: (1) The limitation in real-time analysis and feedback regulation of animal behavior; (2) Unable to carry out accurate calculation for pupil diameter under multiple eye movement types; (3) Lack of appropriate algorithm when analyzing the social behavior of dogs. As a result, the traditional method is powerless and inefficient due to these shortcomings. The development of machine vision provides new solutions for analysis of animal internal behavior and recognition state, and studying internal behavior and cognitive stateof animals is of certain application value and practical significance.

This thesis intends to explore an accurate analysis system for internal behavior and cognitive state of animals, therefore, in this thesis, a system and two algorithms were put forward, namely feedback animal behavior analysis system, eye movement detection algorithm and analysis algorithm of dog social behavior respectively. The main contents in this thesis included the following aspects:

1・ Developing feedback animal behavior analysis system based on Bonsai open-source framework: Feedback animal behavior analysis was realized based on Bonsai open- source framework, image processing algorithm was employed to carry out real-time analysis for mice behavior, and the feedback regulation was performed when the behavior

feature variables of the mice were up to the threshold value, which optimized the shortcomings of traditional method in real-time analysis and feedback adjustment.

2・ Developing the eye movement detection system based on neural network: DeepLabCut tool kit was invoked for this algorithm, adopting neural network could accurately identify the pupil features under multiple eye movement types, and then based on Matlab platform, ellipse fitting and average method was employed to calculate the pupil diameter. By doing this, it optimized the shortcomings of traditional method in unable to perform accurate calculation for mobile eye movement and pupil diameter when the eye movement was shielded, and improved the calculation accuracy.

3・ Proposing the analysis system for dog social behavior: developing dog social behavior analysis algorithm based on neural network, image processing and SVM could achieve accurate analysis of dog social behavior, it overcame the shortcomings oflack of dog social algorithm in the market, heavy workload for artificial statistics of dog social behavior and low efficiency, and enhanced the analysis efficiency.

The common target for analysis of internal behavior and cognitive state of animals is on how to perform real-time analysis and feedback regulation for animal behaviors; how to realize accurate calculation for the pupil diameter under multiple eye movement types; and how to achieve effective analysis towards social behaviors of dogs. In this thesis, the shortcomings of traditional method in the analysis of animal behavior and pupil diameter was studied, and optimization method for corresponding algorithm was put forward. Besides, in virtue of Bonsai open-source framework, image processing, neural network and SVM, the ability in analyzing internal behavior and cognitive state of animals was greatly enhanced.

Key words: image processing, feedback regulation, neural network, SVM, social contact

1.1研究背景及意义

人类对外界环境大部分的感知来自人类的视觉,机器也是如此。机器视觉是用机器来 看世界的科学,形象的说就是给机器安装上眼睛(摄像机)、配备大脑(算法),让机器能 够通过视觉信号感知外界环境。机器视觉是人工智能的核心领域之一,作为推动当今社会 进步、经济发展的重要革命性技术,它的应用领域非常广泛,包括图像识别、行业监测、 图片分类、医学影像等方面。但机器视觉在动物交互行为和认知状态分析方面,还处于发 展阶段,有很大的潜力有待开发⑴。

如果把动物尚未揭秘的大脑比喻成一个“黑盒子”,那么大脑信息整合的模式和对行为 的调节机制可以看成图1.1所示的系统。大脑功能异常可以通过动物的行为交互表现出来, 动物的行为也可以反映大脑特定功能区域的神经活动⑵。大脑在时刻进行信息写入,并通 过信息整合处理产生相应的功能输出,常用的信息写入方法有光遗传刺激、视觉刺激、基 因操纵和药物干预等手段,我的工作会用到光遗传刺激和视觉刺激,进行小鼠的行为调控。

对于大脑信息的读取,有基于视频的动物行为分析、基于视频的瞳孔分析34]、电生理记录 皿]和脑功能成像⑺。我的工作主要聚焦在基于视频的行为分析和瞳孔分析,并通过信息写

入和读取之间的相关性来解密大脑,研究自闭症对动物行为的影响和动物认知状态的变化。

跟人一样,狗也有很多情绪,挫折情绪可能发生在与正面情绪极为相似的环境中,例 如饲养员按时给予狗预期的食物奖励,会让狗处于积极的行为状态,如果拖很久没有给予 它预期的食物奖励,则会引起狗的挫败情绪问。分析与情绪相关的行为,对于研究与情绪 相关神经环路非常重要,如果狗抑郁或者焦虑,就会导致其生活质量降低和行为异常[迢⑺, 研究狗的行为有望了解抑郁症的发病机制。
大脑功能障碍就会导致各种各样的疾病,比如自闭症⑻、多动症、老年痴呆等。为了解 决这些困扰人类的疾病,科研人员以小鼠和狗作为实验动物模型进行研究。瞳孔活动和直 径变化是情绪的反应,也是自闭症的一项诊断指标,自闭症患者会出现眼球注视率下降, 眼神交流不足等症状叨。研究瞳孔直径变化这一行为特征变量,对于诊断和治疗自闭症具 有非常重要的作用[血⑴。追逐和逃避行为是动物的重要运动技能,但是自闭症这类精神疾 病会对动物行为产生影响,造成它们和正常动物行为表现不一致,研究攻击者(追赶者)和 防御者(逃避者)间的社交行为,可用于解析与本能和社交有关的神经环路g,对动物交 互行为分析和社交障碍类疾病发病原理的研究具有重要意义[13J4]o

基于机器视觉的动物交互行为与认识状态分析系统,它采用了图像处理、神经网络和 SVM算法能较为准确地分析动物的交互行为与认知状态,它在以下几个方面弥补了传统 方法的不足:(1)本系统能实时分析小鼠多种行为特征变量,并在行为特征变量达到阈值 时给予动物反馈调节。弥补了传统小鼠行为分析方法在实时分析、反馈调节方面的不足。

(2)本系统能较为准确地对多种眼动类型的瞳孔直径进行计算,弥补了传统方法无法精准 计算移动眼动#罔、遮挡眼动瞳孔直径的不足。(3)本系统能较为准确、高效地对狗社交 行为进行分析,弥补了人工统计狗的社交时间工作量大、效率低的不足。

狗是很好的人类神经精神疾病(包括自闭症(ASD))模型MB],本系统有望服务于国 内狗、猪等大型动物的行为研究。通过对动物多种行为特征变量的量化,在一定程度上可 以为筛选药物提供支撑,加快自闭症的药物开发进程別22]。瞳孔的动态变化与某些神经精 神病关系密切,常常把瞳孔作为自闭症、阿尔茨海默病、抑郁症等精神类疾病的诊断指标 [9Q],本系统可以通过小鼠瞳孔直径的变化分析它的认知状态。

1.2研究现状及存在问题

本文工作分为3个部分,分别为小鼠行为分析、小鼠眼动检测和狗的社交行为分析, 在小鼠上的研究为本文预实验,为狗的社交行为分析奠定基础,其算法也适用于狗。为了 更清楚了介绍本文的主要工作,相关国内外研究现状及存在问题也将从三个部分进行阐述。

1.2.1小鼠行为分析研究现状及存在问题

为了通过行为分析了解自闭症的发病机制,需要统计分析小鼠的多种行为特征变量。

传统的小鼠行为统计方法有以下三种,如图1.2所示。

1.2传统动物行为分析方法示意图测

Figure 1.2 Schematic diagram of traditional animal behavior analysis methods

第一种方法通过低成本的Kinect深度传感器和不透明红外滤光片,从下方捕获小鼠的 形状,Kinect深度传感器可以在没有光学标记或透明地板的情况下跟踪足迹和3D爪尖位 置,这种方法能准确地追踪小鼠的轨迹特征网。第二种方法是利用商业化行为分析软件如 Any・maze分析小鼠行为©I, Any・maze动物行为分析系统可以用于Barnes (巴恩斯)迷宫、 高架zero迷宫师27]、Morris水迷宫、T・迷宫、Y■迷宫曲、八臂迷宫凹和高架十字迷宫血凶 等各类迷宫的小鼠行为分析如图1.3所示,还可以分析圆形旷场和方形旷场中小鼠行为特 征变量。

但是以上两种算法都存在一个不足,就是无法在线实时分析小鼠多种行为特征变量并 进行反馈调节。实验人员只能在实验完成后,进行离线视频分析,但是实验人员很多时候 需要在实验过程中实时分析小鼠的多种行为特征变量,并在它们达到阈值时给予反馈节,从而更好地研究小鼠行为。第三种方法是使用红外踏板进行小鼠行为分析,虽然它能 实时分析小鼠行为卩1],但是它是通过小鼠四肢对红外光的遮挡来确定小鼠位置,由于小鼠 四肢不间断地在不同位置遮挡红外光,从而造成所求小鼠位置的不准确。

1 ■ 2. 2小鼠眼动检测研究现状及存在问题

小鼠瞳孔直径变化是一种很重要的特征陛迅国内外研究瞳孔特征的科研人员有很多, 并且初步取得了一些成果。小鼠的眼动主要有固定眼动、移动眼动和遮挡眼动三种眼动类 型网如图1.4所示,固定眼动是把小鼠固定在实验装置上,拍摄得到的眼动视频。其瞳孔 变化特点为,瞳孔位置较为固定不会发生快速移动,瞳孔直径大小会发生变化如图1.4 (a) 所示。移动眼动为小鼠自由移动过程中拍摄得到的眼动视频,其瞳孔变化特点为,瞳孔会 发生快速移动、瞳孔直径也会发生大小变化如图1.4 (b)所示。遮挡眼动是指瞳孔被障碍 物遮挡,不能被完全看见如图1.4 (c)所示。

1.4多种小鼠眼动类
Figure 1.4 Multiple mouse puil movement types

主要介绍两种方法进行瞳孔直径计算,第一种方法为区域增长算法进行瞳孔直径计算 [均,图1.5 (A)和图1.5 (B)为光刺激前后瞳孔直径变化,可以发现光刺激后,小鼠的瞳 孔直径迅速减小。图1.6 (A)和图1.6 (B)分别为1.5 (A)和图1.5 (B)的瞳孔,经过 区域增长算法处理之后的结果,区域增加算法主要通过灰度值分离瞳孔和背景,把灰度值 与瞳孔近似的划分到瞳孔范围,进而计算出瞳孔直径,可以从结果发现区域增长算法能够 较好地分析固定眼动的直径。

1.5光刺激后瞳孔变化情况

Figure 1.5 Changes in pupils after light stimulation

1.6区域增长算法计算瞳孔直径阖

Figure 1.6 Area growth algorithm to calculate pupil diameter

第二种方法主要基于LabVIEW平台,采用图像处理算法计算小鼠瞳孔直径网。可以 从结果发现,除了部分区域不完整以外,基于LabVIEW的图像处理算法能较好地计算出 固定眼动的瞳孔直径。

1.7基于LabVIEW计算瞳孔直径阴

Figure 1.7 Calculation of pupil diameter based on LabVIEW

以上两种瞳孔直径计算方法在小鼠固定眼动的计算方面都取得了较好的效果,但是它
们有一个共同的缺点,就是无法准确计算小鼠移动眼动和遮挡眼动这两种眼动类型的瞳孔 直径。

1.2.3狗的社交行为分析研究现状及存在问题

随着动物行为学的发展,与之有关的研究取得了较大发展,但大部分研究处于发展阶段, 真正用于生产实践中的很少。狗除了同类间社交外,还进化了特定的能力与人建立独特的 社交关系卩刀。对动物社交行为进行研究,需要标准化数据获取方式,对狗的行为进行准确 地检测和量化。需要在特定装置中让狗有充足空间完全活动,从而在无干扰的环境下研究 其社交行为。随着动物行为学研究的不断深入,还必须做大量有关这方面的工作,研发更多 更好用的社交行为分析算法,从而去推动其在生产实践和科学研究中的应用。

虽然关于小鼠社交行为分析的算法很多,但是狗社交行为分析方面的算法并不多,主 要是因为狗的社交场景和小鼠的社交场景不太一样,狗的社交行为背景更加复杂,很多算 法无法直接从小鼠搬移到狗身上用[涸。图1.8为K9-Blyzer分析器进行狗与机器人玩具的 社交行为分析结果,它主要采用背景剪除和腐蚀膨胀形态学操作,进行狗的行为分析。图 1.8 (a)是使用图像处理算法得到狗的轮廓,可以发现它对狗的轮廓拟合不太精确。1.8 (b) 为狗与机器人之间的距离,图像中有很多断点,说明该方法在距离计算方面存在不足。

图1. 8 K9-Blyzer分析器㉚

Figure 1.8 K9-Blyzer analyzer

可以使用单个惯性测量单元(IMU)HOl来监视和分类狗的行为,IMU采用无线通信方式 与电脑相连,把数据传输到电脑中进行保存。IMU包括3轴加速度计,3轴陀螺仪和3轴 数字罗盘,根据多个传感器采集到的数据,采用HMM模型对狗行为进行分类,它可以实 现对狗6种行为的分类,如果陀螺仪稳定,则将狗归类为处于不运动状态,例如“躺下”, “坐着”,“站立”等,如果陀螺仪不稳定,则将狗归类为处于运动状态,例如“走路”或 “奔跑”。通过IMU对狗行为进行分类,会受到陀螺仪的很大影响,如果传感器不稳定则
不能对动物的行为进行正确分类。

隐马尔可夫模型(HMM)可以提取狗不同活动的周期性和时间结构作为特征,输入到 模型中进行训练,从而识别狗连续性动作。决策树分类方法不含有时间结构,在对狗静态 行为分类方面表现更好。HMM在训练集上效果很好,但是训练好的模型应用在另一组狗 行为分类时,正确率就会降低很多。除此之外,很多人用加速度计或陀螺仪采集狗的行为 数据,根据特征的不同对行为进行分类。如果把加速度计和陀螺仪结合起来使用,分类效 果大于单独使用一种数据的分类效果。但是这些传感器一般体积都比较大,可能会让狗变 得不舒服,从而改变狗自然社交行为。

1.3本文主要研究内容

针对以上动物行为分析方法存在的局限性,本文提出一种基于机器视觉的动物交互行 为与认知状态分析系统,本文的总技术路线如图1.9所示,首先以小鼠为动物模型研发了 反馈式小鼠行为分析系统和眼动检测系统,是本文前期预实验,为后期以狗为代表的动物 交互行为分析奠定基础,预实验的算法也适用于狗。在小鼠身上进行的工作主要是研发反 馈式小鼠行为分析系统和眼动检测算法,眼动检测算法可以分析动物的认知状态。在狗上 进行的工作是狗的社交行为分析。主要技术步骤为(1)基于图像处理算法研发一套反馈式 小鼠行为分析系统。(2)基于神经网络研发一种眼动检测算法。(3)基于神经网络、图像 处理和SVM,研发狗社交行为分析系统。

19总技术路线

Figure 1.9 General technical route

本文工作主要由三个部分组成,第一部分反馈式小鼠行为分析系统能在线实时分析小 鼠速度、轨迹、头部偏转角度等多种行为特征变量,当小鼠行为特征变量达到阈值时,对 小鼠行为进行反馈调节。该系统还能离线分析小鼠在某个特定区域所呆时间和次数、热力 图、轨迹图、分析小鼠行为状态变化如僵直(Freezing)和逃跑(Flight)状态的转变。第 二部分眼动检测算法通过计算小鼠多种眼动类型的瞳孔直径,来分析小鼠的认知状态。采 用卷积神经网络识别、追踪小鼠瞳孔特征,然后在Matlab中结合置信概率和椭圆拟合方法 计算出小鼠瞳孔直径变化,进而分析小鼠的认知状态。第三部分为狗的社交行为分析,狗 的社交行为分析会用到前期预实验的算法,预实验中小鼠的算法也适用于狗,并在原有算 法基础上增加了神经网络和SVM方法,来进行以狗为代表的大型动物行为特征变量分析、 狗同类间社交行为分析以及狗与人社交行为分析。因为狗社交行为的背景比较复杂,所以 本文采用神经网络和图像处理结合的方法分析狗的位置、速度、轨迹、热力图和进入ROI 区域的次数、时间等行为特征变量。采用卷积神经网络结合残差网络和SVM算法,分析狗 同类间社交时间和次数,以及狗与人社交时间和次数。

1 ■ 4论文的结构

本文呈现内容是自己研发的分析动物交互行为与认知状态的新系统,本文前期以小鼠 为动物模型研发了反馈式小鼠行为分析系统和眼动检测算法,其中眼动检测算法能分析动 物的认知状态。作为本文前期预实验,为后期狗交互行为分析奠定基础。后期研发了以狗 为代表的动物社交行为分析算法,调用了前期预实验的算法,并在原有算法的基础上加入 了神经网络和SVM方法,狗社交行为分析算法能快速、精确地进行狗与人以及狗同类间 的社交行为分析。本文的组织结构如下:

第一章为引言部分,从本文的三个工作内容进行展开,分别介绍了研究背景,每部分 工作详细阐述了国内外相关进展及意义。以问题为导向进行科研,介绍了本系统要解决的 科学技术问题,对自主研发的算法和系统的主要优点进行了描述,介绍了本文主要内容和 思路的安排结构。

第二章为动物交互行为与认知状态分析方法及相关技术,介绍别人在动物交互与瞳孔 直径计算方面比较先进的算法。根据本文的工作内容分别介绍别人的先进算法,主要包括 小鼠行为分析方法及相关技术、小鼠瞳孔直径计算方法及相关技术和狗社交行为分析方法 及相关技术三个部分。

第三章为本文预实验行为分析部分,主要介绍了在小鼠上自主研发的一种反馈式行为 分析系统,可以在线实时分析小鼠多种行为特征变量,当小鼠行为特征变量达到阈值时, 对小鼠行为进行反馈调节。还能对离线视频进行分析,获取小鼠多种行为特征变量。

第四章为本文预实验小鼠眼动检测部分,介绍了自主研发的多种眼动类型瞳孔直径计 算方法,主要内容为采用卷积神经网络识别、追踪小鼠瞳孔特征点,然后在Matlab中结合 置信概率、椭圆拟合和距离平均算法计算出小鼠瞳孔直径变化,进而分析小鼠的认知状态。

第五章为狗社交行为分析系统,狗社交行为分析会用到之前预实验的算法,并在预实 验算法基础上加入神经网络和SVM,神经网络用于狗特征点的识别和追踪,SVM算法进 行狗行为状态分类。然后结合图像处理、神经网络和SVM,对狗多种行为特征变量,同类 间社交行为以及狗与人社交行为进行分析。

第六章为总结与展望,对本文基于机器视觉的动物交互行为与认知状态分析系统进行 总结,并对未来研究进行展望,提出未来可能改进的方面。

第2章交互行为与认知状态分析方法及相关技术

动物的交互行为与认知状态分析主要包含三部分内容,第一部分内容为小鼠行为分析, 第二部分内容为小鼠眼动检测,第三部分内容为狗的社交行为分析。因此动物交互行为与 认知状态分析方法及相关技术,也将从这三个部分分别进行介绍。

2.1小鼠行为分析方法及相关技术

小鼠的行为分析对于阿尔茨海默症和自闭症⑷]的研究非常重要,阿尔茨海默症的特征 是动物或人的认知功能逐渐下降,行为表现异常H2]。临床动物模型尤其是小鼠模型的行为 分析有利于精神类疾病的解析,通过采用相关算法分析小鼠多种行为特征变量,在测试阿 尔茨海默症的生理学机制和预测药理干预结果方面非常重要2伺。自闭症是一种病因不明 的异质性神经发育障碍,诊断基于三类行为标准:异常的社交互动,同类间交流不足和刻 板的、重复性的行为屮,45]。

大脑的功能异常可以通过动物行为表现出来,动物的行为也能反映出大脑神经活动。 为了找到与精神类疾病相关的脑区和神经环路,需要对小鼠进行实时行为分析和反馈调 节。研究动物行为的一种必要手段是给予动物多种类型刺激然后研究其行为,这种刺激有 的是模仿动物在自然界受到的刺激,有的是科研人员从研究角度出发给予的刺激,然而动 物对于有规律的刺激适应性非常强,这种适应性往往会干扰实验结果,对动物行为实验造 成干扰,因此,需要一种系统给予动物随机程度的不同刺激,然后观察对比多种刺激前后 动物行为的区别[佝。

很多人研发算法或系统对小鼠多种行为特征变量进行分析,这些方法在一些方面非常 精准但也存在不足,例如基于标记的动作捕捉系统也可能会导致小鼠行为发生变化,它们 可能会尝试删除附加的标记旳。目前没有自动步态分析系统不会诱发恐高症或其他行为改 变。此外,大多数现有的足迹跟踪或基于标记的运动捕捉系统都很昂贵,不仅步态分析系 统价格昂贵,而且步态分析系统中光学标记物和透明的地板可能会干扰小鼠的自然行为 [48]o Akihiro Nakamura提出使用低成本的红外深度传感器(Microsoft Kinect)和不透明的 红外滤镜从下方捕获小鼠形状列和位置,红外传感器跟踪算法示意图如图2.1所示。采用 红外滤光的方法减少小鼠恐高的影响,从原始深度图提取研究对象的深度信息。首先,我 们将背景减法应用于原始深度图,并预先配置了开放字段的3D空间,然后我们减去该空 间中未包含的深度像素昭。去除背景后仍会保留一些噪声,但可以通过应用简单的膨胀和
腐蚀算法并选择最大的像素值来消除噪声。然后通过一种经过改进的Dijkstra算法,称为

AGEX算法a】,可靠地检测小鼠图像3D极值,例如鼻子,尾巴和爪尖。21红外传感器跟踪算法的示意图
(4)Succeeding Low Pixels (4)Fusion of(3) and (4)

Figure 2.1 Schematic diagram of infrared sensor tracking algorithm

除了标记小鼠身体的动作捕捉系统、自动步态分析系统和Kinect深度传感器进行小鼠 行为分析外,Any-maze这款商业化软件也可以分析多种实验装置中的小鼠行为。虽然 Kinect深度传感器和Any-maze软件功能都很强大,但是在实时分析小鼠多种行为特征变 量,并在变量达到阈值时给予小鼠反馈调节方面存在不足。

  1. 2小鼠眼动检测方法及相关技术

瞳孔的动态变化与某些神经精神病关系密切,常常把瞳孔作为自闭症、阿尔茨海默症、 抑郁症等精神类疾病的诊断指标冋5习,可以通过计算小鼠瞳孔直径变化分析其认知状态 [53]o研究瞳孔直径变化对于动物和人来说,都是十分重要和具有意义的,瞳孔直径变化是 研究动物视觉系统的重要特征指标,对于深入研究小鼠本能恐惧和条件恐惧具有重要作用 3】。通过研究小鼠瞳孔直径变化,有助于解析大脑相应区域神经环路是如何调控小鼠行为 的,瞳孔直径的大小变化对于解析小鼠认知状态非常重要。这些动物模型对于人类疾病治 疗提供了很好的思路和借鉴,可以加快人类精神类疾病治疗方法的研发进程。

介绍一下使用阈值操作进行小鼠瞳孔直径计算,眼睛图像中的暗瞳孔通常是通过阈值 操作或者手动识别的,在基于阈值的方法中,低于某个阈值的像素被分类为瞳孔像素,通 过圆形拟合或者椭圆拟合的方式把瞳孔中心坐标作为瞳孔像素的质心阿。基于阈值方法的 有效性取决于瞳孔与虹膜的高对比度,小型试验动物通常瞳孔和虹膜的对比度较低,因此 阈值方法可能无法勾勒出瞳孔。“亮瞳孔”红外成像技术,可以改善动物瞳孔与虹膜的对 比度,但是它需要特殊的照明和光学器件,由于受到眼睑,睫毛,阴影和角膜对光源反射
引起的噪声影响,使得眼睛图像包含伪影,间隙和噪声,结果可能会发生较大的误差。采

用通过区域增长结合IRHT算法计算瞳孔直径变化如图2.2所示

Figure 2.2 Regional growth combined with IRHT detection pupil
2.2区域增长结合IRHT检测瞳孔

通过区域增长算法进行分割后,用带有椭圆模型的迭代随机霍夫变换(IRHT)检测瞳 孔。IRHT通过反复抑制多余结构和噪声的影响,提供可靠的测量结果。虽然这种方法能 很好地计算固定眼动瞳孔直径,但是在移动眼动瞳孔直径计算方面存在不足,不能准确计算 移动眼动的瞳孔直径变化。

LabVIEW图像处理算法通过高速模拟CCD相机采集小鼠的瞳孔视频,由IBM-PC上 运行的视频采集卡进行视频数据保存,调用图像采集和处理的LabVIEW函数库,对输入 的视频信号进行处理,首先把视频中每一个帧转化为灰度图像,然后对图像进行数字滤波 处理,来去除由于角膜反射在瞳孔图片内产生的噪声和孔洞,通过图像处理算法得到瞳孔 轮廓,采用椭圆拟合方法计算瞳孔直径,它能较好地处理背景对比度比较大的眼动视频, 但是在移动眼动、遮挡眼动的瞳孔直径计算方面存在不足。

  1. 3狗社交行为分析方法及相关技术

狗是很好的人类神经精神疾病(包括自闭症(ASD))模型,尽管狗是研究最多的物种 之一,但是因为狗社交行为背景比较复杂,狗社交行为分析方面的算法很少。检测和识别动 物的行为特征变量和身体姿态是行为学最基本的任务之一,只有对动物多种行为特征变量 和身体姿态的观测值越精准,才能对与行为相关的神经环路解释越复杂和精准,才能更好 的解析自闭症阿。

RitaBrugarolas研发了一套系统,主要采用无线传感器进行狗行为分析旳,系统cBAN 是一种低功耗无线生物电系统,由微型可穿戴传感器和执行器组成,系统的三个主要组件 是实验人员随身携带的智能手机或者其他无线通信设备,可以接收无线传感器传输回来的 无线信号,狗佩戴的无线传感器平台用来检测狗的多种行为特征变量如图2.3所示,一台 计算机用于处理传感器远程发送来的数据。无线传感器平台包括用于分析狗行为活动和姿 态估计的加速度传感器和陀螺仪传感器理59],传感器通过魔术贴固定在狗身上提前绑定的 安全带上,在狗臀部、背部、胸部和腹部分别添加加速度传感器,其中胸部加速度计传感 器的X轴指向狗的面部,臀部位置的加速度计传感器的X轴指向狗的尾部,背部位置的加 速度计传感器的X轴指向狗的头部位置,腹部加速度计传感器的X轴也指向尾巴。这种操 作在狗社交实验中很容易造成传感器的脱落,或者传感器X轴指向的改变。这个系统能对 狗的蹲坐、站立、躺下和离地吃饭等行为活动进行分类,实验范式为饲养员对每种命令进 行五次重复,每次命令重复的间隔时间大约是4s。通过摄像机采集视频,对视频进行离线 分析处理,把各种传感器采集的数据输入到决策树中,通过决策树成功的识别出狗站立、 蹲坐、躺下和离地进食这四种行为。

之后在此基础上改进分类算法,来识别狗的动态活动,例如狗步行、爬楼梯和下坡道 等动态行为,cBAN系统采用隐马尔可夫模型(HMM)来对连续性动作进行说明,因为 HMM可以分析不同类型活动的周期性和时间结构。进行动态行为分类时,需要对每个传 感器的参数进行调整,实验中每个传感器的采样率为10Hz,每种动态行为持续的时间大约 是20秒,对每种行为需要采集200段数据。决策树分类方法不含有时间结构,无法对狗的 动态行为进行分析,HMM可以识别和分类狗的动态行为。采用加速度计数据进行分类实 验结果表明,当学习识别单个狗的动态行为时,比如狗步行、爬楼梯和下坡道等动态行为, 采用HMM方法在训练集上得到了很高的准确率,很少将两种不同的行为分错,但是对于 训练好的模型应用到另外一组狗时,就会发现这种分类算法的错误率变得很大,产生这种 问题的原因很有可能是数据集的数量太少。考虑到数据类型可能会对分类结果产生影响, 把陀螺仪数据采用HMM进行行为分类,同时把加速度计数据和陀螺仪数据结合采用 HMM算法进行行为分类,发现实验结果的准确率是上升的,也就是说使用加速度计和陀 螺仪两种数据的分类效果,要比使用单独一种数据的分类效果好。从实验结果我们可以得 到结论,进行动物行为分类时,要尽量提取动物的多种特征,来提高准确率。

基于多种无线传感器的cBAN系统对一组狗的行为分类具有很好的效果,但是将一组 训练好的模型用于另外一组狗进行行为分类,效果要差很多,因此基于多种无线传感器的 cBAN系统算法模型泛化能力不是太好,不适合分析狗与人的社交行为,但是其中静态行 为分析方法,和动态行为分类流程对我们的实验很有借鉴意义。

2.3狗佩戴传感器平台呦

Figure 2.3 Dog wearing sensor platform

Linda Gerencser教授通过采用惯性传感器来识别自由移动狗的行为网,随着传感器的 增加,可以更详细地监视狗的每个行为,在动物行为识别中如果在加速度计传感器基础上 加入陀螺仪,那么这种结合方法很可能成为狗各种活动的良好指标和判断标准,一些证据 已经表明,陀螺仪的测量可以在动态、高频运动情况下辅助加速度计对狗运动的分析。加 速度计结合陀螺仪主要有以下优点:与基于图像分析的运动识别系统相比,他们体积更小、 质量更轻,可以提供高采样率的运动数据。惯性传感器来识别自由移动狗的行为,通过结 合三轴加速度计和三轴陀螺仪来采集狗的运动数据,然后利用有监督SVM对狗不同行为 进行分类如图2.4所示。对加速度计和三轴陀螺仪采集的数据进行预处理,预处理包括计 算采集数据的平均值,标准差和快速傅立叶变换等参数,最终从原始数据中提取到126个 特征信息,然后使用LIBSVM工具包来调用有监督SVM训练行为分析模型。

为了评估和比较从数据中提取的126个特征的有效性,我们创建了一个汇总数据库用 于特征有效性的验证,数据库中包含最佳的二十次测量结果,我们计算了所有特征的F分 数,作为特征重要性的度量方式,一般来说较多的信息内容对应较高的F分数,也说明该 特征的有效性。对整个数据采用交叉验证的方式验证了五次,首先对所有的126个特征进 行了验证,然后采用交叉验证的方法,对仅属于陀螺仪的特征数据和仅属于加速度计的特 征数据进行了五次验证,证明了特征的有效性,也证明了结合加速度计和陀螺仪进行狗行 为分析的优点。基于惯性传感器的狗行为分析系统,能自动的对家狗不同行为进行分类处 理,通过有监督SVM算法,该系统成功地识别出了狗的站立、蹲坐、小跑、慢跑和奔跑 等7种行为,准确率在90%以上。本系统提取狗的多维运动特征,并采用有监督SVM进 行狗行为分类的方法,是非常有借鉴价值的。

2.4惯性传感器分析动物行为

Figure 2.4 Inertial sensors analyze animal behavior

加速度计和陀螺仪能自动识别狗的行为师57]。但是,正如Paci等人指出的,佩戴此类 传感器可能会给动物带来压力,甚至改变其自然行为,从而在测量中引入噪声网】。还有一 种方法通过K9-Blyzer分析器,对狗行为进行分析,它的结构框架如图2.5所示。

它采用图像处理算法中的背景剪除和形态学操作,对狗行为进行分析。这种方法能对 狗的位置进行较为准确的追踪,但在狗的社交行为分析方面存在局限性。视频分析是行为 学研究中最重要的工具之一网],目前采用最多的方法还是人工统计的方式对狗社交行为进 行分析,实验人员经常通过观看和手动标记几个小时的视频录像,来完成繁琐且容易出错 的任务。综上所述,这些传统方法在狗社交行为分析方面存在不足,不能准确地分析狗的 社交行为。4本文的主要贡献

本文主要工作有3个,分别反馈式小鼠行为分析系统,眼动检测系统和狗社交行为分 析系统,其中反馈式小鼠行为分析系统是以小鼠为模型搭建的。对本文的主要贡献也从这 三个方面进行展开介绍。

在小鼠行为分析方面,以上传统方法在实时分析、反馈调节方面存在的局限性,本文 提出了基于Bonsai开源框架,采用图像处理算法自主研发一套反馈式小鼠行为分析系统, 来弥补传统方法的不足。为实验人员提供实时分析、反馈调节条件,从而更好地研究小鼠 行为,推进自闭症治疗药物的研发进程。

在瞳孔直径计算方面,针对基于传统方法无法准确计算移动眼动、遮挡眼动瞳孔直径 的现状,我基于视频分析采用神经网络和椭圆拟合研发了一种眼动检测系统,能准确地计 算多种眼动类型的瞳孔直径,弥补传统方法的不足。瞳孔的动态变化与某些神经精神病关 系密切,常常把瞳孔作为自闭症、阿尔茨海默症、抑郁症等精神类疾病的诊断指标,因此 眼动检测系统可以通过计算多种眼动类型的瞳孔直径,分析动物的认知状态[罔。

在狗社交行为分析方面,传统方法无法进行狗与人社交行为分析,以及狗同类间社交 行为分析。现在统计狗的社交行为主要采用人工统计的方式,但是人工统计存在工作量大, 效率低的不足。我基于视频分析,采用图像处理,神经网络和SVM算法研发了一种狗的 社交行为分析系统来弥补传统方法的不足。

综上所述,对每部分工作的研究现状进行总结,传统方法在动物交互行为与认知状态 分析方面存在一些不足如表1.1所示,并针对这些问题提出了解决办法,主要包括基于图 像处理算法研发一套反馈式小鼠行为分析系统;基于神经网络研发一种眼动检测系统;基 于神经网络、图像处理和SVM,研发狗社交行为分析系统。

11传统方法面临问题

Table 1.1 Traditional methods face problems

问题 解决办法
1 •传统方法在实时分析、反馈调

节方面存在局限性

基于图像处理算法研发一套反馈式小鼠行为分析系统。
2.传统方法无法对多种眼动类型 基于神经网络研发一种眼动检测系统。
的瞳孔直径进行准确计算

3.人工统计狗的社交行为,工作量 大、效率低。

基于神经网络、图像处理和SVM,研发狗社交行为分 析系统。

5本章小结

本章从小鼠行为分析、小鼠眼动检测和狗社交行为分析三个方面对方法及相关技术进 行介绍,并分析它们在动物交互行为与认知状态分析方面的优势和不足,虽然这些算法在 某一方面很强大,但是也有自己的不足之处。传统方法在小鼠行为分析方面的不足之处为, 无法在线实时分析小鼠的多种行为特征变量,并在行为特征变量达到阈值时,给予小鼠反 馈调节。传统方法在小鼠固定眼动检测方面已经做的很好,但是在小鼠移动眼动和遮挡眼 动方面还存在不足,不能对这两种眼动类型的瞳孔直径准确计算。有关狗的社交行为分析 算法很少,K9-Blyzer分析器对狗社交行为分析不是太准确,目前分析狗的社交行为主要 还是通过人工统计的方式,这种方式存在工作量大、效率低的缺点。针对以上不足和缺点, 我希望基于图像处理算法研发一套反馈式小鼠行为分析系统,实时分析小鼠多种行为特征 变量并进行反馈调节。基于神经网络研发一种眼动检测算法,准确计算小鼠多种眼动类型 瞳孔直径,进而分析小鼠的认知状态。基于神经网络、图像处理和SVM研发狗社交行为 分析算法,更加高效地分析狗的社交行为。

第3章反馈式小鼠行为分析系统

本章以小鼠作为动物实验模型,以Bonsai FF源框架为基础采用图像处理算法,搭建了 一套反馈式小鼠行为分析系统。本章首先介绍反馈式小鼠行为分析系统的需求分析,证明 该系统具有一定的实用价值和现实意义,然后对系统的设计方案进行介绍,然后介绍研究内 筒,最后介绍系统结果分析及性能测试。

  1. 1需求分析

在小鼠的行为分析上,之前实验人员只能在实验结束后,采用相应算法或系统对离线 视频进行分析,得到相应的多种动物行为特征变量。实验人员根据结果得到结论,小鼠在 什么时刻处于Frezzing状态,什么时刻处于Flight状态。很多实验人员都会后悔自己没有 在小鼠特定行为时给予刺激干预,只能在下次实验时花费更多的精力来观察小鼠行为的变 化。当小鼠行为特征变量达到阈值时,给予相应的刺激。但是因为人动作比较慢,人工给 予小鼠的刺激时刻,小鼠可能已经处于另外一种不适合给予刺激的状态,从而造成操作实 验复杂、实验范式不能准确执行的问题,不利于小鼠行为研究。

为了更好地进行实验研究小鼠行为,实验人员急需一种能实时分析小鼠行为,并在一 种或多种行为特征变量值达到阈值时,自动或手动地给予小鼠相应类型的刺激。这种系统 很好解决了实验人员面临的难题,通过对行为的自动反馈调节,极大节省了实验人员的时 间,保证了刺激的及时性,在通过行为分析解析神经环路,推进自闭症的研究进程方面具 有重要作用。

  1. 2反馈式小鼠行为分析系统方案设计

反馈式小鼠行为分析系统,是在我们实验室已有的圆形旷场、方形旷场等行为实验装 置上,基于视频分析采用图像处理算法搭建的。因此我首先对实验室已有的行为学实验装 置、自行购买的采集摄像头、液晶显示器等硬件设备进行介绍。然后对基于视频分析采用 图像处理算法进行小鼠行为分析的系统进行介绍。

  1. 2. 1反馈式小鼠行为分析实验装置

Bonsai是一个可视化编程框架何如图3.1所示,类似于Visual Studio和Matlab等编程 平台,可以在里面编写程序实现相应的行为分析功能。自主研发的反馈式行为分析系统, 需要一台安装有Bonsai的台式电脑用于小鼠行为分析,一台安装有Matlab平台的台式电 脑来给予小鼠刺激命令。

31 Bonsai框架示意图

Figure 3.1 Schematic diagram of Bonsai framework

反馈式小鼠行为分析系统是在实验室已有实验装置上,以Bonsai开源框架为基础搭建 起来的。实验室经常用圆形旷场和方形旷场进行小鼠实验如图3.2所示,(a)圆形旷场实 验箱是一个底部直径为50cm的圆柱形旷场装置,高45cm,由透明亚克力材料制成。一端 开口 10cm并外接一长为50cm长方体,其底部和侧面均不透明,顶部有可以拆卸的盖子, 用于遮蔽顶部的视觉刺激,为动物提供一个安全区域,视觉呈现通过一块置于行为实验箱 装置正上方的42英寸液晶显示器实现。在行为实验箱装置和液晶显示器中间,圆柱形旷 场装置正上方38cm处为一个顶部摄像头,用于拍摄小鼠行为视频。摄像头为自行购买的 120度广角摄像头,表面积比较小为2cm*2cm,保障了在不遮挡显示器呈现视觉刺激的同 时,完整拍摄小鼠在圆形旷场中的行为视频。(b)图为50*50cm的方形旷场实验装置,旷 场底部正上方35cm处为自行购买的广角摄像头。反馈式小鼠行为分析系统对装置适应性 强,只要摄像头能拍摄旷场区域的完整视频且形状规则,都可以在此基础上搭建行为分析 系统。

32小鼠行为装置示意图

Figure 3.2 Schematic diagram of mouse behavior device

为了拍摄较为较为完整的视频,一般根据距离选择合适的广角摄像头,本系统的摄像 头模组参数如表3.1所示,一般选择视场角大一些的摄像头模组,这样能拍摄完整的小鼠 行为视频,对于多余或者畸变的部分,可以通过反馈式小鼠行为分析系统进行一定程度的 裁剪和矫正。

3.1摄像头模组选型参数

Table 3.1 Camera module selection parameters

参数类型 参数值
摄像头型号 索尼MIX291
摄像头数据接口 USB 3.0
摄像头尺寸(毫米) 20 x20 x2
图像分辨率(最大) 1920x1080
摄像头帧率(最大,帧/秒) 25、30 或 60
圆形旷场摄像头视场角 广角120°
方形旷场摄像头视场角 广角100°

除了自行购买的42英寸液晶显示器显示视觉刺激外,本系统还用到了 UNO R3开发 板如图3.3所示,通过开发板解析刺激命令,生成相应的数字信号直接传递给激光器,在 一定程度上替代了波形发生器,给予小鼠特定光刺激,极大节约了开销。

3.3 UNO R3开发板示意图

Figure 3.3 Schematic diagram of UNO R3 development board

  1. 2. 2反馈式小鼠行为分析

反馈式小鼠行为分析系统是在实验室已有行为实验装置上,以Bonsai开源框架阴为基 础采用图像处理算法自主研发的系统,已有的行为实验装置是指圆形旷场实验装置和方形 旷场实验装置。反馈式小鼠行为分析系统示意图如图3. 4所示,以3.4 (a)圆形旷场行为 实验装置为例,对反馈式小鼠行为分析系统进行介绍。

34反馈式小鼠行为分析系统示意图

Figure 3.4 Schematic diagram of mouse the behavior feedback analysis system

该系统摄像头安装在圆形旷场中央正上方区域,实时采集小鼠行为视频,通过usb接 口把数据传递给小鼠行为分析系统,该系统是以Bonsai可视化编程框架为基础,搭建的一 套闭环反馈式小鼠行为分析系统。Bonsai类似于Visual Studio和Matlab等编程平台,我们 可以在里面编写程序实现相应的行为分析功能。反馈式行为分析系统能实时分析小鼠质心 坐标位置、速度、头部偏转角度、运动状态等行为特征变量,当小鼠到达实验人员提前设 定的感兴趣区域(Region of Interest, ROI),我在视频中绘制的ROI区域边框就会改变颜色提 醒实验人员,当小鼠到达ROI区域并且一种或多种行为变量达到阈值时,就会通过串口给 视觉刺激及随机序列生成系统发送小鼠行为特征参数和刺激请求命令,行为特征参数包括 小鼠位置坐标、运动方向。当视觉刺激及随机序列生成系统收到完整命令后,通过我编写 的内置程序进行串口清零操作,以保证下次行为特征参数传递的准确性。

在Mat lab平台中编写程序,生成含有特定参数的视觉刺激和光刺激,对于视觉刺激来 说参数可以是黑盘大小、黑盘的灰度值大小、黑盘的运动速度以及刺激时长等。对于光刺 激来说参数可以是光刺激的频率、脉冲宽度和刺激的时长等。根据实验需要在本系统中提 前编写几种不同参数的刺激命令,然后通过编写随机函数,从这几种参数的刺激命令中随 机选择并给予小鼠相应刺激。

随机视觉刺激通过调用Psychtoolbox工具包,在安装Matlab的电脑上生成并通过42 英寸液晶显示器显示,本系统可以根据位置和方向,在小鼠运动方向任意角度给予小鼠视 觉刺激(一般小于45度)。图3.4(b)为自己在Matlab中编程,给予小鼠视觉刺激Looming 范式的细节,圆盘大小可以用度数来表示,度数的正切值是黑盘半径与显示器高度的比值。 该图显示一次视觉刺激中有15次trail,每一次trail在0-250ms黑盘先均匀的从2度增大 到40度,然后黑盘保持40度大小持续250ms,随后黑盘消失,显示器维持原有亮度500ms, 然后进行下一次trail,直到给予小鼠15次trail后,一次视觉刺激完成。

其他刺激通过该系统发送随机刺激命令给相应刺激生成装置生成刺激,以光刺激为例, 光遗传生成装置采用UNOR3开发板接受和处理刺激命令,通过内置自己编写的解析刺激 命令程序,生成对应的数字信号发送给激光器,使激光器发出随机序列对应的特定频率和 特定脉冲宽度的激光,通过光纤施加到小鼠特定脑区。刺激后小鼠行为分析系统继续捕获 视频分析小鼠行为变化,根据实验需要可以自动或实验人员手动更改行为变量阈值条件形 成闭环反馈,通过观察刺激前后动物行为的差异,来研究动物行为阴。

3.3引用方法

本系统采用图像处理方法进行小鼠行为分析,是受到J Hu采用图像处理算法进行群 养猪行为分析阿的影响,虽然两者采用的具体算法不一样,但让我看到了利用图像处理算 法进行动物行为分析的可能性。下面对该算法进行具体介绍:它算法的研究对象是黑色间 色的群养猪,对视频中每一帧猪图像,采用运动检测方法从背景中分割出猪,运动检测方 法是通过检测不同姿态的图像帧间差异来实现的,该算法结合了似然比值法和阴影模型法 的优点,能在嘈杂和动态光照条件下,依然准确地追踪猪轮廓位置。通过多级阈值和背景 剪除方法,将猪从复杂的背景中分割出来。当视频中出现两只不同图像强度的黑白猪时, 该算法能自动确定所需阈值,分割效果令人满意,该算法通过采用统计模型和贝叶斯假设 来获取和分割在复杂背景中的动物图片。在此过程中使用线性滤波的方式来不断更新参 数,该方法有望成为动物社交行为分析算法的重要组成部分,来评估和控制群养猪的热舒 适度,从而提高群养猪的健康水平。该方法具有非常高的借鉴价值,其中的多级阈值和背 景剪除操作,我就会在小鼠的行为分析中加以借鉴。

  1. 4反馈式行为分析系统研究内容

反馈式行为分析系统研究内容将从两个方面进行展开论述,第一个方面为反馈式行为 分析系统算法及实验操作流程,主要介绍了本系统算法的具体算法流程,实验人员只需把 视频输入到编好的算法中,就可以在设定的输出位置找到自己所需的多种行为特征变量 值。第二方面是对图像处理算法分析小鼠多种行为特征变量具体算法原理的较为详细的介 绍。

  1. 4. 1反馈式行为分析系统算法及实验操作流程

图3.5为反馈式小鼠行为分析系统算法及结构示意图,图3.5 (a)显示了反馈式行为分 析的算法流程,首先通过摄像头采集视频,然后通过视频裁剪剪除视频中多余的部分,这 步目的是通过比例更好地计算小鼠的实际速度。色彩平衡主要是为了把小鼠和旷场背景分 离开,然后通过平滑去噪操作,使小鼠边缘更加平滑,消除小的噪声信号。然后对视频中 每一帧进行形态学操作,主要是腐蚀和膨胀操作,目的是为了消除光纤对小鼠的影响。然 后通过自适应二值化和Canny边缘检测算法,较为完整的求取小鼠的轮廓。通过最大联通 区域,求得小鼠质心位置坐标。然后通过求取小鼠的极大值点,得到小鼠的头部特征和尾 部特征。通过长轴和短轴的夹角,计算出小鼠的头部偏转角度。

图3.5 (b)为反馈式小鼠行为分析系统结构图,反馈式小鼠行为分析系统主要包括视 频采集、图像处理、条件限制和离线分析等模块。圆柱形旷场上方摄像头采集小鼠行为视
频,通过图像处理模块各种图像处理算法处理后,得到小鼠行为特征变量值,条件模块对 各种行为特征变量是否满足预设阈值进行判断,如果到达阈值则通过串口发送模块发送刺 激命令给刺激模块,刺激模块通过解析命令给予小鼠相应的刺激。实验者可以通过实时显 示模块观察小鼠行为特征变量变化情况,当刺激后小鼠行为特征变量达到反馈阈值时,系 统自动或实验人员手动修改刺激参数值进行反馈调节。实验人员可以通过数据保存模块, 保存动物各种行为特征变量值到指定路径。离线分析模块可以对离线视频进行分析,其中 探索区域模块可以根据小鼠质心位置坐标,分析小鼠进入ROI区域次数和时间,交互分析 模块可以分析旷场中小鼠与笼子中小鼠社交时间和次数,状态分析模块可以根据速度和不 同帧像素变化情况,分析小鼠行为状态变化,例如分析小鼠在刺激前后Freezing和Flight 行为状态变化。热力图模块可以采用图像处理算法分析小鼠轨迹热力图和速度热力图。综 上所述,反馈式小鼠行为分析系统能较为全面分析小鼠行为特征变量,并及时给予反馈调节。

Figure 3.5 Schematic diagram of system algorithm and structure
3.5系统算法及结构示意图

  1. 4. 2图像处理算法分析小鼠多种行为特征变量

对输入的小鼠视频进行3.3节讲述的色彩平衡、平滑去噪、腐蚀和膨胀形态学操作、 二值化处理和Canny边缘检测、求取最大联通区域、求取小鼠身体极值点等多种图像处理 算法处理之后,可以得到小鼠的质心位置坐标和头部偏转角度。

利用不同帧间质心位置坐标欧式距离来计算小鼠的运动速度,我们用framejiumber表 示间隔的帧数,(X],开)为前一帧小鼠的质心位置坐标,(x2, %)为间隔frame_number帧后 小鼠质心位置坐标,实验装置实际长度为L1,实际宽度为W1,对于圆形旷场来说则L1与 W1相同为旷场直径,L3和W3是经过图像裁剪、去畸变处理之后装置像素长和像素宽, 则小鼠的运行速度的计算方法为:

v = frame * L3)2 +((y2 - ^)*^1/VT3)2 / frame _ number (3.1)

对视频中图像进行二值化处理之后,背景就会变为黑色,小鼠身体轮廓变成白色,当 小鼠进入ROI(感兴趣)区域,或者小鼠靠近笼子中小鼠时,该区域像素累加和就会变高, 利用统计函数记录小鼠位于ROI区域或者与笼中小鼠交互的帧数fi'amejiumbei',帧数与 帧率frame比值即为小鼠在ROI区域或者小鼠与笼中小鼠交互时间tl,即:

片=frame _numbei7 frame (3.2)

结合像素累积和与时间阈值关系,求得小鼠到达ROI区域或者与笼中小鼠交互次数, 如果特征区域像素值总和变大超过阈值,则说明小鼠到达该区域位置,如果小鼠离开该区 域位置,并且再次进入与离开之间时间间隔大于特定阈值,则小鼠到达该区域次数num加 lo因为小鼠存在离开特定区域很小的距离,可能身体还没完全离开,又返回到该区域的情 况,这时一般不认为小鼠重新进入该区域,所以我在计算小鼠进入ROI区域或者与笼中小 鼠交互次数时,加入了时间限制条件。

结合速度和不同帧之间像素变化关系来对小鼠行为进行分类,把小鼠行为分类为 Freezing (僵直)、Flight (逃跑)以及正常状态。因为小鼠Freezing时不仅需要保证小鼠质 心位置没有变化即没有速度,还要保证小鼠身体方向没有转动,所以要结合速度和不同帧 之间的像素变化关系来对小鼠行为状态进行分类。具体步骤为当小鼠速度小于等于特定阈 值(一般接近Om/s),并且前一帧与frame_number之后帧像素矩阵差值的绝对值之和小于 特定阈值时,说明小鼠身体处于Freezing状态。如果小鼠速度大于阈值(一般为0.15m/s), 则说明小鼠处于Flight状态,对于其他行为状态这里我们不做详细分类,把它们划分到正 常状态。

通过自己编写算法实现了对小鼠运动轨迹、运动热力图和速度热力图的绘制。除了可 以在线绘制小鼠轨迹外,还可以离线绘制小鼠轨迹。离线绘制小鼠轨迹的具体步骤为:对 反馈式小鼠行为分析系统保存的数据进行预处理,因为图像处理过程中可能混入坐标跳变 点,需要对小鼠的所有质心坐标进行数据预处理,如果两帧间欧式距离远远大于距离阈值, 则说明该处小鼠坐标点不准确发生了跳变,一般实验人员身体遮挡住小鼠时会发生质心位 置坐标的跳变。当质心坐标发生跳变时,使该质心坐标等于前一帧质心坐标,即:

取小鼠实验过程中某一帧作为背景帧,生成一个和背景帧大小相同的背景矩阵,然后 把小鼠背景矩阵像素值全部置为0,如果小鼠到达某个坐标点次数越多,则相应增加背景 矩阵中像素值,然后通过二值图像矩阵中像素值变化来绘制小鼠运动轨迹,也可以采用插 值绘制曲线方法来绘制小鼠运动轨迹。背景矩阵卷积一个内核矩阵生成一个新矩阵,之后 新矩阵通过mat2gray函数转换为灰度图,并通过imagesc函数生成热力图,即把背景矩阵 中每一个值映射到颜色空间,数值越大颜色越深,得到小鼠运动热力图,同理把每一帧的 速度大小映射到背景矩阵中,速度越大则背景矩阵中像素值也相应增大,就可以得到小鼠 在不同位置的速度热力图。

  1. 5反馈式行为分析系统结果分析及性能测试

图3. 6为反馈式小鼠行为分析系统对小鼠行为进行在线或离线分析之后的结果图,反 馈式小鼠行为分析系统除了能进行离线分析外,相比于传统方法最大的优点是它能实时分 析小鼠速度、质心位置坐标、轨迹等多种行为特征变量。图3. 6(a)为小鼠的运动速度图, 图3.6(b)为小鼠的头部偏转角度图,图3.6(c)为小鼠的实时轨迹图,图3.6(d)为小鼠的 行为状态变化图,Freezing为小鼠静止不动状态,身体也不发生偏转,Flight为小鼠的逃 跑状态,只有速度值无法准确判断小鼠处于Freezing状态,所以要结合速度和像素值对 小鼠行为状态进行分类。以上四种结果既可以通过反馈式小鼠行为分析系统在线分析得 到,也可以通过反馈式小鼠行为分析系统离线分析得到。

Figure 3.6 Results graph of mouse online or offline behavior analysis
3.6小鼠在线或离线行为分析结果图

图3.7为小鼠离线分析行为特征变量的结果图,目前轨迹热力图和速度热力图只能通 过离线分析的方式得到。图3.7(a)为小鼠的轨迹热力图,通过轨迹热力图,来分析小鼠的 位置偏好。图3.7(b)为小鼠的速度热力图,来观察小鼠在什么位置速度较高。一般速度热 力图与刺激结合起来分析,观察刺激后小鼠速度是否发生明显变化。

3.7小鼠离线分析行为特征变量

Figure 3.7 Offline analysis of behavioral characteristic variables in mice

可以通过本系统得到的数据对小鼠Freezing.Flight状态的持续时间进行绘制,如图3.8 所示,其中横坐标为时间,纵坐标为小鼠编号,红色表示Flight状态,蓝色表示Freezing 状态,其他颜色表示小鼠处于正常状态。在0・5秒内会在小鼠脑部浅层位点给予光刺激, 5-10会在小鼠脑部浅层位点和深层位点同时给予光刺激,10・15秒不施加刺激。通过本系 统的分析结果,实验人员很容易得到对小鼠脑区不同位点施加刺激,小鼠行为状态发生明 显变化的结论。

3.8离线分析小鼠行为状态变化

Figure 3.8 Offline analysis of behavioral changes in mice

经过人工对位置、距离、速度等多种行为变量测量计算,与本系统对多种行为变量分 析结果对比发现,本系统与人工统计结果误差要远远小于不同人员测量结果的误差,证明 了本系统的可用性。

  1. 6本章小结

本章以小鼠作为动物实验模型,在实验室已有行为实验装置上,以Bonsai FF源框架为 基础,采用图像处理方法自主研发了反馈式小鼠行为分析系统,它能在线分析小鼠的质心 位置坐标、运动速度、偏转角度、运动轨迹和运动状态等多种行为特征变量,当小鼠行为 特征变量满足阈值时给予相应的反馈调节。反馈式动物分析系统还可以对视频进行离线分 析,除了得到上述行为特征变量外,还能得到小鼠进入ROI(感兴趣)区域次数和时间、与 笼子中小鼠接触次数和时间、小鼠轨迹热力图、小鼠速度热力图以及小鼠运动状态转变图。

相比于深度传感器Kinect、Anymaze和红外传感器等传统方法,反馈式小鼠行为分析 系统具有在线实时分析小鼠行为,并及时给予反馈调节的优点,弥补了传统方法的不足。

第4章小鼠眼动检测系统

眼动检测系统中硬件部分眼动视频采集装置是我们实验室别人开发的,我在该装置的 基础上基于视频分析,采用神经网络和椭圆拟合方法计算出瞳孔直径。

  1. 1需求分析

瞳孔的动态变化与某些神经精神病关系密切,常常把瞳孔作为自闭症、阿尔茨海默病、 抑郁症等精神类疾病的诊断指标[罔,瞳孔的收缩和以及信息传递引起的扩张都为心理病理 学研究提供了有用的辅助手段,尤其在精神分裂症的研究方面网。

JoelleMartineau教授发现,瞳孔在面对诸如面部[67,68]?物体和头像等视觉刺激的直径 大小变化,可以有效地将自闭症儿童和年龄相匹配的对照组无自闭症儿童区分开,对视觉 刺激的反应,自闭症儿童与正常组的反应也是相反的,正常组瞳孔收缩正常,ASD组的瞳 孔扩张。

可以根据瞳孔直径的变化,分析动物的认知状态,Pauline vander Wei教授认为最近在 认知控制任务方面,对任务诱发的瞳孔扩张的研究激增,其主要目的是评估使用瞳孔扩张 作为努力程度的指标,而不是任务需求或难度的可行性。他认为在更新,切换和抑制的三 个认知控制阈中,任务需求的增加通常还会导致瞳孔扩大⑶。最近关于抑制控制的很多研 究都采用了瞳孔测量法,使用反扫视任务和几个冲突任务的研究表明,在需要抑制控制的 情况下,瞳孔确实变得更加扩张。

为了分析动物的认知状态以及推动精神类疾病的研究进展,我们需要准确地计算多种 眼动类型的瞳孔直径。传统方法对固定眼动的瞳孔直径计算已经很准确了,但是在移动眼 动、遮挡眼动的瞳孔直径计算方面存在不足,无法准确计算它们的瞳孔直径。我希望研发 一种求取多种眼动类型瞳孔直径变化的算法,从而分析动物的认知状态。

  1. 2小鼠眼动检测系统方案设计

眼动检测系统首先需要利用实验室已有瞳孔视频采集装置,采集小鼠眼动视频。然后 介绍算法部分,通过神经网络标记和识别多个瞳孔特征点,然后对所得数据进行预处理, 然后使用椭圆拟合或距离平均算法计算出瞳孔直径。

  1. 2. 1小鼠眼动采集实验装置

自主研发的眼动检测算法,是在实验室已有的眼动视频采集装置基础上,基于视频分 析完成的。小鼠眼动采集装置如图4.1所示,图4.1(a)为小鼠固定眼动视频采集装置,小 鼠固定在实验装置上,然后通过装置左侧摄像头采集小鼠眼动视频,如果想要分析两个 眼睛的眼动,可以在左右两侧各安装一个眼动采集摄像头。图4.1(b)为小鼠移动眼动视频 采集装置,通过固定在小鼠头部的摄像头,在小鼠自由运动状态下,采集小鼠的眼动视 频。自主研发的眼动检测算法对摄像头并没有太多要求,只要能拍摄完整的眼动视频即 可,但是对于图4.1(b)中自由移动小鼠来说,移动眼动采集摄像头重量一定要小,减少摄 像头对小鼠运动行为的影响。

4.1小鼠眼动检测装置

Figure 4.1 Mouse eye movement detection device

眼动检测算法会调用DeepLabCut工具包砂】,使用其中的神经网络对小鼠瞳孔特征点 进行标记、识别和追踪。所以会对电脑的配置有一定的要求如表4.1所示,可以选用 Windows系统类型或者Linux系统类型,处理器性能比较好一点的工作站,都可以运行 眼动检测算法。

4.1计算机选型参数

Table 4.1 Parameters of computer

参数类型 参数值
处理器型号(CPU) Intel(R) Xeon(R) E5-2620
处理器频率(GHz) 2.40
内存大小(最小,G) 16
硬盘容量(T) 1
windows系统类型 Windows7/ Windows10 64 位
linux系统 Ubuntu 18.04
显卡类型(最低) 独立显卡GTX 1080Ti

2. 2小鼠眼动检测

眼动检测算法能对小鼠移动眼动、固定眼动、遮挡眼动等多种眼动类型的瞳孔直径进 行计算,进行眼动检测时我们会调用DeepLabCut I具包冋】,DeepLabCut I具包主要用 来对动物的身体部位进行追踪如图4.2所示,它能很准确地追踪小鼠两只耳朵,鼻子和尾 巴基部的特征点位置坐标。

图4. 2 DeepLabCut追踪小鼠身体特征点丽

Figure 4.2 DeepLabCut tracking mouse body feature points

我们用DeepLabCut工具包识别和追踪自己定义的瞳孔特征点如图4.3所示,在图形 化界面中我采用多种方式对小鼠眼动特征点进行标记,我使用最多的瞳孔标记方式有两 种,第一种采用标记瞳孔中心、瞳孔0度方向、45度方向、・45度方向、90度方向、・90 度方向这6个特征点,第二种采用标记瞳孔中心、0度、45度、90度、135度、180度、 225度、270度、315度这9个特征点的标记方式。实验人员可以在此基础上自主选择瞳 孔特征点进行标记,如果小于5个特征点,需要保证有一个特征点为小鼠瞳孔中心,并 且瞳孔视频特别稳定,计算出瞳孔中心与各特征点距离,然后对这些距离进行平均处理
求得小鼠瞳孔直径,这种方法比较简单但是精确度不是很高。大于5个瞳孔特征点则采 用椭圆拟合的方法计算小鼠瞳孔直径,这种方法较为准确。然后把标记好的训练集输入 到卷积网络和残差网络结合生成的变体网络模型中,在训练过程中通过不断调节网络参 数,来提高网络模型的准确率。针对不同的眼动类型,我训练了三个网络模型,分别为 固定眼动网络模型、移动眼动网络模型和遮挡眼动网络模型,分别对固定眼动、移动眼

动和遮挡眼动特征点进行识别和追踪O

4.3眼动检测算法示意图

Figure 4.3 Schematic diagram of the eye movement detection algorithm

4.3引用方法

本章利用神经网络识别和追踪瞳孔特征点是借鉴Alexander Mathis教授的方法,他提 出了一种基于深度神经网络的无标记姿态估计的有效方法阴,Mathis团队首先利用 ImageNet这个大型动图片分类数据集,对DeepLabCut进行了训练,这个数据集所有类别 都已经人工标注了标签,所含类别十分广泛,数据量充足。然后通过有监督方式训练模型, 教会系统如何区别不同的动物类别,并且识别动物具体的身体部位,例如小鼠的尾巴、小 鼠的鼻子、苍蝇的四肢、苍蝇的眼睛等不同动物的不同部位。这种方法训练的网络模型, 在进行以后识别和追踪特定动物特征点时,很大程度上节省了训练集所需的数据。接着他 们团队在识别动物单个特征点的基础上,进行创新解决了同时追踪多个动物特征点的问 题,通过多个特征点位置的识别和追踪,也能辅助这些特征点彼此间位置的精确定位。

该方法可以使用较少的数据得到较好的结果。该方法在检测人体四肢形态方面表现非 常好,通过迁移学习只需很少的样本量就可以得到很不错的结果,通过仅标记几百个框架, 就可以训练特定的、强大的特征检测器,这些检测器能够定为于各种实验相关的身体部位, 例如在气味导航任务中对小鼠鼻子,耳朵和尾巴终点的定为。还可以标记果蝇的多个身体 部位,或者小鼠手指关节来证明方法的强大性。

DeepLabCut是一个深度卷积网络,它包含了语义分割和对象识别两个关键方法。反卷 积层代替了 ResNets输出的分类层,通过对视觉信息进行上采样并产生空间概率密度,对 于每个身体部位,DeepLabCut I具包提供了空间置信概率,表示身体部位在特定位置的概 率大小。

固定眼动的瞳孔和虹膜的对比度是比较低的,很容易混淆,同时小鼠眼动红外图像的 质量很差,通过阈值进行瞳孔分割通常是不可靠的。区域增长算法进行瞳孔直径计算主要 步骤为,先利用图像分割方法对小鼠瞳孔图片进行处理,然后将图片中具有类似灰度级的 相邻像素划分到一起,通过添加瞳孔的种子点来识别小鼠瞳孔区域。但是通过结果对比发 现,基于阈值和质心的自动种子选择方法是不可靠的,因此采用特定位置种子的方法进行 解决,在瞳孔视频中任意帧的瞳孔中心周围,通过手动的方法选择一个种子点,并将其应 用于视频种任意一张瞳孔眼动图片。

使用区域增长算法对小鼠瞳孔图片进行处理时,需要先使用滤波器对小鼠瞳孔图片的 噪声信号进行处理,该算法选用3X3的中指滤波器对眼动图片进行处理,以减少小鼠眼动 瞳孔直径计算过程中混入的噪声。小鼠角膜反射和噪音信号有极大可能会对区域增长算法 中的增长区域造成孔洞,因此需要采用形态学操作方法对这些空洞进行处理。但是受到角 膜不连续性反射和噪声的影响,区域增长算法无法做到对小鼠瞳孔的准确追踪,分割得到 的瞳孔边界不包含完整的瞳孔边界,而是包含了很多与瞳孔特征无关的结构。通过一种被 称为迭代随机霍夫变换(IRHT)的新方法进行瞳孔检测,它主要用于检测含有噪声信号的图 像中不完整的椭圆。经过随机霍夫变换(IRHT)得到的瞳孔区域面积与人工统计的瞳孔区域 面积结果对比如图4.4所示,纵坐标是不同时刻计算得到的瞳孔区域面积与第一张人工统 计的瞳孔区域面积的百分比。通过结果对比发现,使用IRHT算法对瞳孔区域面积的统计 结果与人工统计结果基本一致,证明了 IRHT算法在统计固定眼动瞳孔区域方面的优异性 能。IRHT算法已经被开发用于临床超声图像中胎儿头部检测,它通过调整迭代参数,以及 图像空间和参数空间的往复使用,将随机霍夫变换应用于图像空间中的感兴趣区域。

4.4 IRHT与人工统计瞳孔区域面积结果对比

Figure 4.4 Comparison of IRHT and artificial statistics of pupil area

Wei Lu使用曲率算法的检测瞳孔中心"DI,确定瞳孔中心是基于视频计算眼睛方向的基 础,现有的技术很容易出错,因为角膜反射,眼睑,睫毛或阴影都会对瞳孔造成遮挡, 他们提出使用瞳孔边界的曲率特性消除这些伪像。仅基于与瞳孔边界有关的点坐标来确定 瞳孔中心,剩余的边界点使用最小二乘误差准则,此技术很强大可用不到40%可见的瞳孔 边界点,来准确地估计瞳孔中心。

LechSwirski教授提出了一种新颖的实时暗瞳跟踪算法,使用类似Haar的特征检测器 粗略估计瞳孔位置,执行k■表示对周围区域进行分割以细化瞳孔中心,并使用新颖的图像 感知随机样本共识(RANSAC)椭圆拟合将椭圆拟合到瞳孔〔70,71]。

  1. 4小鼠眼动检测算法及实验流程

多种眼动类型的瞳孔直径计算方法及实验流程如图4.5所示,首先用相应的眼动视频 采集装置采集眼动视频,然后对眼动视频采用分层抽样方式,选取视频中在不同位置的眼 动图片,按照7: 3或者8: 2比例,划分训练集和测试集。自主定义了两种瞳孔眼动的标 记方式,第一种采用标记瞳孔中心、瞳孔0度方向、45度方向、・45度方向、90度方向、 ■90度方向这6个特征点,第二种采用标记瞳孔中心、0度、45度、90度、135度、180度、 225度、270度、315度这9个特征点的标记方式。

训练集图片一般选择500张左右,完成所有训练集图片的标记之后,把训练集输入到 卷积网络和残差网络结合生成的变体网络中训练网络模型。DeepLabCut工具包选用变体网 络的原因是,深度卷积网络和残差网络的结合,既能准确识别动物瞳孔特征点,又能避免 梯度消失。在网络模型训练过程中,通过不断调节学习率、网络层数、迭代次数等网络参 数,提升网络模型特征点识别准确率,对训练完成的模型在测试集上进行测试,如果测试 集和训练集准确率相差不大,则说明网络模型没有问题。反之,则需要根据学习曲线分析 原因,如果发生过拟合则需要增加数据量,如果发生欠拟合则需要增加特征项。

训练完成的网络模型可以对同一种眼动视频进行批量处理,输出包含瞳孔特征位置坐 标的文件,把文件输入到Matlab平台,通过自己在Matlab平台编程实现对多种眼动类型 瞳孔直径的计算。我主要采用两种方式进行瞳孔直径计算,即椭圆拟合法和距离平均法。 首先对数据进行预处理,对置信概率低的特征点位置坐标进行处理,主要有两种处理方式, 第一种处理方式是舍弃置信概率低的特征点。第二种处理方式是让这一帧置信概率低的特 征点位置坐标,等于上一帧对应的特征点位置坐标。对于第一种标记6个特征点的标记方 式,采用椭圆拟合方法求取瞳孔直径,椭圆拟合是基于最小二乘的椭圆拟合,通过最少5 个点来拟合椭圆,一定范围内采样点越多则拟合度越高,该算法具有以下优点:

  • 椭圆的特异性,在有遮挡或者有噪声的情况下都会得到一个有用的结果
  • 不变性,对于数据进行Euclidean变换具有不变性,即数据经过一系列Euclidean 变换后也不会导致拟合结果的不同
  • 最小二乘椭圆拟合法,对噪声有很高的鲁棒性
  • 最小二乘椭圆拟合计算具有高效性

对于第二种标记方式,可以采用结合置信概率和椭圆拟合方法求得多个瞳孔直径,然后 使用距离平均法计算最终瞳孔直径。瞳孔计算方法可以对瞳孔数据进行批量处理得到瞳孔 直径。

瞳孔特征位置坐标

输入到mat lab程序中

选择求取瞪孔宣径 的芳法(两种)   单独处理或者批量 处理   瞳孔直径变化可视 化畀面GUI
   
           

保存瞳孔 直径数据

Figure 4.5 Flow chart of pupil diameter calculation
4.5瞳孔直径计算流程图

  1. 5小鼠眼动检测算法实验结果及性能测试

通过眼动检测算法能计算多种眼动类型瞳孔直径其结果如图4.6所示。4.6(a)神经网络 输出的瞳孔特征点位置,这些特征点都标记在小鼠眼动视频中瞳孔周围,很好地拟合了小 鼠瞳孔形状。4.6(b)为计算出瞳孔直径,拟合到视频中的结果,可以发现很好地拟合了遮挡 眼动和移动眼动瞳孔。通过在测试集上标记的多个瞳孔特征点的位置坐标,与神经网络输 出的测试集中小鼠多个瞳孔特征点位置坐标对比,计算得到本算法平均测试误差为 5.21±0.28像素,说明本算法检测到的特征点具有很高的准确率。

我们实验室之前对眼动瞳孔直径计算是基于LabVIEW,采用图像分割的方法。以移动 眼动为例说明眼动检测算法的准确性,4.6(c)为两种瞳孔直径计算方法计算移动眼动瞳孔直 径的结果对比图,其中神经网络为本文瞳孔检测算法,传统方法为实验室之前用的方法, 即通过图像分割的方法计算瞳孔直径。传统方法采用背景剪除和图像分割算法,能较好的 计算小鼠固定眼动的瞳孔直径,但是因为移动眼动瞳孔位置变化很快,传统方法无法对其 进行准确追踪和计算。从结果图可以明显发现,传统方法噪声较大,有的时间段甚至不能 测出瞳孔直径。基于神经网络技术的瞳孔直径求取算法相比于传统方法能有效地消除噪声信号,完整地追踪瞳孔特征点,并准确计算出瞳孔直径。

4.6眼动检测算法结果图

Figure 4.6 Results of eye movement detection algorithm

瞳孔信号中存在的噪声是影响瞳孔直径计算的重要因素,我们把有效信号与噪声中, 有效信号所占比例定义为信号质量,通过眼动检测算法与传统算法在信号质量上的对比结 果来证明眼动检测算法的性能如图4.7所示。对眼动检测算法性能进行验证的具体步骤为, 首先选择合适时间间隔的窗函数对两种算法所求瞳孔直径信号进行分段处理,计算该段时 间内瞳孔直径信号的均值mean和方差std,我们把位于mean土2*std之间的信号作为有效 信号,其它异常跳变点作为噪声信号处理,因为动物的瞳孔直径很少出现剧烈跳变的情况, 一般是算法对瞳孔直径的计算不精确造成的。然后滑动窗口重新进行下一段时间的信号质 量统计,直到完成所有的信号质量统计,得到眼动检测算法与传统方法在信号质量上的对 比结果,其中红色部分为实验室之前所用的瞳孔计算方法,主要采用图像分割对瞳孔直径 进行计算,蓝色部分为本文所用的瞳孔直径计算方法DNN,即本文基于CNN和ResNet研 发的瞳孔直径计算方法。

通过结果我们可以发现图像分割算法求得瞳孔直径的信号质量不太好,平均信号质量 在45%左右,基于DNN的眼动检测算法性能较好,平均信号质量在96%左右,信号噪声 很少。基于神经网络的眼动检测算法与基于图像分割的传统方法在信号质量上存在显著性 差异,有效证明了相比于传统方法,眼动检测算法具有较好的性能,能准确、高效的计算 小鼠瞳孔直径。

4.6本章小结

眼动检测算法能很好的识别和追踪小鼠瞳孔特征点,能准确地计算多种眼动类型的瞳 孔直径。相比于区域增长算法、LabVIEW图像处理算法等传统瞳孔直径计算方法,基于神 经网络研发的眼动检测算法能准确计算移动眼动、遮挡眼动的瞳孔直径。科研人员可以通 过瞳孔直径变化来分析动物认知状态变化,对于自闭症、阿尔茨海默症、抑郁症等精神类 疾病的诊断非常重要。

第5章狗社交行为分析系统

第3章和第4章是在小鼠上所做的工作,是本论文的预实验,为后面狗的社交行为分 析奠定基础,预实验的算法也适用于狗的社交行为分析。狗是很好的人类神经精神疾病(包 括自闭症(ASD))模型,狗的社交行为分析对于自闭症的治疗非常重要。狗社交行为分析 系统中试验箱装置和社交视频,都来自跟我合作的北京遗传所,我在他们视频基础上进行 狗社交行为分析。

5.1需求分析

狗是很好的人类神经精神疾病(包括自闭症(ASD))模型,为了加快精神类疾病的治 疗进程,需要对狗社交行为进行较为精确的分析,传统狗行为分析方法包括无线传感器、 惯性传感器、三轴加速度计,三周陀螺仪、K9-Blyzer和隐马尔可夫模型等,都在某一方面 表现出很好的效果,但是还有自己的不足之外,他们无法对狗的社交时间和次数进行准确 的分析,隐马尔可夫模型虽然可以对连续动作进行分析,并且在连续集上表现良好,但是 换一组狗数据输入隐马尔可夫模型,就会发现模型准确率有较大程度的下降,也不适合进 行否社交时间和次数统计。在狗的社交行为分析方面最多的还是通过人工统计的方式,但 是人工统计狗的社交行为,存在工作量大、效率低的不足,因此需要基于视频分析,采用 神经网络、图像处理和SVM,研发一套狗社交行为分析系统。

  1. 2狗社交行为分析系统方案设计

狗社交行为分析系统方案设计,首先介绍系统,狗社交行为分析系统是在北京遗传所 已有装置的基础上研发的,首先对进行社交实验所用的实验室已有装置进行介绍,然后对 本系统如何进行行为分析的实验进行说明。

  1. 2. 1狗社交行为实验装置

狗的社交行为主要包括狗与人之间的社交行为,以及狗同类间的社交行为。狗的社交 行为实验装置如图5.1所示,图5.1(a)为单箱实验装置,进行狗与人的社交实验,其中A1 和A2区域,为饲养员或者陌生人活动的区域,L1和L2为单箱实验装置的边界点,也分 别是A1和A2圆弧区域的圆心位置。图5.1 (b)为三箱实验装置,进行狗同类间的社交实 验,其中L1和L2为装置边界,L1和L2是虚线,狗可以穿越边界在三箱实验装置中的任 意一箱自由活动。

5.1狗社交行为实验装置
(町单箱实验装置

Figure 5.1 Experimental device of dog social behavior

单箱实验装置和三箱实验装置中央区域正上方都悬挂有摄像头,用来分别拍摄狗与人 的社交行为,以及狗同类间的社交行为。单箱实验装置的参数值如表5.1所示

51单箱实验装置参数

Table 5.1 Parameters of single box experimental device

参数类型 参数值
圆弧A1半径(m) 1.26
装置长度(ni) 2.70
装置宽度(m) 1.80
摄像头高度(ni) 2.67
摄像头分辨率 1920x1080
摄像头帧率(帧) 20
编码 mp4v

三箱实验装置中的Al和A2区域,用来放与实验狗不同熟悉程度的狗。三箱实验装 置的参数如表5.2所示。

5.2三箱实验装置参数

Table 5.2 Three box experiment device parameters

参数类型 参数值

装置单边长(ni)

摄像头分辨率 1920x1080

摄像头帧率(帧) 25

  1. 2. 2狗社交行为实验

狗对不同的社交对象例如饲养员和陌生人,表示出不同的社交行为el。狗与人社交实 验的流程如图5.2所示,首先狗自己适应环境10分钟;狗跟饲养员适应环境10分钟;陌 生人进入,正式实验30分钟,实验期间,要求人不能跟狗主动互动,保持安静,每隔十分 钟变换一次坐姿。因为人老不动,狗就会休息甚至睡觉,为了激发狗的互动积极性,腿的 姿势每10 min统一变化一次,两人姿势须保持一致。

狗同类间社交实验流程如图5.3所示,狗自己在中间箱适应环境10分钟;打开门,左 右两边箱可穿行,适应环境10分钟;其中一箱放一只陌生狗,另一箱放一个笼子,10分

钟后,另一只陌生狗放到该空笼子里。

53狗同类间社交实验流程图

5.3引用方法

LindaGerencser教授通过多种传感器配合采集数据阿,然后把数据输入到有监督SVM 算法中训练的方法给了我很多借鉴意义,虽然我们提取的特征不一样。首先对多个传感器 数据进行预处理,预处理包括计算采集数据的平均值,标准差和快速傅立叶变换等参数, 提取特征信息,然后使用LIBSVM工具包来调用有监督SVM训练行为分析模型。

为了评估和比较从数据中提取有效性特征,自己建立一个库用于特征有效性的验证, 数据库中包含最佳的二十次测量结果,然后计算所有特征的F分数,作为特征重要性的度 量方式,一定范围内所用传感器数量越多对应的F分数越高,也说明该特征的有效性。对 整个数据采用交叉验证的方式进行验证,证明方法的有效性。

  1. 4结合图像处理和神经网络分析狗社交行为 5.4. 1方法介绍

前期预实验的算法也适用于狗,第3章用图像处理的算法来分析小鼠行为,同样也可 以用来分析狗的多种行为特征变量如图5.4所示,通过图像处理算法得到狗的质心位置坐

标、速度、轨迹等多种行为特征变量。

5.4图像处理算法分析狗行为

但是,因为狗行为分析的背景比较复杂,会对阈值化后的图像像素产生影响,所以图 像处理算法对狗的头部偏转角度、到达ROI区域的次数和时间、社交时间等多种行为特征 变量的统计是不太准确的,分析准确这些变量需要做大量的调参工作,因此我加入了第4 章所用到的神经网络来更加准确地分析狗的多种行为特征变量。神经网络结构图如图5.5 所示,它采用了卷积网络和残差网络结合生成的变体网络对狗特征点进行识别和追踪,其 中的残差单元避免网络在增加深度的情况下发生梯度消失,使得狗的特征点追踪更加准 确。

利用神经网络进行狗行为分析的主要步骤如下:输入拍摄的狗行为视频,采用K-Means 聚类方法选取视频中不同类型图片进行多个特征点标记,通常需要选用500张左右图片, 实验人员可以根据需要自主进行选择特征点如图5.6所示。本系统包含狗与人社交以及狗 同类间社交行为分析,进行狗同类间社交行为分析时需要标记狗头部、中心、四肢、左侧 笼子中心、右侧笼子中心、三箱实验装置左侧边界中心以及三箱实验装置右侧边界中心。 进行狗与人社交行为分析时需要标记以下特征点,实验装置左侧圆弧区域原点L1,右侧圆 弧区域原点L2,狗的身体特征点包括狗头部、身体中心等,实验人员可以根据需求选择不 同部位特征点进行标记。

5.6标记狗特征点

将训练集输入到CNN结合ResNet生成的变体网络中训练网络模型,并对视频进行分 析得到多个特征点位置坐标。在网络模型训练过程中实验人员可以通过调整神经网络参 数,降低网络模型错误率。根据狗身体中心特征点和脖子处特征点组成特征向量,与狗脖 子处特征点和狗头部特征点组成特征向量的夹角来计算狗头部偏转角度,P1为狗头部特 征点,P2为狗脖子处特征点,P3为狗身体中心特征点,其计算公式如下:

cos(P1P2, P2P3) = P1P2 * P2P3 / (|p1P2| * |P2P3|) (5.1)

根据不同帧狗身体中心特征点两对坐标间的欧式距离和间隔帧数以及帧率关系,求得 狗运动速度。神经网络算法可以准确、高效地得到狗的多个特征点位置坐标,选择我们关 心的特征点坐标,用于狗的轨迹绘制。绘制轨迹之前,先对狗特征点坐标进行预处理,保 留置信概率大于99%的特征点位置坐标。把置信概率小于99%的特征点坐标称为低概率特 征点,使低概率特征点坐标等于前一帧特征点坐标。取狗社交实验过程中某一帧作为背景 帧,生成一个和背景帧大小相同的背景矩阵,然后把狗社交实验背景矩阵像素值全部置为 0,如果狗到达某个坐标点次数越多,则相应增加背景矩阵中像素值,然后通过二值图像矩 阵中像素值变化来绘制狗运动轨迹,也可以采用插值绘制曲线方法来绘制狗运动轨迹。背 景矩阵卷积一个内核矩阵生成一个新矩阵,之后新矩阵通过mat2gray()函数转换为灰度图, 并通过imagesc()函数生成热力图。即把背景矩阵中每一个值映射到颜色空间,数值越大颜 色越深,得到狗运动热力图,狗运动热力图能很好显示狗位置偏好,对于研究狗社交行为 具有重要意义。同理把每一帧的速度大小映射到背景矩阵中,速度越大则背景矩阵中像素 值也相应增大,就可以得到显示狗在不同位置速度变化情况的速度热力图。

神经网络计算狗进入ROI区域时间和次数的步骤为:结合狗特征点与某个特定区域特 征点坐标距离关系和时间限制求得狗到达该区域次数,当狗特征点与该区域特征点欧式距 离小于阈值时,说明狗到达区域所在位置,当狗离开该区域,之后再次到达并且时间间隔 大于阈值时,说明狗到达ROI(感兴趣)区域动作再次发生,到达ROI区域次数加1。并用 帧数和帧率之间的关系来统计狗在该区域所呆时间。

通过与第3章相似的算法,计算求得狗的速度、轨迹、轨迹热力图、速度热力图、到 达ROI区域的次数和时间等多种行为特征变量。可以根据狗身体中心与单箱实验装置圆弧 区域原点LI、L2的距离,是否小于圆弧半径,判断狗是否位于圆弧区域和位于哪个圆弧 区域,并根据帧数与帧率的比值统计在圆弧区域时间,当狗离开与再次进入圆弧区域的间 隔时间大于时间阈值,贝J狗进入圆弧区域次数加1,统计出狗进入某一圆弧区域的次数。

根据狗头部特征点与三箱实验装置左侧笼子中心、右侧笼子中心的距离,判断狗是否 靠近笼子和靠近哪一侧笼子,并根据帧数与帧率的比值统计狗靠近某一侧笼子的时间。当 狗离开与再次靠近笼子区域的时间间隔大于时间阈值,则狗靠近笼子区域的次数加1,进 而统计出狗靠近某一侧笼子的次数。

  1. 4. 2实验结果及分析

结合图像处理和神经网络可以对狗与人社交实验的轨迹图和热力图进行准确绘制如图 5.7所示,图5.7(a)为狗与人社交实验轨迹图,图5.7(b)为狗与人社交实验热力图,从实验 结果我们可以得知,狗更愿意去向饲养员所在的一侧,更愿意与饲养员社交。

Figure 5.7 Dog and human social experiment trajectory and heat map
57狗与人社交实验轨迹图和热力图

不同性别的狗在狗同类间社交实验中表现出不同的结果如图5.8所示,图5.8(a)为雄性 狗的轨迹图,图5.8(b)为雄性狗的热力图,可以发现它对陌生的狗比较感兴趣,靠近陌生 狗的次数更多一些。图5.8(c)为雌性狗的轨迹图,图5.8(d)为雌性狗的热力图,可以发现它 在远离陌生狗的区域呆的次数更多一些。通过对比不同性别狗轨迹图和热力图,可以发现 不同性别的狗社交行为是存在差异的⑴]"4],雄性狗比雌性狗的探索能力可能更强一些。

同类间社交,雄性狗轨迹图和热力图

同类间社交,雌性狗轨迹图和热力图

58狗同类间社交实验轨迹图和热力图

Figure 5.8 The trajectory and heat map of the social experiment between dogs

5.5 SVM对狗行为状态进行分类流程及结果

好的分类算法能够准确地识别狗社交行为,便于研究者深刻的理解狗交互行为与神经 环路和大脑特定功能区域的关系"I。研究狗的社交行为还需要对狗的行为进行分类,因为 一般我们把狗的蹲坐状态视为狗处于休息状态,而在本实验中我们把站立作为狗社交活动 的充分条件,所以要对狗的站立和蹲坐状态进行分类,利用SVM算法对狗行为分类的流 程图如图5.9所示。首先用顶部摄像机拍摄狗社交行为视频,可以是狗与人社交行为视频, 也可以是狗同类间社交行为视频为%],不同的实验装置需要训练不同的分类模型,因为不 同实验装置视频中提取到的总特征是不一样的,同一个实验装置做的实验可以使用同一个 模型。然后对视频中图片进行K-Means聚类,方便实验人员快速挑选不同类别的图片进行 标记,我选取了 1095张图片进行标记,并按照8:2比例划分训练集和测试集,然后对图片 进行预处理,将图片尺寸缩减到同一尺寸标准,这样不仅能减少数据量,还能提高svm模 型的分类效率。

对图片中的HoG、Spatial和Histogram特征进行提取,组合成特征向量输入到SVM 模型中进行训练,方向梯度直方图(Histogram ofOrientedGradient, HOG)是一种常用的特 征描述子,通常用于图像处理和机器视觉中进行物体检测和分类。方向梯度直方图通过算 法统计和计算动物图像中局部区域的梯度方向直方图来构成特征。在SVM分类器中加入

HOG特征是Dalal教授在2005年CVPR上最早提出的方法",这种方法能极大地提高图 像识别的准确率。Spatial和Histogram特征也是动物行为分类的重要特征,加入这些特征 可以提高行为分类的准确性。除此之外,实验人员可以在训练过程中不断调节SVM训练 器参数,使得SVM模型准确率提高。训练完成SVM模型之后,输入狗社交视频到SVM 模型中进行分类,最后得到狗与人社交行为状态变化情况。

5.9狗行为分类流程图

Figure 5.9 Flow chart of dog behavior classification

训练好SVM模型后,用测试集验证模型的准确率,我把219张图片划分为测试集,其 中有94张图片狗处于站立状态,125张图片狗处于蹲坐状态。我把狗蹲坐状态标记为0, 站立状态标记为1,所以利用已经训练好的SVM对行为分类,可能会出现以下四种情况:

  • 、TP:狗站立识别为狗站立
  • 、TN:狗蹲坐识别为狗蹲坐
  • 、FP:狗蹲坐识别为狗站立
  • 、FN:狗站立识别为狗蹲坐

通过测试集预测结果和真实标注对比发现,TP为87、TN为118、FP为7、FN为7,

SVM模型整体准确率为93.61%,令ACC表示整个模型的准确率其计算公式为

为了进一步验证SVM算法的分类性能,绘制了混淆矩阵如图5.10所示,通过混淆矩 阵可以发现预测正确狗蹲坐数量与狗总蹲坐数量比值为0.944,预测正确狗站立数量与狗 总站立数量比值为0.926,并且在第一、三象限对应的比值都很小,混淆矩阵的结果说明了

SVM分类器对狗的行为很较好的分类效果。

Predicted class

0.944  
  0.926

5.10混淆矩阵验证SVM准确性

Figure 5.10 Confusion matrix verify SVM accuracy

最后还可以引入精准度(Precision)、召回率(Recall)和Fl・Score指标对模型性能进行评估。 Precision,为发现了多少狗处于站立状态

TP Pr ecision =  (5.3)

TP + FP

召回率,为狗站立被发现比率

TP Recall =  (5.4)

TP + FN

Fl-Score,综合考虑了精确度和召回率,被定义为精确度和召回率的调和平均数

… c 2 x Precision x Recall 山匕、

Fl-Score =  (5.5)

Precision + Recall

对以上三项计算求得结果为Fl・Score = Recall二Precision,都为92.55%。针对狗社交行 为分类的特点,我需要同时考虑精确度和召回率,所以我更加关注Fl-Score,性能评估以 Fl-Score作为主要参考。通过上述多种角度对SVM算法的验证,说明SVM算法具有较高 的准确性。

  1. 6结合SVM和神经网络分析狗社交行为 5.6.1算法及实验流程

在狗与人的社交实验中,狗与人的社交行为是这样定义的,需要狗的头部位于单箱实 验装置的A1或A2区域,并且狗处于站立状态。若狗处于A1区域且处于站立状态则狗与

陌生人发生社交,若狗处于A2区域且处于站立状态则狗与饲养员发生社交。狗不同的社 交状态示意图如图5.11所示,其中图5.11(a)为狗靠近陌生人休息,图5.11(b)为狗与饲养员 社交。

Figure 5.11 Schematic diagram of different social states of dogs
5.11狗不同社交状态示意图

结合神经网络和有监督SVM,对于视频中狗与人社交行为进行分析,狗与人社交行为 分析流程图如图5.12所示。把视频输入神经网络模型中得到狗头部特征点位置坐标,视频 输入到训练好的SVM模型中,对视频中每一帧狗的站立和蹲坐状态进行分类,并把结果 输出。在Matlab平台中编写程序,读入坐标文件和行为状态分类文件,结合两个文件数据 对狗与人的社交进行分析,如果狗位于圆弧区域且处于站立状态,则狗与人发生社交。在 本次实验中,若狗与人发生社交并且狗位于A2圆弧区域,则狗与饲养员发生社交。若狗 与人发生社交并且狗位于A1圆弧区域,则狗与陌生人发生社交。统计整个视频中狗与饲 养员社交的总帧数,狗与陌生人社交的总帧数,根据帧数与帧率比值分别求得狗与饲养员 社交时间以及狗与陌生人社交时间[78]。通过加入时间限制,求得狗与人社交的次数,若狗 离开后又再次跟人发生社交,并且之间时间间隔大于阈值,则狗与人社交次数加1,根据 狗与人社交所处圆弧区域的不同,分别统计出狗与饲养员社交次数,以及狗与陌生人社交 次数。

5.12狗与人社交行为分析流程图

Figure 5.12 Flow chart of dog and human social behavior analysis

  1. 6. 2实验结果及分析

在狗与人社交实验中,结合SVM和CNN在狗不同社交状态上性能分析如图5.13所 示,CG social表示狗与饲养员社交时间,CG rest表示狗在饲养员身边休息时间,UF social表示狗与陌生人社交时间,UF rest表示狗在陌生人身边休息时间,Away rest表示狗 远离人休息时间,Away activity表示狗远离人活动时间,如果狗不位于圆弧区域则认为狗 远离人。为了分析SVM和CNN算法在狗社交行为分析方面的性能,计算出该算法对狗不 同社交行为统计结果与人工统计结果的误差。SVM+CNN算法,在狗与饲养员社交时间统 计上与人工统计平均误差在2.7%左右,在狗与陌生人社交时间统计上与人工统计平均误差 在2.97%左右,并且在其他几种社交行为的统计上与人工统计误差也较低,不超过10%, 验证了该方法的有效性。本系统算法与人工统计结果对比准确率在90%以上,但是分析效 率要远远高于人工统计。因此卷积神经网络结合有监督SVM算法能快速、精确的分析狗 与人社交行为。

513 SVM+CNN在狗不同社交行为上性能分析

Figure 5.13 SVM+CNN performance analysis on dogs* different social behaviors

  1. 7本章小结

本章介绍了预实验算法在狗上的应用,图像处理算法能分析狗的质心位置坐标、速度、 轨迹等多种行为特征变量[79】。但是因为狗社交行为的背景比较复杂,图像处理算法对狗的 头部偏转角度、到达ROI区域的次数和时间、社交时间等多种行为特征变量无法准确统 计。因此添加第4章讲述的预实验算法神经网络,结合图像处理和神经网络能对狗的速度、 轨迹、头部偏转、进入ROI区域时间和次数、三箱实验装置中靠近陌生狗的次数和时间等 多种行为特征变量跑进行准确统计。

本章还介绍了有监督SVM算法在狗站立和蹲坐状态分类方面的准确性,SVM模型 Fl・Score高达92.55%,结合SVM和神经网络对狗与人的社交时间进行统计,与人工统计 结果对比准确率在90%以上,但是分析效率要远远高于人工统计。相比于K9-Blyzer分析 器,狗的社交行为分析算法更加准确。相比于人工统计狗的社交行为方法来说,狗的社交 行为分析算法更加高效。

第6章总结与展望

  1. 1本文工作总结

基于机器视觉的动物交互行为与认知状态分析系统,能准确分析动物多种行为特征变 量和社交行为,给科研人员研究动物行为提供了很大帮助。本文首先介绍了基于机器视觉 的动物交互行为与认知状态分析系统研究背景,然后介绍了国内外相关研究成果、现有的 动物行为分析算法及其缺点和本系统的意义。证明了基于机器视觉的动物交互行为与认知 状态分析系统具有一定的实用价值和现实意义。

以小鼠为实验模型,研发了反馈式小鼠行为分析系统和眼动检测算法,反馈式小鼠行 为分析系统相比于传统方法能对动物进行实时分析、反馈调节,方便实验人员研究动物行 为。眼动检测算法可以较为准确的计算多种眼动类型的瞳孔直径,进而分析动物的认知状 态。在小鼠身上做的工作是本文研究工作的前期预实验,为狗的社交行为分析奠定基础, 预实验的算法也适用于狗。在进行狗的社交行为分析时,会用到预实验算法并在原来基础 进行拓展加入神经网络算法进行狗的多种特征点识别和追踪,使狗行为特征变量的分析更 加准确。

结合神经网络和图像处理算法能处理较为复杂的背景环境,较为准确地分析狗速度、 轨迹、头部偏转角度、到达ROI区域次数和时间等行为特征变量。结合神经网络算法和 SVM算法能较为准确、高效的分析狗社交行为,包括狗与人社交行为以及狗同类间社交行 为。经过实验验证基于机器视觉的动物交互行为与认知状态分析系统,能较为精确的进行 动物交互行为和认知状态分析。有助于科研人员更好地了解社交障碍的发病机制。推进自 闭症、精神分裂症和老年痴呆症等人类精神疾病新药物疗法的研发进程,进而造福人类和 社会。

  1. 2未来研究展望

尾巴运动特征和面部表情是动物情绪的直观反应,以狗为例,Quaranta教授在他的文 章中提到,狗对不同情绪刺激有不对称摆尾响应购。一般而言狗尾巴摆动大体分为四种状 态,分别为左边上震、右边下震、上翘和夹尾巴。狗尾巴变化情况能代表高兴、沮丧、抑 制、不安、警惕等内心活动。分析神经元spike发放和狗尾巴的摆动情况,有利于研究狗的 社交行为,从而为精神疾病治疗提供支撑。狗情绪发生变化,或者看见不同的社交对象时, 面部表情会发生变化阿。我们将来可以采集狗面部表情并进行标记做成一个数据库,不同 面部表情代表不同的情绪状态和社交状态,对于狗的行为研究意义重大。综上所述,未来 打算在两个方面进一步研究,第一个方面是加入更多的特征。例如加入狗尾巴摆动、耳朵 的动作、体温变化等特征,更加全面的分析动物行为。第二个方面为分析狗的面部表情。 通过狗的面部表情,来分析狗的情绪状态和社交状态。

参考文献

  • 陈凯,统计与信息论坛朱机器学习及其相关算法综述[J].No.86(5): 105-12.
  • WEBSTER S J, BACHSTETTERAD, NELSON P T, et al. Using mice to model Alzheimefs dementia: an overview of the clinical disease and the preclinical behavioral changes in 10 mouse models [J]. Front Genet, 2014, 5(8&
  • VAN DER WEL P, VAN STEENBERGEN H. Pupil dilation as an index ofeflfbrt in cognitive control tasks: A review [J]. Psychon Bull Rev, 201& 25(6): 2005-15.
  • WALLACE D J, GREENBERG D S, SAWINSKI J, et al. Rats maintain an overhead binocular field at the expense of constant fusion [J]. Nature, 2013, 498(7452): 65-9.
  • GANDAL M J, EHRLICHMAN R S, RUDNICK N D, et al. A novel electrophysiological model of chemotherapy-induced cognitive impairments in mice [J]. Neuroscience, 2008, 157(1): 95-104.
  • TAKANO X LIOU K N, KAHNERT M, et al. The single-scattering properties ofblack carbon aggregates determined from the geometric-optics surface-wave approach and the Tmatrix method [J]. Journal of Quantitative Spectroscopy and Radiative Transfer, 2013, 125(51-6.
  • WEI P, LIU N, ZHANG Z, et al. Processing of visually evoked innate fear by a non-canonical thalamic pathway [J]. Nat Commun, 2015, 6(6756.
  • MOY S S, NADLER J J, POE M D, et al. Development of a mouse test for repetitive, restricted behaviors: relevance to autism [J]. Behav Brain Res, 2008, 188(1): 178-94.
  • JONES W KLIN A. Attention to eyes is present but in decline in 2-6-month-old infants later diagnosed with autism [J]. Nature, 2013, 504(7480): 427-31.
  • LIU B H, HUBERMAN A D, SCANZIANI M. Cortico-fugal output from visual cortex promotes plasticity of innate motor behaviour [J]. Nature, 2016, 538(7625): 383-7.
  • LOVETT-BARRON M, ANDALMAN A S, ALLEN W E, et al. Ancestral Circuits for the Coordinated Modulation ofBrain State [J]. Cell, 2017, 171(6): 1411-23 el7.
  • TSUTSUI K, SHINYA M, KUDO K. Underlying structure in the dynamics of chase and escape interactions [J]. Sci Rep, 2019, 9(1): 15051.
  • ARANGO C. Child and adolescent neuropsychopharmacology: now or never [J]. Eur Neuropsychopharmacol, 2011, 21(8): 563-4.
  • GOINES P E, ASHWOOD P. Cytokine dysregulation in autism spectrum disorders (ASD): possible role of the environment [J]. Neurotoxicol Teratol, 2013, 36(67-81.
  • BREMHORSTA, SUTTER NA, WURBEL H, et al. Differences in facial expressions during positive anticipation and frustration in dogs awaiting a reward [J]. Sci Rep, 2019, 9(1): 19312.
  • SALONEN M, SULKAMA S, MIKKOLA S, et al. Prevalence, comorbidity, and breed differences in canine anxiety in 13,700 Finnish pet dogs [J]. Sci Rep, 2020, 10(1): 2962.
  • WARREN M R, CLEIN R S, SPURRIER M S, et al. Ultrashort-range, high-frequency communication by female mice shapes social interactions [J]. Sci Rep, 2020, 10(1): 2637.
  • PFEIFFER U J, VOGELEY K, SCHILBACH L. From gaze cueing to dual eye-tracking: novel approaches to investigate the neural correlates of gaze in social interaction [J]. Neurosci Biobehav Rev, 2013,37(10 Pt 2): 2516-28.
  • TOPAL J, ROMAN V, TURCSAN B. The dog (Canis femiliaris) as a translational model of autism: It is high time we move from promise to reality [J]. Wiley Interdiscip Rev Cogn Sci, 2019,

10(4): el495.

  • GAO J, WU H, CAO X et al. Maternal DHA supplementation protects rat offspring against impairment of learning and memory following prenatal exposure to valproic acid [J]. J Nutr Biochem, 2016, 35(87-95.
  • C ATAL A A, GRANDGEORGE M, SCHAFF J L, et al. Dogs demonstrate the existence of an epileptic seizure odour in humans [J]. Sci Rep, 2019, 9(1): 4103.
  • MING X, JULU P O, WARK J, et al. Discordant mental and physical efforts in an autistic patient [J]. Brain Dev, 2004, 26(8): 519-24.
  • TANAKA J W SUNG A. The nEye AvoidancenHypothesis of Autism Face Processing [J]. J Autism Dev Disord, 2016, 46(5): 1538-52.
  • NAKAMURA A, FUNAYA H, UEZONO N, et al. Low-cost three-dimensional gait analysis system for mice with an infrared depth sensor [J]. Neurosci Res, 2015, 100(55-62.
  • DAGOSTINO G, CRISTIANO C, LYONS D J, et al. Peroxisome proliferator-activated receptor alpha plays a crucial role in behavioral repetition and cognitive flexibility in mice [J]. Mol Metab, 2015, 4(7): 528-36.
  • KANNERAM, SCHACHTER S C, BARRY J J, et al. Depression and epilepsy, pain and psychogenic non-epileptic seizures: clinical and therapeutic perspectives [J]. Epilepsy Behav, 2012, 24(2): 169-81.
  • DUGBARTEY G J, TALAEI F, HOUWERTJES M C, et al. Dopamine treatment attenuates acute kidney injury in a rat model of deep hypothermia and rewarming - The role of renal H2S- producing enzymes [J]. Eur J Pharmacol, 2015, 769(225-33.
  • RODGERS R J, COLE J C, ABOUALFAK, et al. Ethopharmacological analysis of the eflfects of putative ^nxiogenic1agents in the mouse elevated plus-maze [J]. 1995, 52(4): 805-13.
  • PAYANDEMEHR B, EBRAHIMI A, GHOLIZADEH R, et al. Involvement of PPAR receptors in the anticonvulsant eflfects of a cannabinoid agonist, WIN 55,212-2 [J]. Prog Neuropsychopharmacol Biol Psychiatry, 2015, 57(140-5.
  • TANAKA-ESPOSITO C, CHEN Q, LESNEFSKYEJ. Blockade of electron transport before ischemia protects mitochondria and decreases myocardial injury during reperfusion in aged rat hearts [J]. Transl Res, 2012, 160(3): 207-16.
  • 于波,程绍信,冯汉炯,et al.动物行为检测方法及装置,CN108231157A [P/OL]. 2018- 06-29].
  • LEIN WEBER M, ZMARZ P, BUCHMANN P, et al. Two-photon calcium imaging in mice navigating a virtual reality environment [J]. J Vis Exp, 2014, 84): e50885.
  • MORIUCHI J M, KLIN A, JONES W. Mechanisms of Diminished Attention to Eyes in Autism [J]. Am J Psychiatry, 2017, 174(1): 26-35.
  • PAYNE H L, RAYMOND J L. Magnetic eye tracking in mice [J]. Elife, 2017, 6(
  • LU W TAN J, ZHANG K, et al. Computerized mouse pupil size measurement for pupillary light reflex analysis [J]. Comput Methods Programs Biomed, 2008, 90(3): 202-9.
  • SAKATANI T, ISA T. PC-based high-speed video-oculography for measuring rapid eye movements in mice [J]. Neurosci Res, 2004, 49(1): 123-31.
  • CIMARELLI G, MARSHALL-PESCINI S, RANGE F, et al. Pet dogs' relationships vary rather individually than according to partner's species [J]. Sci Rep, 2019, 9(1): 3437.
  • MOLNAR C, KAPLAN F, ROY P, et al. Classification of dog barks: a machine learning 58

approach [J]. Anim Cogn, 2008, 11(3): 389-400.

  • ROSADO B, GONZALEZ-MARTINEZ A, PESINI P, et al. Effect of age and severity of cognitive dysfunction on spontaneous activity in pet dogs - part 2: social responsiveness [J]. Vet J, 2012, 194(2): 196-201.
  • MADGWICK SOH, HARRISON AJL, VAIDYANATHAN AJIICORRP. Estimation of IMU and MARG orientation using a gradient descent algorithm [J]. 2011, 2011(5975346.
  • CRAWLEY J N. Mouse behavioral assays relevant to the symptoms of autism [J]. Brain Pathol, 2007, 17(4): 448-59.
  • ASHE K H. Learning and memory in transgenic mice modeling Alzheimefs disease [J]. Learn Mem, 2001, 8(6): 301 ■&
  • SABOGAL-GUAQUETA A M, MUNOZ-MANCO J I, RAMIREZ-PINEDA J R, et al. The flavonoid quercetin ameliorates Alzheimefs disease pathology and protects cognitive and emotional function in aged triple transgenic Alzheimer's disease model mice [J]. Neuropharmacology, 2015, 93(134-45.
  • SILVERMAN J L, YANG M, LORD C, et al. Behavioural phenotyping assays for mouse models of autism [J]. Nat Rev Neurosci, 2010, 11(7): 490-502.
  • COURTINE G, SONG B, ROY R R, et al. Recovery of supraspinal control of stepping via indirect propriospinal relay connections after spinal cord injury [J]. Nat Med, 2008, 14(1): 69-74.
  • MARTON T F, SOHAL V S. Of Mice, Men, and Microbial Opsins: How Optogenetics Can Help Hone Mouse Models of Mental Illness [J]. Biol Psychiatry, 2016, 79(1): 47-52.
  • OOTA S, MEKADA K, FUJITA X et al. Four-dimensional quantitative analysis of the gait of mutant mice using coarse-grained motion capture [J]. 2009, 2009(5227-30.
  • OWEN K, THIESSEN D D, LINDZEY G J B G. Acrophobic and photophobic responses associated with the albino locus in mice [J]. 1970, 1(3): 249-55.
  • HONG W, KENNEDYA, BURGOS-ARTIZZU X P, et al. Automated measurement ofmouse social behaviors using depth sensing, video tracking, and machine learning [J]. Proc Natl Acad Sci USA, 2015, 112(38): E5351-60.
  • DENG X CHEN X ZHANG X et al. Fuzzy Dijkstra algorithm for shortest path problem under uncertain environment [J]. Applied Soft Computing, 2012, 12(3): 1231-7.
  • PARELLADA M, MORENO C, MAC-DOWELL K, et al. Plasma antioxidant capacity is reduced in Asperger syndrome [J]. J Psychiatr Res, 2012, 46(3): 394-401.
  • SHAW J A, MATLOVICH N, RUSHLOW W, et al. Role of calcineurin in inhibiting disadvantageous associations [J]. Neuroscience, 2012, 203(144-52.
  • WANG C A, MUNOZ DP.A circuit for pupil orienting responses: implications for cognitive modulation of pupil size [J]. Curr Opin Neurobiol, 2015, 33(134-40.
  • YILMAZ M, MEISTER M. Rapid innate defensive responses of mice to looming visual stimuli [J]. Curr Biol, 2013, 23(20): 2011-5.
  • MULLIGAN J B J B R M I, COMPUTERS. Image processing for improved eye-tracking accuracy [J]. 1997, 29(1): 54-65.
  • GERENCSER L, VASARHELYI G, NAGY M, et al. Identification of behaviour in freely moving dogs (Canis femiliaris) using inertial sensors [J]. PLoS One, 2013, 8(10): e77814.
  • BRUGAROLAS R, ROBERTS D, SHERMAN B, et al. Posture estimation for a canine machine interface based training system [J]. Conf Proc IEEE Eng Med Biol Soc, 2012,2012(4489-

92.

  • TAKEDA R, TAD ANO S, NATORIGAWA A, et al. Gait posture estimation using wearable acceleration and gyro sensors [J]. J Biomech, 2009, 42(15): 2486-94.
  • BEN MANSOUR K, REZZOUG N, GORCE P. Analysis of several methods and inertial sensors locations to assess gait parameters in able-bodied subjects [J]. Gait Posture, 2015, 42(4): 409-14.
  • PACI P, MANCINI C, PRICE B A. Designing for wearability in animal biotelemetry [M]. Proceedings of the Third International Conference on Animal-Computer Interaction - ACI 46. 2016: 1-4.
  • AMIR S, ZAMANSKYA, LINDEN DVD. K9-Blyzer: Towards Video-Based Automatic Analysis of Canine Behavior [M]. Proceedings of the Fourth International Conference on Animal- Computer Interaction. Milton Keynes, United Kingdom; Association for Computing Machinery. 2017: Article 9.
  • CHEN S K, BADEA T C, HATTAR S. Photoentrainment and pupillary light reflex are mediated by distinct populations of ipRGCs [J]. Nature, 2011, 476(7358): 92-5.
  • LOPES G, BONACCHI N, FRAZAO J, et al. Bonsai: an event-based framework for processing and controlling data streams [J]. Front Neuroinform, 2015, 9(7.
  • FAN JUL M S, ZENUTO R R. Personality underground: evidence of behavioral types in the solitary subterranean rodent Ctenomys taiarum [J]. PeerJ, 2020, 8(e8490.
  • HU J, XIN H J B R MIC. Image-processing algorithms for behavior analysis of group-housed pigs [J]. 2000, 32(1): 72-85.
  • STUART, R.?STEINHAUER, et al. The Pupillary Response in Cognitive Psychophysiolo罗 and Schizophrenia [J]. 1992,
  • ITOKAZU T, HASEGAWA M, KIMURA R, et al. Streamlined sensory motor communication through cortical reciprocal connectivity in a visually guided eye movement task [J]. Nat Commun, 2018, 9(1): 338.
  • YUZGEC O, PRSA M, ZIMMERMANN R, et al. Pupil Size Coupling to Cortical States Protects the Stability of Deep Sleep via Parasympathetic Modulation [J]. Curr Biol, 2018, 28(3): 392-400 e3.
  • MATHIS A, MAMIDANNA P, CURY K M, et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning [J]. Nat Neurosci, 201& 21(9): 1281-9.
  • SWIRSKIL, BULLING A, DODGSON N. Robust real-time pupil tracking in highly ofi^axis images [J]. 2001,
  • ZHU D, MOORE S T, RAPHAN T J C M, et al. Robust pupil center detection using a curvature algorithm [J]. 1999, 59(3): 145-57.
  • SMIT I, SZABO D, KUBINYI E. Age-related positivity effect on behavioural responses of dogs to human vocalisations [J]. Sci Rep, 2019, 9(1): 20201.
  • PUURUNEN J, HAKANEN E, SALONEN M K, et al. Inadequate socialisation, inactivity, and urban living environment are associated with social fearfulness in pet dogs [J]. Sci Rep, 2020, 10(1): 3527.
  • SELTMANN M W, HELLE S, HTUT W, et al. Males have more aggressive and less sociable personalities than females in semi-captive Asian elephants 卩].Sci Rep, 2019, 9(1): 2668.
  • SUNDMAN A S, VAN POUCKE E, SVENSSON HOLM A C, et al. Long-term stress levels 60
  • 寸I寸9=(1)6 "6se "doEos .5dn MOJbnu  q2qM 启 no三 w WJrqnospuodop suogoluu Mop gz-sbnOZJ 9 B 三 qe gqH.w«"w 0 £ NVWHaiVM  swv s •I0Z—66IE X9)卜-zooz 7.2H JJnu==32专 gA=olug -ualqlnp 9aop bq sgsuodsg」 bnu-Eb即孑一迟 2 忘 ImuASVdVHVDLDJOT1VA M IHUTVUSINIS "VVLNVHVnoog」

.Z08Z二M zsz "dlos .E bo七 Eqq Aq ppoqee £ 呂 nbu 启 9 uog。很」aOG .s INIusmd—TIVHSHVW WDNVHQsyunHH57= •寸 8EZI〈I)卜ZlOZ "doEos .5 sumunq q七 m AuojipuAs Jololuooo一七 CQHXO aop Bo 它 z-aOJIPUAS w」n.2Aeqgq 启ogdsjpul HHBNQVD p VSSOGHHuNOHNVHncI5OZJ 二)卜 ZlOZ "doEos ・ES3BSoAsubnoo luoJqJJ一 p Moes soSJOq luoJ 曲一 p -S4SS 一egedsbnUEOS £ 3三 q_x£ 1 PUPSFUOU=«uIHHIHDIS A Tlvn> "d nDVHVHI2=

  • 「寸Z6=(I)6"6SZ "dgE os .5 dzspu 息 E s卫p 出d 呂 WUOSJUd oqouoq .w«wN SHVLS 7 DU •I6EL XI)6 "6I0Z "doE-5S .ESJOUMO Joq-^—»pueaop 启 POZ-SOJIPUASOJE

致谢

光阴似箭,日月如梭,三年的硕士研究生学习和生活,就要随着这篇毕业论文的答辩 而画上圆满的句号。在中科院先进院的这三年我收获很多,这些收获离不开身边每一个人 对我的帮助。即将离别心中有许许多多的不舍,也有许许多多的感谢要说。

首先要感谢蔚鹏飞老师、魏彦杰老师、王立平老师对我论文的指导和帮助,带领我进 行科研项目,帮助我答疑解惑,在学习和工作中不断给予我指导。我的硕士课题以狗为代 表的动物行为研究是和北京遗传所合作的,感谢北京遗传所的张永清老师、田瑞老师、吕 雯博士和赵晖博士,感谢他们的付出与帮助使我的课题顺利进行,吕雯博士在动物实验和 视频预处理方面给予我很大的帮助。感谢戴辑老师带我做灵长类动物实验,感谢黄艳老师 带我去医院采集脑电数据。感谢脑所的各位研究员老师,我的成长离不开你们的帮助。感 谢先进院给我上课的老师们,教会我更多的专业知识。感谢先进院其他老师,付出自己的 时间和精力为我们提供服务。

感谢黄康师兄对我的帮助,带领我进行科研项目,当我分析数据遇到难题时给我答疑 解惑。感谢刘文昊尽心地教我实验操作,让我了解实验流程。感谢晓媛、刘楠师兄、张佳 佳师姐、任真师姐、浩然师兄帮助我调试行为学装置,感谢韩亚宁在动物行为学方面对我 的帮助,感谢师兄师姐和师弟师妹,潘红丽、雪梅师姐、杨琴师姐、巨富荣师兄、宋思贤、 罗余、矣文玲、邹洁蒙、杨星师兄、清晴师姐……,感谢你们对我生活和科研上的帮助。感 谢几位助理,为我们科研生活提供便利。

最后感谢我的父母,由于科研任务重这三年来与你们相处时间很少,回家发现你们比 以前又苍老了不少。感谢你们的理解和支持,我才能在研究生3年期间专心的进行科研。 你们是我坚强的后盾,你们的支持是我人生宝贵的财富,希望你们永远平安健康。