当前位置：搜档网 › 基于HALCON的视频对象分割及跟踪方法

基于HALCON的视频对象分割及跟踪方法

视频目标跟踪报告

专业硕士研究生实践训练环节视频运动目标检测与跟踪学院：信息科学与工程学院专业：姓名：学号：授课老师：日期：2017

目录 1 课程设计的目的和意义 (1) 1.1 课程设计的目的 (1) 1.2 课程设计的意义 (1) 2 系统简介及说明 (2) 3 设计内容和理论依据 (2) 3.1 基于Mean Shift的跟踪算法 (3) 3.1.1 RGB颜色直方图 (3) 3.1.2 基于颜色和纹理特征的Mean Shift跟踪算法 (3) 3.2 基于颜色特征的粒子滤波跟踪算法 (4) 3.2.1 贝叶斯重要性采样 (4) 3.2.2 序列重要性采样 (5) 3.2.3 粒子退化现象和重采样 (6) 3.2.4 基本粒子滤波算法 (6) 4 流程图 (7) 4.1 Mean Shift跟踪算法流程图 (7) 4.2 粒子滤波跟踪算法流程图 (7) 5 实验结果及分析讨论 (8) 5.1 基于Mean Shift的跟踪算法仿真结果 (8) 5.2 基于颜色特征的粒子滤波算法仿真结果 (9) 6 思考题 (10) 7 课程设计总结 (10) 8 参考文献 (10)

1 课程设计的目的和意义 1.1 课程设计的目的随着计算机技术的飞速发展、信息智能化时代的到来，安防、交通、军事等领域对于智能视频监控系统的需求量逐渐增大。视频运动目标跟踪是计算机视觉领域的一个研究热点，它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。在军事视觉制导、安全监测、交通管理、医疗诊断以及气象分析等许多方面都有广泛应用。同时，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，对城市安全起到了防范作用，并且和我们的生活息息相关。从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。因此如何实现一个具有鲁棒性、实时性的视觉跟踪系统仍然是视觉跟踪技术的主要研究方向。 Mean Shift算法的主要优点体现在：计算简单、便于实现；对目标跟踪中出现的变形和旋转、部分遮挡等外界影响，具有较强的鲁棒性。缺点在于：算法不能适应光线变化等外界环境的影响；当目标尺度发生变化时，算法性能受到较大的影响。粒子滤波适用于非线性、非高斯系统，在诸如机动目标跟踪、状态监视、故障检测及计算机视觉等领域有其独到优势，并得到了广泛研究。但粒子滤波算法本身还不够成熟，存在粒子匮乏、收敛性等问题。因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。 1.2 课程设计的意义图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。其目的是进一步巩固数字图像的基本概念、理论、分析方法和实现方法。 1

【CN109919979A】一种视频实时目标跟踪的方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910174796.5 (22)申请日 2019.03.08 (71)申请人广州二元科技有限公司地址 510000 广东省广州市南沙区银锋一街1号银锋广场1栋1608房 (72)发明人容李庆　关毅　袁亚荣　 (74)专利代理机构广州凯东知识产权代理有限公司 44259 代理人罗丹 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/32(2006.01) (54)发明名称一种视频实时目标跟踪的方法 (57)摘要本发明涉及一种视频实时目标跟踪的方法，采用目标检测与目标跟踪相结合的技术，极大地降低视频实时目标检测的计算量，由于无需对每一帧视频图像进行遍历检测，因此极大地提高了视频实时目标检测的计算效率，可以达到实时视频的帧率。本发明提供的视频实时目标跟踪的方法使用神经网络对目标检测器检测出来的目标框在下一帧图像中的位置进行跟踪回归，极大地降低了视频实时目标检测的计算量，无需对每一帧图像都采用检测器检测目标，采用检测与跟踪相结合的技术应用于视频实时目标检测中，无需对输入图像进行复杂的降噪等处理，对目标检测器也无特殊需求，可以大大提升检测的速率，本发明适用性广，可以在低端的嵌入式设备中保证足够的计算效率。权利要求书1页说明书2页附图1页CN 109919979 A 2019.06.21 C N 109919979 A

权　利　要　求　书1/1页CN 109919979 A 1.一种视频实时目标跟踪的方法，其特征在于包括以下步骤： 1)、通过硬件设备摄像头采集实时的视频作为输入，或者直接输入包含多帧的视频文件； 2)、分解视频，以单帧为单位对视频进行分解； 3)、将不同的数字图像矩阵格式转化为目标检测器支持的数字图像矩阵格式； 4)、输入1帧数字图像矩阵到目标检测器中，检测器通过计算后返回的检测结果以数组的方式进行保存，数组的长度是检测到的目标数量大小； 5)、根据当前输入帧获得的目标检测框作为下一帧图像的目标基础框，采用神经网络对当前帧目标框在下一帧图像的位置进行回归计算，得到下一帧图像的目标检测框信息，如果下一帧检测框信息不为空，则在接下来的帧图像中循环执行当前步骤；若下一帧目标框信息为空，则跳转到步骤4对接下来的帧图像重新调用目标检测器进行目标检测直到视频帧处理结束。 2.根据权利要求1所述的一种视频实时目标跟踪的方法，其特征在于：所述步骤3)在步骤1)输入视频的时候进行统一的转换。 2

用opencv实现对视频中动态目标的追踪

用openCV实现对视频中动态目标的追踪第一步，是要建立一个编程环境，然后加载opencv的库路径等等。具体步骤在 https://www.sodocs.net/doc/ad14754077.html,/ 的“安装”中有详细介绍。第二步，建立一个MFC的对话框程序，做两个按钮，一个“打开视频文件”，一个“运动跟踪处理”。具体操作： 1 建立MFC对话框程序的框架：File ->New -> MFC AppWizard(exe)，选取工程路径，并取工程名“VideoProcesssing”-> Next -> 选择Dialog based后，点Finish,点OK. 2 添加按钮：直接Delete掉界面默认的两个“确定”“取消”按钮。然后添加两个button，分别名为“打开视频”，“运动跟踪处理”，其ID分别设为IDC_OPEN_VIDEO，IDC_TRACKING. 3 添加消息响应函数：双击按钮“打开视频”，自动生成响应函数名OnOpenVideo，点Ok。然后添加如下代码： CFileDialog dlg(true,"*.avi",NULL,NULL,"*.avi|*.avi||"); if (dlg.DoModal()==IDOK) { strAviFilePath = dlg.GetPathName(); }else { return; } 同样，双击“运动跟踪处理”，选择默认的响应函数名，然后添加代码： //声明IplImage指针 IplImage* pFrame = NULL; IplImage* pFrImg = NULL; IplImage* pBkImg = NULL; CvMat* pFrameMat = NULL; CvMat* pFrMat = NULL; CvMat* pBkMat = NULL; CvCapture* pCapture = NULL; int nFrmNum = 0; //打开AVI视频文件 if(strAviFilePath=="") //判断文件路径是否为空 { MessageBox("请先选择AVI视频文件!"); return; }else { if(!(pCapture = cvCaptureFromFile(strAviFilePath))) { MessageBox("打开AVI视频文件失败!"); return;

视频目标检测与跟踪算法综述

视频目标检测与跟踪算法综述 1、引言运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值）（2-2）

数字视频中文字分割算法的研究

万罡周洞汝崔永毅傅华胜（武汉大学计算机信息学院，武汉<#""=!）摘要文章对三种文字分割算法，包括基于阈值的二值化算法、基于分裂/ 合并的算法和基于纹理的算法，进行了分析、实验与评价，最后提出一种边缘检测— —投影— —局部区域二值化的文字分割算法，并给出与前面一些算法的比较。关键词文字分割阈值分裂/ 合并边缘检测文章编号0""!6>##06（!""#）"!6"0"#6"#文献标识码? 中图分类号@A#B0 !"#$%&’"()*+,&-."(/&0 1)2"!),/)’"3".&’.’4.,."3+5.$)& 63’73’,8(&’,-#9#. :&’,%.;#<#3=()’, （C)D’:,&)+,.E F.&D G,):*H-)+H)，I G8’+J+-K):;-,L，I G8’+<#""=!） *>="-3?"：%+,8-;,8);-;，,8:))M-EE):)+,’5(.:-,8&.E,)N,;)(&)+,’,-.+，-+H5G M-+(,8:);8.5M6O’;)M’5(.:-,8&，;D5-,,-+(/ &):(-+(O’;)M’5(.:-,8&’+M,)N,G:)O’;)M’5(.:-,8&，’:)’+’5L P)M’+M)K’5G)M，,8)+，,8)’G,8.:;O:-+(’+)EE-H-)+,,)N, ;)(&)+,’,-.+’5(.:-,8&’;E.55.Q，E-:;,，’+)M()M),)H,-.+ R D:.S)H,-.+O’;)M&),8.M-;G;)M,.(),,)N,:)(-.+;，;)H.+M，,)N,:)(-.+;’:);)(&)+,)M OL ,8:);8.5M6O’;)M&),8.M$ @)%A&-$=：@)N,;)(&)+,’,-.+，@8:);8.5M，*D5-,,-+(/ &):(-+(，T M()M),)H,-.+ 文字分割的本质是图像分割（%&’()*)(&)+,’,-.+）。图像分割是计算机视觉领域中极为重要的内容之一，是实现自动图像分析时首先需要完成的操作。它是根据图像的某些特征或特征集合的相似性准则，对图像像素进行分组聚类，把图像平面划分为一系列“有意义”的区域，使其后的图像分析、识别等高级处理阶段所要处理的数据量大大减少，同时又保留有关图像结构特征的信息。尽管对图像分割算法的研究已有几十年的历史，依据各种理论，至今已提出了上千种类型的分割算法，但是它们大都是针对具体问题的，目前还没有通用的分割理论和算法。下面将对三种文字分割算法，包括基于阈值的二值化算法、基于分裂/ 合并的算法和基于纹理的算法，进行分析、实验与评价，并提出一种边缘检测— —投影— —局部区域二值化的文字分割算法。有关，则所得的阈值是与坐标相关的（即动态阈值，前两种阈值对应可称为固定阈值）。以上对阈值分割方法的分类思想是通用的。近年来，许多取阈值分割方法借用了神经网络、模糊数学、遗传算法、信息论等工具，但这些方法仍可归纳到以上三种方法类型中。 0$0阈值的灰度图像二值化在利用单阈值方法来分割灰度图像时一般都对图像有一定的假设。最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，且目标和背景象素在灰度值上有很大的差别。对于这类图像，它们的灰度直方图基本上可看作是由分别对应目标和背景的两个单峰直方图混合而成，可以把双峰之间的谷点作为阈值!，对图象作以下二值化处理： ’（#，$）3!0 若%（#，$）!!（! " 若%（#，$）"! 0 基于阈值的二值化算法在基于阈值的灰度图像分割算法中，确定阈值是关键。阈值一般可写成如下形式：对于某些新闻视频中的标题新闻、影视片名或演员表等它们的背景一般比较简单，可以采用单阈值分割方法。但是，大多数视频中的文字都有较复杂的背景，反映在其灰度直方图上 !"!1#，$，%（#，$），&（#，$）2（0）将出现多个峰谷，此时若采用单阈值的分割方法则无法将文字其中%（#，$）是在象素点（#，$）对处的灰度值，&（#，$）是该点邻域的某种局部性质。换句话说，!在一般情况下可以是（#，$），%（#，$）和&（#，$）的函数。借助式（0），可以将阈值分割方法分成如下三类：（0）如果仅根据%（#，$）来选取阈值，所得的阈值仅与各个图像象素的本身性质相关（即全局阈值）；（!）如果阈值是根据%（#，$）和&（#，$）来选取的，所得的阈值就是与（局部）区域性质相关的（即局部阈值）。（#）如果阈值除根据%（#，$）和&（#，$）来选取外，还与（#，$）从背景中分离出来。为此，作者尝试采用多阈值方法将所有的峰都分离出来，如果灰度图像中的文字所占的象素的灰度值相近且与图像中其他目标的灰度值不同，则必然有一个被分离出来的峰对应于图像中的文字目标。基于局部阈值的二值化算法 0$! 基于局部阈值的方法通过定义考察点的领域，并由邻域计算模板来实现考察点灰度与邻域点的比较，较全局阈值方法有更广泛的应用。其中典型的局部比较方法有4’&)5678’.算法和9):+;)+算法等。与4’&)5678’.算法相比，9):+;)+算法的作者简介：万罡，男，0B=U年生，湖北荆州人，硕士研究生，主要研究方向：图形图像处理及多媒体技术。周洞汝，0B#B年生，教授，博士生导师，主要研究方向：图形图象视频压缩，V%*应用技术等。

动态视频目标检测和跟踪技术(入门)

动态视频目标检测和跟踪技术传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。本文将目前几种常用的动态视频目标检测方法简介如下：背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相

一种鲁棒的人脸关键点实时跟踪方法

第44卷第4期计算机工程2018年4月V o l.44N o.4Computer Engineering April2018 ?图形图像处理?文章编号：1000-3428(2018)04-0281-06文献标志码：A中图分类号：TP391 一种鲁棒的人脸关键点实时跟踪方法徐威威，李俊 (中国科学技术大学信息科学技术学院，合肥230027) 摘要：针对视频图像序列中人脸关键点跟踪对鲁棒性和实时运行的要求，提出一种新的人脸关键点实时跟踪方法。运用光流法跟踪若干显著关键点，为下一帧选择更好的初始形状，根据当前帧的人脸形状估计下一帧的人脸框，以减少对人脸检测器的依赖，同时为防止误差累积，加人人脸检测器重启机制。实验结果表明，该方法在 300-V W数据集上实现了 68个人脸关键点的鲁棒跟踪，运行速度达30 +f/s，可用于大多数人脸相关的实时应用。关键词：人脸关键点；局部二值特征；显著关键点；初始形状;光流中文引用格式：徐威威，李俊.一种鲁棒的人脸关键点实时跟踪方法[1].计算机工程，2018,44(4):281-286. 英文引用格式：XU Weiwei,LI Jun.A Robust Real-time Tracking Method of Facial Key Point [J].Computer Engineering,2018,44(4) ：281-286. A Robust Real-time Tracking Method of Facial Key Point XU W eiw ei,LI Jun (School of Information Science and Technology,University of Science and Technology of China,Hefei 230027,China) [A b s tr a c t] A im in g at the requirem ent o f robustness and real-tim e running o f facial key p o in t tracking in video sequence，this paper proposes a sim ple and effective rea l-tim e tracking m ethod o f facia l key points. The op tical flo w m ethod is used to track a num ber o f sig nifica nt points and select a better in itia l shape fo r the next fram e. The face fram e o f the next frame is estimated according to the face shape o f the current fram e to reduce the dependence on the face detector. To prevent errors accu m u la tio n, the face detector restart mechanism is jo in e d. E xperim ental results on a 300-V W dataset show that this m ethod can achieve robust tracking o f 68 face key points w ith a speed o f 30 + f/s, w h ich can be used fo r m ost face real-tim e applications. [K e y w o rd s] facial key p o in t;L o cal B in ary F e a tu re(L B F) ;sig nifica nt key p o in t;in itia l shape;optical flo w D O I：10.3969/j. issn. 1000-3428.2018.04.045 〇概述人脸关键点对于理解和分析人脸面部行为至关重要，人脸关键点定位的优劣能够直接影响人脸识别[1]、表情分析[2]或头部姿态估计[3]等应用的最终性能。人脸关键点跟踪是计算机视觉领域一个重要且富有挑战性的课题。随着300-V W挑战的推动以及300-V W数据集[4_6]的开放，人脸关键点跟踪问题受到了越来越多的关注。当前，人脸关键点定位方法大致可分为3类：即基于主动外观模型（Active Appearance M odel，A A M)m的方法、基于约束局部模型（Constrained Local M odel，C L M)[8]方法和级联回归方法[9]。后者在精度和速度两方面都表现出比前两者更好的性能，因而受到广泛关注。然而，级联回归方法的主要局限性在于其具有初始化依赖性，即初始化的优劣将对模型的定位精度产生重要影响。此外，利用深度学习的人脸关键点定位方法[1°]尽管获得了很高的精度，但由于所需计算资源过高，难以改变为实时的人脸关键点跟踪方法。近几年，一些人脸关键点跟踪方法相继被提出。文献[11]在多视角A A M框架下，通过随机森林和线性判别分析对跟踪的人脸实时更新精确的姿态信息，但该方法泛化能力不佳，跟踪速度慢。文献[12]提出一种在线参考外观模型，利用增量学习在线更新A A M的纹理模型和参考模型，在无需训练集的情况下实现人脸关键点跟踪，但该方法跟踪精度不高，鲁棒性较差。文献[13]将基于树的可变形部件模型（Deformable Part M odel，D P M)人脸关键点检测器进行调整，逐帧应用静态人脸关键点检测器，使用卡尔曼滤波器获取稳定的人脸框并补偿可能存在的人脸检测器失败，但该方法没有利用视频序列的帧间相关性，跟踪鲁棒性较差，速度慢。文献[14]提出形状扩充回归方法，为不同作者简介：徐威威（1993—），男，硕士研究生，主研方向为计算机视觉、机器学习；李俊，副教授、博士。收稿日期：2017-03-29 修回日期：2017-05-08 E-mail：xuww@ mail. ustc. edu. cn

视频序列中运动对象分割方法的设计与实现

视频序列中运动对象分割方法的设计与实现[1][repaste] 2009-03-23 09:36 转自：https://www.sodocs.net/doc/ad14754077.html,/2008/07/video-sequence.html The technology of multimedia correspondence developed quickly. After the standard MPEG-1 and MPEG-2, a new standard named MPEG-4 was put forward by the MPEG committee. The key technical of the standard is the standard is the Video Object Segmented from the video frame. The results of object segmentation will affect subsequent applications directly. At the present time, there is no current method, which can segment object models from the background efficiently, though a great deal of research work has been done for video coding. Most algorithms aim at particular image sequences. The video segmentation has been widely applied in many fields, especially in low bite-rate ratio multimedia fields, so it is more and more becoming the hot point in the video research field. This paper discusses the basic theory of digital image segmentation, and then analyzes the exist method for the segmentation of moving objects in video sequences. At last an effective moving object segmentation algorithm is used. First, the moving regions are obtained by the intersections of two neighbor difference images, and then small regions that are not accurate are removed. Finally, the moving regions are filled using the method of mathematical morphology. This arithmetic makes use of the functions of the library effectively, improves precision and efficiency of computation, and has a good property for the application to multi-platform. Experimental result shows that the algorithm can get satisfactory result. Key words: Image segmentation, Frame difference, video sequence, moving object, mathematical morphology 目录摘要 I ABSTRACT II 第一章绪论 1 1.1 研究背景与意义 1 1.2 国内外研究状况 3 1.3论文内容与结构安排 4 第二章典型的图像分割方法 6 2.1阈值法与边缘检测法 6 2.1.1阈值法 6 2.1.2边缘检测法 7

视频目标跟踪算法综述_蔡荣太

1引言目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033）【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed．【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）

目标跟踪算法综述

。目标跟踪算法综述大连理工大学卢湖川一、引言目标跟踪是计算机视觉领域的一个重要问题，在运动分析、视频压缩、行为识别、视频监控、智能交通和机器人导航等很多研究方向上都有着广泛的应用。目标跟踪的主要任务是给定目标物体在第一帧视频图像中的位置，通过外观模型和运动模型估计目标在接下来的视频图像中的状态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观模型、目标定位和模型更新。运动模型可以依据上一帧目标的位置来预测在当前帧目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了一种新颖的循环采样方法，并利用循环样本构建循环矩阵。利用循环矩阵时域频域转换的特殊性质，将运算转换到频域内进行计算，大大加快的分类器的训练。同时，在目标检测阶段，分类器可以同时得到所有循环样本得分组成的响应图像，根据最大值位置进行目标定位。相关滤波用于目标跟踪最早是在MOSSE算法[1]中提出的。发展至今，很多基于相关滤波的改进工作在目标跟踪领域已经取得很多可喜的成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循环矩阵快速计算的CSK[2]算法均采用简单灰度特征，这种特征很容易受到外界环境的干扰，导致跟踪不准确。为了提升算法性能，CN算法[3]对特征部分进行了优化，提出CN（Color Name）空间，该空间通道数为11（包括黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄），颜色空间的引入大大提升了算法的精度。与此类似，KCF算法[4]采用方向梯度直方图（HOG）特征与相关滤波算法结合，同时提出一种将多通道特征融入相关滤波的方法。这种特征对于可以提取物体的边缘信息，对于光照和颜色变化等比较鲁棒。方向梯度直方图（HOG）特征对于运动模糊、光照变化及颜色变化等鲁棒性良好，但对于形变的鲁棒性较差；颜色特征对于形变鲁棒性较好，但对于光照变化不够鲁棒。STAPLE算法[5]将两种特征进行有效地结合，使用方向直方图特征得到相关滤波的响应图，使用颜色直方图得到的统计得分，两者融合得到最后的响应图像并估计目标位置，提高了跟踪算法的准确度，但也使得计算稍微复杂了一些。图1 目标跟踪算法流程图

本科毕业设计__基于视频的目标跟踪及人群密度估计方法研究开题报告

上海交通大学 2012 级硕士学位论文开题报告登记表学号姓名导师李建勋学科控制科学与工程学院(系、所) 电子信息与电气工程学院学位论文题目稳健对地目标跟踪方法研究研究课题来源国家自然科学基金、航天创新基金、中航613横向项目课题的意义以及研究的主要内容运动目标跟踪是视觉图像处理中的一个非常热门的话题，在多个领域有着广泛的应用。运动目标跟踪的应用领域和环境主要有：对大型公共场所进行智能化视频监控、基于视频的人机交互、交通流量监测、医疗诊断等。本文从计算机视觉角度研究对地目标跟踪方法。由于视觉跟踪系统能在比较复杂的背景下，提取与分离市场内的目标、确定目标位置、估计目标运动趋势、实现对目标的实时跟踪，且具有跟踪精度高、跟踪状态平稳、抗干扰能力强、分辨率高和成本低等特点，在军事上很受重视。在民用领域，对地目标跟踪也有着广泛的应用：对大型公共场所进行智能化视频监控。例如在机场、商场、地铁站等场所进行智能化监控，其主要目的都是为了保障公众财产和信息安全。在人群监测、交通管理上实现智能化有非比寻常的意义。以以上应用为背景，本文的对地目标跟踪技术包含以下几个主要技术模块：单目标跟踪技术、多目标跟踪技术、密集目标跟踪技术。分出这几个模块是为了应对不同的应用场景，或是在同一场景需要各模块的协同合作。例如地铁站的人群流量具有明显时段特征，早晚上下班高峰人流极大，而其他时段人流量明显减少，这就需要对不同时段采用不同的跟踪方法以达到最好的效果。在上下班高峰期，采用密集目标跟踪技术，而在其他时段，采用多目标跟踪技术，而在有特殊需要的时候，例如跟踪特定犯罪嫌疑人时，可采用单目标跟踪技术。本文研究的主要内容具体有： ①粒子滤波基本方法研究，这是单目标跟踪方法的框架。在图像跟踪应用中，目标状态的后验概率分布往往是非线性非高斯多模态的，粒子滤波方法对于系统模型没有特殊要求，且能够保持状态的多模态分布，在跟踪领域得到了很大的发展。但常规粒子滤波跟踪算法存在计算量大、采样效率低等问题。 ②粒子群最优化思想研究，改进常规粒子滤波采样效率低的问题，提高采样效率。针对常规粒子滤波跟踪算法存在计算量大、采样效率低等问题，引入粒子群优化思想对目标状态后验分布进行最优搜索，找到后验分布的高似然区，并依据此高似然区来进行重采样。 ③变结构多模型的设计，以更好的表征目标的运动模型。几乎所有的方法对目标的运动状态都假定为平滑的，或者将运动限制在恒速或恒加速运动状态。而实际情况并非如此，例如机动目标的运动状态就很难用单一模型来表征。本文引入变结构多模型方法为目标建立变结构多运动模型。变结构多模型方法能够很好的表征目标的运动模型却又不增加过多的计算量，因此相比单一运动模型能够更好的估计目标的运动。