基于运动方向的异常行为检测
第34卷第11期自动化学报Vol.34,No.11 2008年11月ACTA AUTOMATICA SINICA November,2008
基于运动方向的异常行为检测
胡芝兰1,2江帆1王贵锦1林行刚1严洪2,3
摘要提出了一种基于运动方向的异常行为检测方法.根据不同行为的运动方向具有不同的规律性,该方法采用块运动方向描述不同的动作,并利用支持向量机(Support vector machine,SVM)对实时监控视频进行异常行为检测.为了减少噪声运动的影响,同时有效保留小幅度运动的前景目标,在行为描述之前,本文采用了背景边缘模型对每一视频帧进行前景帧(有目标出现的视频帧)判断.在行为描述时,先提取相应视频段的所有前景帧的块运动方向,然后对这些运动方向进行归一化直方图统计得到该视频段的行为特征.在走廊等公共场景中的实验结果表明,该方法能够对单人以及多人的复杂行为进行有效检测,对运动过程中目标大小的变化、光照的变化以及噪声等具有较好的鲁棒性,而且计算复杂度小,能够实现实时监控.
关键词视频监控,异常检测,前景分割,运动方向,支持向量机
中图分类号TP391
Anomaly Detection Based on Motion Direction
HU Zhi-Lan1,2JIANG Fan1WANG Gui-Jin1LIN Xing-Gang1YAN Hong2,3
Abstract A novel algorithm is proposed in this paper to detect anomalous human behaviors based on motion directions. According to di?erent motion direction rules for di?erent events,we introduce block-based motion directions to model those events,and use support vector machine(SVM)to detect the abnormalous actions from real-time monitoring video sequences.To increase the robustness against noise and to capture the slight movement of the object,we select the foreground frames(the frames having human object)with a background edge model before the action feature extraction. Then,action features are extracted using normalized histogram analysis from the motion directions of all the foreground frames.Our experiments on public areas such as hallway show that our algorithm is able to track complex actions of single and multiple people accurately and is robust against the variation of object size,lighting,and noise during their movements.Our algorithm is of low computation complexity thus it can be used for real time monitoring.
Key words Video surveillance,anomaly detection,foreground segmentation,motion direction,support vector machine (SVM)
近年来,随着安全问题受到社会的日益关注,视频监控[1]系统的需求正在逐渐扩大,比如银行、商店、ATM机等商业场所,走廊、大厅、停车场、博物馆等公共场所,以及交通管理系统等.行为的自动理解和分析,作为视频监控系统中的关键技术,目前引起了国内外的广泛重视,并在许多国际著名期刊和会议上进行了专门的讨论.
已有的行为分析方法大致可以分为以下三类:
1)基于人体结构分析的方法.该方法先采用人体模型提取每一帧视频的人体姿势,然后利用姿势收稿日期2007-09-27收修改稿日期2008-05-06
Received September27,2007;in revised form May6,2008
国家自然科学基金(60472028),高等学校博士学科点专项科研基金(20040003015),香港城市大学基金(9610034)资助
Supported by National Natural Science Foundation of China (60472028),Specialized Research Fund for the Doctoral Program of Higher Education of China(20040003015),and Grant of City University of Hong Kong(9610034)
1.清华大学电子工程系北京100084
2.香港城市大学电子工程系香港
3.悉尼大学电气信息学院悉尼00026A,澳大利亚
1.Department of Electronic Engineering,Tsinghua University, Beijing100084,P.R.China
2.Department of Electronic Engi-neering,City University of Hong Kong,Hong Kong,P.R.China
3.School of Electrical and Information Engineering,University of Sydney,Sydney00026A,Australia
DOI:10.3724/SP.J.1004.2008.01348随时间的变化来描述各种动作.这类方法中,有的采用2D人体模型[2?4],但是随着视角的变化,人体的有些关节点在2D图像中会表现为遮挡,从而不易准确描述行为.为了解决遮挡问题,有人采用多摄像头得到人体3D姿势来描述各种行为[5?6],但是视频获取设备以及计算量都变得更加复杂.通常,这类方法需要手动初始化,跟踪丢失后不易重新自动初始化,而且计算复杂度高,难以实时处理.
2)基于时空特征的模式分析方法.这类方法先提取每帧图像中的人体区域,然后利用该动作的人体轮廓序列的各种形状特征对人体行为进行描述和识别.例如,Bobick等[7]通过提取运动历史图像(Motion history image,MHI)的Hu不变矩来描述人体行为.文献[8?9]则提取运动序列中所有人体轮廓线所组成的时空边缘线(Spatiotemporal contour of the human body)的各种几何特征来分析人体动作.这类方法依赖于每一帧图像中人体区域的准确提取,局限于若干种简单的单人行为,而不易扩展到多人间的复杂行为.
3)基于图像统计处理的方法.这类方法直接对
11期胡芝兰等:基于运动方向的异常行为检测1349
视频帧的低层信息进行统计分析,从而对视频段进行理解.比如,Ma[10]对视频帧进行主成分分析(Principle component analysis,PCA),然后对各种动作序列进行分类和识别,但是图像的大数据量导致计算量非常大.Masoud[11]先对整幅图像进行IIR滤波得到特征图像,然后利用这些特征图像对几个简单的单人动作进行训练和识别,这种方法对于多人情况以及复杂行为不易处理.Au[12]采用基于压缩的匹配方法在原始视频流中直接检测新目标,但是没有涉及到具体的行为理解和识别.文献[13?14]与本文所提出的方法比较接近,文献[13]针对家庭中病人护理的应用,首先根据运动信息并结合图像分割以及形状模型得到运动区域,然后利用光流信息得到每一个运动区域相对于人脸的运动方向,从而判断出该动作的运动属性.文献[14]则针对ATM机的监控,先直接对一视频段的所有帧的前景分割图进行主成分分析得到该视频段的运动特征,然后利用1-SVM(One-class support vector machine)对每一视频段进行异常程度检测.由于涉及到图像分割处理[13]或者对大数据量的图像序列进行PCA[14],因此这两种方法的计算量都较大;同时它们所采用的行为描述特征局限于单人情况,而不易描述多人间的行为,所以难以扩展到走廊、广场等其他公共应用场景.
1方法概述
针对走廊等公共场合上的视频监控系统,本文的方法分为两个阶段:1)行为描述阶段,即在原始视频中提取块运动方向对各种行为进行描述;2)异常行为检测阶段,这里通过支持向量机(Support vector machine,SVM)训练得到异常行为检测器.系统框图如图1所示.
在公共场所,场景中的人数变化不定,人与人之间可能存在一定的行为关系,同时环境光照等也会随时改变,这些都显著增加了人物分割的难度(例如图2,要准确分割出每个人非常困难).所以,针对单个人的监控技术[7?11,13]很难推广到这些公共场所的视频监控中.与已有的行为描述方法不同,本文根据运动方向在同类行为中的规律性以及不同行为之间的差异性,采用块运动方向描述并区分不同的行为,避开了对人物位置的确定以及对人物的准确分割,从而大大降低了算法复杂度,同时能够有效地分析多人之间的行为.例如图2(a)为走廊上普通的多人行走,运动方向集中在两个相向的方向上,而图2(b)则为多人站立聊天,身体会沿各个方向做无规律的摆动,所以利用运动方向能够有效区分这两种不同的行为
.
图1异常行为检测算法流程图
Fig.1Flowchart of the proposed anomaly
detection
algorithm
(a)多人交叉行走
(a)Multiple people walking with face to
face
(b)四人聊天
(b)Four persons chatting together
图2多人在走廊上的监控视频示例
Fig.2Examples of multiple people in the corridor
采用运动方向描述行为时,由于光照变化以及其他噪声等影响,可能存在一些杂乱无章的运动,即引入噪声运动.为了减少噪声运动对人体行为描述的影响,我们进行了如下处理:首先,与文献[13]不同,我们采用基于块的运动方向来代替基于像素的
1350自动化学报34卷
光流信息,这不仅可以滤除大部分噪声点运动,同时还大大减少了计算量;其次,背景帧(即没有目标出现的视频帧)由于光照等影响也会出现一些噪声运动块,因此在行为描述之前,我们提出了一种比较稳健的基于背景边缘模型的前景检测方法对每帧进行前景帧(即存在目标的视频帧)判断,然后用检测得到的前景帧的运动方向对该视频段的行为进行有效描述;最后,对这些块运动方向进行归一化直方图统计,进一步去除噪声运动的影响,并突出该动作的主要运动模式.
每一个阶段的具体方法如下:
在行为描述阶段,先对某一视频段的每一帧进行前景帧判断,然后提取该视频段中所有前景帧的块运动方向,最后对这些块运动方向进行归一化直方图统计,得到该视频段的行为描述特征.利用该方法得到的行为描述特征具有位置、运动速度以及目标大小不变性,对单人和多人都能进行有效描述.
在异常检测阶段,根据走廊的普遍用途,我们把正常行为定义为走廊上来回走动或者停留,除此之外视为可疑行为.本文利用SVM对所标定的训练样本进行训练得到异常行为检测器.对于每一监控视频,则通过该检测器进行异常行为判断.
2前景检测
与一般的前景检测目的(即获得干净的前景区域)不同,本文的前景检测是为了判断当前帧是否为前景帧.目前,前景检测算法主要有两大类,一类是基于像素的前景检测算法,另一类是基于轮廓邻域信息的前景检测算法.基于轮廓邻域信息的算法通常用到比较复杂的理论,虽然检测结果较好,但是计算复杂度高,难以达到实时.基于像素的前景检测算法则相对简单,主要包括帧差法(Temporal di?erencing)[15]和背景法(Background subtraction)[16].帧差法对噪声比较敏感,不易检测运动缓慢或者静止的前景目标;而背景法对噪声相对鲁棒,但受光照影响大,且背景的更新与小幅度运动或者静止的前景目标检测之间的矛盾不易控制.因此,本文提出了一种新的前景检测方法,即通过背景边缘模型来检测前景边缘,从而判断是否存在前景目标.在静止背景的场景中,背景的边缘位置相对固定,对光照变化较鲁棒,所以通过建立背景边缘模型,可以有效地检测运动以及相对静止的前景目标边缘,从而实现前景帧的判断.
2.1背景边缘模型
背景边缘模型通过统计视频图像中每个位置在连续时间内出现边缘的概率得到.设当前帧为t帧,每个图像位置(i,j)是背景边缘的概率P b(i,j,t)为
P b(i,j,t)=
t?1
k=t?T
E(i,j,k)
T
i=1,2,···,W,j=1,2,···,H(1)其中,E(·,·,k)为第k帧所对应的边缘图像,该边缘图像通过Canny算子检测得到.H和W分别为每帧图像的高和宽.T为背景边缘模型的更新时间.对于前景目标来说,即使相对静止的行为(比如站立),同一姿势的滞留时间也不会很长,即前景目标的轮廓边缘仍处于小幅度运动中,所以T的取值不需很大,以便及时适应背景边缘的更新.根据实验分析,这里更新时间T取1500帧,即为60秒时间(25fps).
2.2前景帧判断
对于t帧,先用Canny算子得到该帧的边缘图像E(·,·,t),然后对每一边缘点(i,j)根据背景边缘模型判断是否为前景点,见式(2).若背景边缘概率低于阈值T B,该边缘点为前景边缘点,否则为背景边缘点.
F(i,j,t)=
1,E(i,j,t)=1且P b(i,j,t) 0,其他 (2) 通常,一个前景边缘点在T时间内出现在同一个位置的时间比较短,而背景边缘点出现的位置则相对比较稳定,同时考虑到背景边缘会因为相机的微小抖动以及噪声的影响而出现小范围偏移,因此阈值T B既不能太大也不能太小.根据实验,当T B 在(0.1～0.3)之间时前景检测性能相当,本文T B 取0.2. 由于光照以及灰尘噪声等影响,前景边缘图(Foreground edge image,FEI)中会存在一定的噪声边缘点,如图3(b)～3(d)(见下页)所示.一般地,背景帧的FEI只有少量噪声边缘点,且分布散,如图3(b)所示;而在前景帧的FEI中,边缘点数量则明显增多,并且分布相对集中,如图3(d)所示.根据前景边缘点的数量和分布,我们通过如下的方法对前景帧和背景帧进行有效区分:首先根据邻域信息分析每一个前景边缘点是否为噪声点,若与该前景边缘点连在一起的边缘点小于2个,则此点以及与其相连的点均为噪声点而去除;然后统计剩余前景边缘点的个数(Nt),当Nt小于阈值T N时,判断该帧为背景帧,否则为前景帧.根据实验统计,本文T N取30. 这种前景帧判断方法相对于其他常见的前景判断方法来说简单且鲁棒.图4给出了几种方法的比 11期胡芝兰等:基于运动方向的异常行为检测 1351 较实例,实验中背景法采用文献[16]的方法,帧差法则简单地通过两帧灰度值相减取阈值[15] 得到前景区域.图4中 ,图4(a)为人朝着门行走,背景法和背景边缘法都得到较好的检测结果,而帧差法则由于均一的衣服颜色,只得到部分轮廓,并且因为灯光影响存在大量的噪声;图4 (b)为目标走到门口停住,此时背景法和帧差法基本检测不到静止目标,而背景边缘法则有相对稳定的检测结果 ;图4(c)为灯光突然熄灭,背景法和帧差法因为光照的突变使得检测结果为整个画面, 而背景边缘法则受光线的变化影响较小.由此可见,对于前景检测,背景边缘法对光线以及运动速度的变化较鲁棒, 能够较好检测 相对静止的目标. 3行为描述 行为描述的目的是利用某些特征有效地表示某一行为,并区别于其他不同的行为.在走廊等公共场合,同一场景中的人数以及个体大小千变万化,而且同一动作发生的位置以及速度也会因人因时而变,所以要求行为描述特征具有位置不变性以及尺寸大小不变性,并且对人数以及运动速度的变化比较鲁棒.本文所采用的块运动方向恰好满足上述要求.下面给出该特征的详细提取方法和相关的讨论. (a)背景帧 (a)Background frame (b)图(a)的FEI (b)FEI of (a) (c)前景帧 (c)Foreground frame (d)图(c)的FEI (d)FEI of (c) 图3 前景边缘点检测结果 Fig.3 Foreground edge detection results (a)原始视频帧 (a)The original video frames (b)背景法的前景检测结果(b)The foreground detected by background subtraction (c)帧差法的前景检测结果(c)The foreground detected by frame di?erencing (d)本文的背景边缘法的前景 检测结果 (d)The foreground detected by our proposed method 图4 三种方法的前景检测结果 Fig.4 Comparisons of three di?erent foreground detection methods 1352自动化学报34卷 3.1视频分割 对于输入视频V,先将其分成N小段.在理想的情况下,每一视频段包含一个单独动作,但复杂的行为和多变的目标导致自动视频分割非常困难.这里我们简单地采用等间隔的交叠窗口把视频分成固定长度的视频段,窗口长度为4秒(100帧),相邻视频段的起始帧间隔为10帧.虽然这种分割方法不能保证每一视频段对应一个完整的动作,但是4秒的时间通常可以提供足够的信息来确定该视频段的主要动作属性.比如在走廊上,4秒时间可以完成几步前行或一次捡东西的动作. 3.2行为特征提取和描述 根据前面的方法得到的每一视频段的行为特征提取步骤如下. 步骤1.根据第2节介绍的前景帧判断方法得到该视频段的所有前景帧.这里我们只对存在前景目标的视频段进行检测,考虑到少数前景帧可能被漏检,所以当该视频段中前景帧的比例小于80%时,该段视频被认为是背景视频段,不进行行为判断,否则进入步骤2,提取该视频段的行为描述特征. 步骤2.提取该视频段中每一前景帧的块运动方向,这里只考虑运动幅度不为零的块(即运动块)所对应的运动方向.然后,对该视频段的所有块运动方向做归一化直方图统计,得到该视频段的行为描述特征.对于每一前景帧,运动块的选取不能太大也不能太小,太大会使得块运动方向对目标的运动描述比较粗糙,从而丢失一些有用的运动信息;而如果太小则较易受到噪声的影响.通过实验,针对640×480的视频帧,取块的大小为8×8.运动矢量是在整帧图像中利用相邻两帧的信息计算得到的,并采用菱形搜索法[17]有效地提高运算速度.直方图统计过程中采用N个直方块(bin),每个bin的中心值在[02π]之间均匀求出.N的选取将在下面讨论. 块运动方向归一化直方图可以有效地描述不同运动之间的差异.如图5所示,单人行走和多人行走的归一化直方图分布十分类似,而打架以及聊天等异常行为的直方图分布则和正常行走有着很大的差异.可见,运动方向直方图可以有效地区分正常和异常行为,同时对于个体的大小差异和人数变化比较鲁棒 . 图5不同行为的运动方向归一化直方图(X轴表示每个bin的中心值,Y轴表示该视频段属于对应bin的运动方向 的比例) Fig.5Motion direction normalized histograms of di?erent activities(X is the center of each bin,Y is the motion direction proportion lying in the corresponding bin for a certain video section.) 3.2.1关于直方图的bin的个数的讨论 bin个数N的选取会影响特征的描述效果,bin 个数越少,则行为描述越粗糙,比较容易提取出不同行为之间的共同特征;bin个数越多,则行为描述越细致,较易区分不同行为之间的细节.因此需要对bin的个数进行合理选择,使得描述特征能够比较好地区分正常行为和异常行为.表1给出了在我们的训练集(将在第5.1节介绍)中不同bin的情况下所得到的检测结果.由表1可见,当bin的个数过少时,正常行为和异常行为的检测率相对较低,尤其是异常行为.随着bin个数的增加,该特征的行为表征能力增强,当N取13时,异常行为和正常行为的检测率都达到最高值.但是当bin个数过多时,正常行为和异常行为的检测率开始下降,这是由于bin个数的增加突出了每个行为的细节,从而限制了对正常行为和异常行为的有效描述. 3.2.2关于PCA的讨论 这里没有对运动方向直方图进行PCA处理,从直观上分析,通过PCA处理可以进一步对行为特征向量进行降维并去除一些非主要的特征分量的影响, 表1不同bin的个数所得到的检测性能比较 Table1Comparison of the detection results with di?erent bin numbers bin的个数(N)5791011121314151618正常行为检测率0.9530.9790.9790.9750.9740.9760.9820.9820.9820.9810.980异常行为检测率0.6670.7190.7220.7320.7230.7170.7510.7470.7260.7380.738 11期胡芝兰等 :基于运动方向的异常行为检测1353 但在我们的方法中却没有进行这一步处理, 这是因为:通过前景帧判断、基于块的运动方向提取以及归一化直方图处理 ,运动噪声的影响已经很小,同时,我们采用的行为特征向量只要13 维,数据量低.表2给出了经过PCA 处理后采用不同数目的主分量描述行为特征以及直接利用原始行为特征向量在我们的训练集中所得到的检测率.通过该实验可以发现,经过PCA 处理后的检测性能要略低于原始的行为特征向量.这是因为在噪声影响较小的情况下,原始数据比较丰富地保留了各类行为的特征.其次,PCA 处理会增加算法的复杂度,所以本文采用原始行为特征描述各种行为. 4SVM 分类器训练 在诸多公共场合中,虽然人的行为可以丰富多变,但是常见行为相对比较一致,比如在走廊上通常是行人来回走动,运动方向集中,而其他行为(如打架等)的运动方向则不同于正常的行走,所以可以对运动方向较集中的正常行为和较分散的异常行为进行训练,从而得到异常行为检测器.SVM 是一种通过求解一个线性约束的二次规划,构造出一个超平面作为决策平面,使得特征空间中两类模式之间的距离最大,并保证得到的解为全局最优解的方法.它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,已经在模式识别、函数逼近和概率密度估计等方面取得了良好的效果[18].因此,本文采用SVM 进行异常行为检测器训练,其中核函数为径向基核函数(Radial basis function),即 K (x i ,x j )=exp ?γ x i ?x j 2 ,γ>0 (3) 其中参数γ为形状参数,Vapnike [19]的研究表明该参数影响样本数据在高维特征空间中分布的复杂程度.在监控视频中,正常行为比较容易得到,而异常行为则较少且情况多变,所以在确定参数γ时,我们在保证异常行为检测率较高的情况下,尽量降低正常行为的误判率.按照这一原则,γ可通过实验确定,并将在第5.1节中详细介绍. 5实验结果 本文的实验数据为走廊上的监控视频.该视频中行为、光照、人数和个体大小都有比较大的变化,每一帧图像大小为640×480.本算法在Intel PD 2.8GHz CPU 上可以达到实时处理(25fps). 5.1异常行为检测器训练 在训练集中,正面样本为走廊上的普通行走,包括单人和多人,沿着同方向或反方向行走等,如图6所示,共1081个视频段;负面样本包括打架、聊天、病倒、在门附近徘徊等异常动作,如图7(见下页)所示,共有321个视频段.测试集为624个正面样本,53个负面样本. 在进行训练之前,先按照第3节的方法提取每一训练样本的行为特征,然后利用这些样本选择合适的参数γ.根据第4节介绍的原则(即在保证异常行为检测率较高的情况下,尽量降低正常行为的误判率),图8给出了不同γ下训练集和测试集中正面 表2 经过PCA 处理和采用原始行为特征所得到的检测性能比较 Table 2 Comparison of detection results by PCA-based action features and the original action features 基于PCA 原始特征 主成分个数45678910111213正常行为检测率0.9600.9740.9740.9810.9790.9800.9800.9820.9820.9820.982异常行为检测率 0.732 0.723 0.735 0.735 0.741 0.750 0.750 0.751 0.751 0.751 0.751 (a)单人行走(a)Single walking (b)多人聚集行走(b)Walking together (c)多人交叉行走(c)Walking face to face (d)多人分散行走(d)Walking dispersedly 图6 走廊上的正常行为示例 Fig.6 Examples of normal activities in the corridor 1354自动化学报34 卷 (a)在门附近徘徊 (a) Wandering around the door (b)打架(b)Fighting (c)病倒(c)Falling down (d)聊天(d)Chatting 图7走廊上的异常行为示例 Fig.7 Some anomalies in the corridor 样本的误检率以及负面样本的检测率.由图8可见,训练集中正常行为误判率比较稳定,随着γ的增加略有下降,但是测试集中的正常行为在γ较小时误判率高 ;随着γ的增加,训练集中的异常行为检测率有所提高,但测试集中的负面样本检测率有所下降. 图8异常行为检测率和正常行为误判率随γ的变化曲线Fig.8 Anomaly detection rate curve and normal action false detection rate curve under di?erent γ 折中考虑检测器在训练样本中的检测性能以及在测试集中的扩展性能,本实验中γ取30.当γ=30时,训练集中的异常行为检测率较高,在测试样本中扩展性好,训练集和测试集中的正面样本都具有较低的误判率.虽然测试集的正面样本误判率比 较高,但是在实际情况下,这些误判的样本零散地分布在视频中,很少连续出现,所以根据本文后面提出的异常行为判别准则,在实际中很少会引起正常行为的误检. 5.2异常行为检测结果及分析 若视频段属正常行为,本文的异常行为检测器输出值为1,属异常行为时则输出值为?1.用每一帧所在的所有视频段输出值的均值表征该帧的正常程度,以走廊上的不同时间段的监控视频为测试数据,图9(a)(见下页)给出了部分视频的检测结果.当某一部分视频流中出现两个以上的连续异常视频段,即某一帧的输出值小于0.5的时候,我们认为该视频流中存在异常行为,这样可以减少正常行为中由于光照等噪声所引起的误判,同时有效保留异常行为.图6和图7的检测结果见表3,其中图6中的正常行为的输出值都为1,而异常行为则都小于0.5,即本异常行为检测器可以正确区分正常行为和异常行为.在我们的测试视频(不同于第5.1节的测试集)中,除了大量的正常行走(共300个独立的视频流),共模拟了78个异常动作,包括打架、聊天、病倒、放包、取包、在门附近徘徊以及进出门等,每个动作的持续时间都不一样,比如聊天持续时间可以长达半分多钟,而取包则只需2、3秒.利用前面得到的异常行为检测器,按照前面的判别准则,异常行为的检测率为84.6%,正常行为的误判率为1.3%.在漏检的异常动作中,大部分为取/放包动作,这是由于取/ 表3 采用不同的方法对图6和图7的检测结果(输出值为该行为的正常程度) Table 3 Detection results of Fig.6and Fig.7with di?erent methods (The output is the normal degree of the action.) 方法 图6(正常行为) 图7(异常行为) (a) (b)(c)(d)(a)(b)(c)(d)本文的方法1111?0.140?0.33?0.2文献[14]的方法 50.41 43.47 48.58 29.82 51.48 49.48 53.03 48.58 11期胡芝兰等:基于运动方向的异常行为检测 1355 (a)采用本文方法得到的异常检测结果 (a)The anomaly detection results by our method (b)采用文献[14]方法得到的异常检测结果 (b)Anomaly detection result by[14] 图9两种不同方法的检测结果比较 Fig.9Detection result comparison of two di?erent methods 放包的时候不需要人特别弯曲和停留,因此速度很快(一般60帧就能完成一个动作),并且和普通的行走差别很小,如图10(a)(见下页)所示;另一个则为快速病倒的动作,该动作为先站立后蹲下,速度很快(30帧左右完成该动作),而且上下着装颜色一致,所以不容易被检测,如图10(b)所示.在所有正常行为中,被误检的动作是因为行人在走路的过程中进行了比较夸张的肢体运动,比如单个目标在行走的同时双手慢慢从身体两侧上举,这和一般的行走有着明显的差别.由检测结果可见,本文方法能够有效检测复杂场景中的异常行为,这是由于我们采用的块运动方向行为特征所描述的是一段视频中运动目标的运动方向的总体分布,所以与目标的绝对位置没有关系.同时,经过归一化直方图处理,对目标数目变化以及个体变化都比较鲁棒;基于块的运动方向统计以及前景帧判断,有效地去除了噪声运动的干扰. 此外,我们还将本文的异常行为检测算法和与本文较类似的文献[13?14]的方法进行了比较.文献[14]直接对一个视频段的所有帧的运动目标分割结果进行主成分分析,从而提取出该视频段的运动特征,然后利用1-SVM对每一视频段进行异常程度检测.图9(b)给出部分走廊监控视频的检测结果,图6和图7的图例所对应的检测结果见表3.根据实验结果可见,正常度的最大输出值对应于背景帧,输出值较小的对应于运动目标面积较大的前景帧,即检测结果主要取决于前景目标的大小,而无法正确区分走廊上异常行为和正常行为(从表3的结果对应于图6和图7可以更加直观地说明这一点).这主要是因为文献[14]中所采用的行为描述特征利用了每一帧的前景目标信息,包括目标的位置、个数、运动轨迹等,同时没有进行前景目标的归一化处理,所以该行为描述特征对目标的位置、个数、运动轨迹以及在运动过程中目标大小的变化不鲁棒,故只适用于单个目标、行为轨迹单一的情况(如文献[14]所提到的ATM机场景,因为在ATM机中,正常行为一般为一个人进ATM机取款,取好后离开的过程),而不能对走廊等复杂的公共场合进行有效监控. 与本文类似,文献[13]也采用了运动信息.该方法首先根据运动信息并结合图像分割以及形状模型得到运动区域,然后利用光流信息得到每一个运动区域相对于人脸的运动方向,从而判断出该动作的运动属性.该方法首先需要自动定位人脸的位置.在诸多公共场合中(如图7),由于人体之间的相互遮挡 1356自动化学报34 卷 (a)放包动作全过程示例(从左到右所对应的帧数分别为:37543,37575,37586) (a)Examples of putting a bag(The corresponding frames in the video from left to right are:37543,37575,37 586.) (b)病倒动作全过程示例(从左到右所对应的帧数分别为:35460,3475,35490) (b)Examples of falling down(The corresponding frames in the video from left to right are:35460,3475,35490.) 图10漏检的异常行为示例 Fig.10Examples of the missing anomalies 以及人脸朝向的不规则,自动人头定位是十分困难的.采用现有的比较成熟且普遍在科研中使用的技术[20]对图7进行人脸定位,无法准确检测到任何一张人脸.其次,文献[13]要求有效确定人体的各个部位(手、胳膊、腿等),以便通过各个部位相对人脸的运动情况来判别行为.但是,在二维图像中,由于人体自身的内部遮挡(如图7(a))以及人体相互之间的遮挡(如图7(b)),几乎不可能准确确定人体的各个部位.所以,在这种人多、情况复杂的公共场合,文献[13]的方法并不适用. 然而本文所采用的行为描述特征对目标的出现位置、大小以及个数比较鲁棒,不需要对人体进行分割以及对人体各个部位进行确定,所以可以有效地描述各种复杂情况下的不同行为,从而可以检测出异常行为,对应的实验结果见图9(a)和表3. 6结论 本文提出了一种基于块运动方向的行为描述特征,该特征具有位置、大小不变性,而且对噪声、人数、运动速度以及个体大小变化比较鲁棒.在行为描述之前,通过背景边缘法先对每一帧进行前景帧判断,从而去除背景帧中噪声运动对行为描述产生的影响.同时,由于本文中的行为描述特征提取方法计算复杂度低,利用SVM对监控视频可以实时有效地实现异常行为检测.但是,仅仅使用运动方向特征不易进行更具体的行为分析,在以后的工作中,我们将进一步结合其他特征完善该算法,并把该算法推广到更广泛的公共场合的监控视频中. References 1Collins R T,Lipton A J,Kanade T.Introduction to the special section on video surveillance.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8): 745?746 2Hogg D.Model-based vision:a program to see a walking person.Image and Vision Computing,1983,1(1):5?20 3Cham T J,Rehg J M.A multiple hypothesis approach to ?gure tracking.In:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Ford Collins,USA:IEEE,1999.239?244 4Yilmaz A,Shah S.Recognizing human actions in videos ac-quired by uncalibrated moving cameras.In:Proceedings of the10th IEEE International Conference on Computer Vi-sion.Beijing,China:IEEE,2005.150?157 5Cheung G K M,Kanade T,Bouguet J Y,Holler M.A real time system for robust3D voxel reconstruction of human motions.In:Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Hilton Head Island,USA: IEEE,2000.714?720 6Lu C M,Ferrier N J.Repetitive motion analysis:segmenta-tion and event classi?cation.IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(2):258?263 7Bobick A F,Davis J W.The recognition of human move-ment using temporal templates.IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(3): 257?267 11期胡芝兰等:基于运动方向的异常行为检测1357 8Weinland D,Ronfard R,Boyer E.Free viewpoint action recognition using motion history https://www.sodocs.net/doc/2716161383.html,puter Vision and Image Understanding,2006,104(2):249?257 9Yilmaz A,Shah M.Actions sketch:a novel action repre-sentation.In:Proceedings of IEEE Computer Society Con-ference on Computer Vision and Pattern Recognition.San Diego,USA:IEEE,2005.984?989 10Ma G Y,Lin X Y.Typical sequences extraction and recogni-tion.Lecture Notes in Computer Vision,2004,3058:60?71 11Masoud O,Papanikolopoulos N.A method for human ac-tion recognition.Image and Vision Computing,2003,21(8): 729?743 12Au C E,Ska?S,Clark J J.Anomaly detection for video surveillance application.In:Proceedings of IEEE Inter-national Conference on Pattern Recognition.Hong Kong, China:IEEE,2006.888?891 13Gao J,Collins R T,Hauptmann A G,Wactlar H D.Articu-lated motion modeling for activity analysis.In:Proceedings of the2004Conference on Computer Vision and Pattern Recognition Workshop.Washington D.C.,USA:2004.20 14Sudo K,Osawa T,Wakabayashi K,Koike H.Detecting the degree of anomaly in security video sequences.In:Proceed-ings of Signal and Image Processing.Tokyo,Japan:ACTA Press,2006.3?7 15Anderson C,Burt P,van der W G.Change detection and tracking using pyramid transformation techniques.In:Pro-ceedings of Intelligent Robots and Computer Vision.Cam-bridge,England:SPIE,1985.72?78 16Stau?er C,Grimson W E L.Adaptive background mixture models for real-time tracking.In:Proceedings of IEEE Com-puter Society Conference on Computer Vision and Pattern Recognition.Ford Collins,USA:IEEE,1999.246?252 17Tham J Y,Ranganath S,Ranganth M,Kassim A A.A novel unrestricted center-biased diamond search algorithm for block motion estimation.IEEE Transactions on Circuits and Systems for Video Technology,1998,8(4):369?377 18Bian Zhao-Qi,Zhang Xue-Gong.Pattern Recognition.Bei-jing:Tsinghua University Press,2002 (边肇祺,张学工.模式识别.北京:清华大学出版社,2002) 19Vapnike V N.Statistical Learning Theory.New York:John Wiley and Sons,1998 20Viola P,Jones M.Rapid object detection using a boosted cascade of simple features.In:Proceedings of IEEE Com-puter Society Conference on Computer Vision and Pattern Recognition.Hawaii,USA:IEEE,2001.511?518 胡芝兰博士研究生.主要研究方向为 计算机视觉和视频监控.本文通信作者. E-mail: huzhilan00@https://www.sodocs.net/doc/2716161383.html, (HU Zhi-Lan Ph.D.candidate.Her research interest covers computer vision and video surveillance.Corresponding author of this paper.) 江帆博士研究生.主要研究方向为计 算机视觉,模式识别和视频监控. E-mail: jiang f99@https://www.sodocs.net/doc/2716161383.html, (JIANG Fan Ph.D.candidate.His research interest covers computer vi- sion,pattern recognition,and video surveillance.) 王贵锦清华大学电子工程系副教授. 主要研究方向为视频处理与通信. E-mail:wangguijin@https://www.sodocs.net/doc/2716161383.html, (W ANG Gui-Jin Associate profes- sor in the Department of Electronic En- gineering,Tsinghua University.His re- search interest covers video processing and communication.) 林行刚清华大学电子工程系教授.主 要研究方向为图像/视频处理与分析,视 觉信息压缩编码及应用,模式识别. E-mail:xglin@https://www.sodocs.net/doc/2716161383.html, (LIN Xing-Gang Professor in the Department of Electronic Engineering, Tsinghua University.His research in- terest covers image/video processing and analysis,video coding and communications,and pat-tern recognition.) 严洪香港城市大学、悉尼大学教授. 主要研究方向为模式识别,计算机视觉, 生物信息学. E-mail:h.yan@https://www.sodocs.net/doc/2716161383.html,.hk (YAN Hong Professor at City Uni- versity of Hong Kong and University of Sydney,Australia.His research in- teres covers pattern recognition,com-puter vision,and biology information.) CREATE TABLE `ca_abnormal_user_rule_tmp` ( `k_id` int(11) NOT NULL AUTO_INCREMENT, `model_id` int(11) NOT NULL, `bizaccount` varchar(40) NOT NULL, `src_ip` varchar(40) NOT NULL, `client_software` varchar(40) NOT NULL, `template_id` bigint(20) NOT NULL, PRIMARY KEY (`k_id`), KEY `bizaccount` (`bizaccount`), KEY `src_ip` (`src_ip`), KEY `client_software` (`client_software`), KEY `template_id` (`template_id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; insert into ca_abnormal_user_rule_tmp (bizaccount, client_ip, client_software,template_id) select bizaccount,client_ip,client_software,template_id from biao where server_ip fanwei and server_port fanwei GROUP BY bizaccount,client_ip,client_software,template_id; ２００６年第２３卷?增刊微电子学与计算机 １引言 随着网络的发展，保证网络的安全与稳定也越来越为重要。网络异常检测是发现网络故障和安全问题进而及时解决问题的有效手段，然而网络规模的不断扩大和网络流量的不断增加使得网络异常检测面临挑战，异常检测的性能随着网络规模的扩大和网上业务的增多呈现下降趋势，如何快速有效的检测网络异常并提高检测的可靠性已成为一个研究热点。 本文引入了分布式计算的方法，设计了一种基于中间件的分布式网络异常检测系统，旨在用分布式计算的方法提高对海量网络数据的处理能力，保证检测的实时性和检测数据的可靠性。 ２网络异常检测 这里提到的网络异常的范围较大，除了正常行为以外的网络行为都可以称为网络异常。造成这些异常的原因是多种多样的，包括：网络设备故障，网路超负荷，恶意的拒绝服务攻击，以及网络入侵等影响网络运输服务的行为。网络异常大体可以分为两类：第一类是关于网络故障和性能问题，例如文件服务器故障，广播风暴，虚假节点和瞬时拥塞等等。第二类网络异常是安全相关的问题，拒绝服务攻击和网络入侵就是这方面的例子。这些异常的一个共同点就是会导致巨大的网络通信流量变化。 检测网络异常的主要思路是：先通过一个足够长的训练阶段来定义出网络正常行为，再根据网络行为偏离正常行为的程度来判定异常是否发生。我们可以通过有规律的网络数据来定义网络正常行为，但这要依赖很多特殊因素，例如网络通信流量的变化，可获得的网络数据的变化，以及网络上运行的软件种类的变动，这些都将影响对网络正常行为的描述［２］。准确地获得网络性能检测数据对于异常检测是十分重要的一步，检测数据的来源主要有：第一是通过网络探针来获得网络行为测量值；第二是基于流统计的包过滤；第三是通过路由协议获取数据；第四是通过网管协议获取数据。网络异 基于中间件的分布式网络异常检测系统 陈宁军倪桂强潘志松姜劲松 （解放军理工大学指挥自动化学院，江苏南京２１０００７） 摘要：文章介绍了网络异常的概念和思路，然后对中间件技术做了分析比较，重点提出了一种基于中间件的分布式网络异常检测系统。该系统采用ＣＯＲＢＡ实现分布式交互，能对网络异常进行分布式检测，与单点异常检测系统相比具有更高的实时性和处理数据的能力，对大型网络效果更好。本系统通过ＭＩＢ变量相关联地剧烈突变来检测异常的发生。ＣＯＲＢＡ标准定义的比较完善的安全体系结构使本系统自身的安全性得到了保证。 关键词：网络异常检测，分布式，中间件，ＣＯＲＢＡ，ＭＩＢ 中图分类号：ＴＰ３９３文献标识码：Ａ文章编号：１０００－７１８０（２００６）Ｓ０－００１５－０３ ＡＤｉｓｔｒｉｂｕｔｅｄＮｅｔｗｏｒｋＡｎｏｍａｌｙＤｅｔｅｃｔｉｎｇＳｙｓｔｅｍＢａｓｅｄｏｎ ＣＯＲＢＡ ＣＨＥＮＮｉｎｇ－ｊｕｎ，ＮＩＧｕｉ－ｑｉａｎｇ，ＰＡＮＺｈｉ－ｓｏｎｇ，ＪＩＡＮＧＪｉｎ－ｓｏｎｇ（ＣｏｌｌｅｇｅｏｆＡｕｔｏｍａｔｉｃＣｏｍｍａｎｄｉｎｇ，ＰＬＡＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１０００７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｔｈｅｃｏｎｃｅｐｔａｎｄｔｈｏｕｇｈｔｏｆｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎ，ｔｈｅｎａｎａｌｙｚｅａｎｄｃｏｍｐａｒｅｔｈｅｔｅｃｈｎｉｑｕｅｓｏｆｍｉｄｄｌｅｗａｒｅ，ａｎｄｌａｙｅｍｐｈａｓｉｓｏｎｄｅｓｉｇｎｉｎｇｏｆａｄｉｓｔｒｉｂｕｔｅｄｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｉｄｄｌｅｗａｒｅ．ＴｈｅｓｙｓｔｅｍａｃｈｉｅｖｅｓｄｉｓｔｒｉｂｕｔｅｄｃｏｍｍｕｎｉｃａｔｉｏｎｔｈｒｏｕｇｈＣＯＲＢＡ，ａｎｄｃａｎｄｅｔｅｃｔｎｅｔｗｏｒｋａｎｏｍａｌｉｅｓｔｈｒｏｕｇｈｄｉｓｔｒｉｂｕｔｅｄｗａｙ．Ｉｔｉｓｍｏｒｅｒｅａｌ－ｔｉｍｅａｎｄｈａｓｂｅｔｔｅｒａｂｉｌｉｔｙｏｎｄａｔａｐｒｏｃｅｓｓｉｎｇｃｏｍｐａｒｅｄｗｉｔｈｓｉｎｇｌｅｐｏｉｎｔｄｅｔｅｃｔｉｏｎ，ｅｓ－ｐｅｃｉａｌｌｙｆｏｒｌａｒｇｅｎｅｔｗｏｒｋ．ＡｎｏｍａｌｙｃａｎｂｅｄｅｔｅｃｔｅｄｔｈｒｏｕｇｈｃｏｒｒｅｌａｔｅｄａｂｒｕｐｔｃｈａｎｇｅｓｏｆＭＩＢｖａｒｉａｂｌｅｓ．Ｔｈｅｗｅｌｌｄｅ－ｆｉｎｅｄｓｅｃｕｒｉｔｙｆｒａｍｅｗｏｒｋｏｆＣＯＲＢＡｈａｓｅｎｓｕｒｅｄｔｈｉｓｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍ＇ｓｏｗｎｓｅｃｕｒｉｔｙ． Ｋｅｙｗｏｒｄｓ：Ｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎ，Ｄｉｓｔｒｉｂｕｔｅｄ，Ｍｉｄｄｌｅｗａｒｅ，ＣＯＲＢＡ，ＭＩＢ 收稿日期：２００６－０５－２８ １５ 网络异常流量检测研究 摘要:异常流量检测是目前IDS入侵检测系统)研究的一个重要分支,实时异常检测的前提是能够实时,对大规模高速网络流量进行异常检测首先要面临高速流量载荷问题,由于测度、分析和存储等计算机资源的限制,无法实现全网络现流量的实时检测,因此,抽样测度技术成为高速网络流量测度的研究重点。 关键词:网络异常流量检测 一、异常流量监测基础知识 异常流量有许多可能的来源,包括新的应用系统与业务上线、计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等。网络流量异常的检测方法可以归结为以下四类:统计异常检测法、基于机器学习的异常检测方法、基于数据挖掘的异常检测法和基于神经网络的异常检测法等。用于异常检测的5种统计模型有:①操作模型。该模型假设异常可通过测量结果和指标相比较得到,指标可以根据经验或一段时间的统计平均得到。②方差。计算参数的方差,设定其置信区间,当测量值超出了置信区间的范围时表明可能存在异常。③多元模型。操作模型的扩展,通过同时分析多个参数实现检测。④马尔可夫过程模型。将每种类型事件定义为系统状态,用状态转移矩阵来表示状态的变化。若对应于发生事件的状态转移矩阵概率较小,则该事件可能是异常事件。⑤时间序列模型。将测度按时间排序,如一新事件在该时间发生的概率较低,则该事件可能是异常事件。 二、系统介绍分析与设计 本系统运行在子网连接主干网的出口处,以旁路的方式接入边界的交换设备中。从交换设备中流过的数据包,经由软件捕获,处理,分析和判断,可以对以异常流量方式出现的攻击行为告警。本系统需要检测的基本的攻击行为如下:(1)ICMP 攻击(2)TCP攻击,包括但不限于SYN Flood、RST Flood(3)IP NULL攻击(4)IP Fragmentation攻击(5)IP Private Address Space攻击(6)UDP Flood攻击(7)扫描攻击不同于以特征、规则和策略为基础的入侵检测系统(Intrusion Detection Systems),本研究着眼于建立正常情况下网络流量的模型,通过该模型,流量异常检测系统可以实时地发现所观测到的流量与正常流量模型之间的偏差。当偏差达到一定程度引发流量分配的变化时,产生系统告警(ALERT),并由网络中的其他设备来完成对攻击行为的阻断。系统的核心技术包括网络正常流量模型的获取、及对所观察流量的汇聚和分析。由于当前网络以IPv4为主体,网络通讯中的智能分布在主机上,而不是集中于网络交换设备,而在TCP/IP协议中和主机操作系统中存在大量的漏洞,况且网络的使用者的误用(misuse)也时有发生,这就使得网络正常流量模型的建立存在很大的难度。为达到保障子网的正常运行的最终目的,在本系统中,采用下列方式来建立多层次的网络流量模型: (1)会话正常行为模型。根据IP报文的五元组(源地址、源端口、目的地址、 基于Web资源聚类分析的异常行为检测1 谢逸,余顺争 中山大学电子与通信工程系,广东广州(510275 E-mail(xieyicn@https://www.sodocs.net/doc/2716161383.html, 摘要:本文针对大型活动网站的入侵检测,提出一种基于隐半马尔可夫模型(HSMM的Web资源聚类方法,与传统的基于Web页面内容的聚类不同,该方法仅需要用户的HTTP 请求序列,而不需要网站和页面的相关信息;利用该模型,我们得到用户对各个Web资源子集的访问特征,我们进一步引入逻辑行为来描述这种用户访问特征,并通过分析用户的逻辑行为实现异常访问行为的检测。文章详细介绍了模型建立的理论依据和方法,推导出模型参数的估计算法,及一种快速的模型参数实时更新算法。并指出了如何把该模型应用于实际的网络环境。最后使用World Cup 1998实际采集的数据验证了模型的有效性。结果表明该方法不但可以很好地实现用户行为分类,而且可以有效识别出异常的用户行为,从而起到入侵检测的作用。 关键词:聚类,用户行为,异常检测,隐半马尔可夫模型 中图分类号:TP3 1.引言 随着Internet的普及,网络上共享的计算机资源成为主要的攻击目标,网络入侵数量的增加及其所带来的严重危害,使计算机安全成为人们关注的焦点。入侵检测系统(Intrusion Detection System, IDS是用于检测正在发生的攻击和试图进行攻击的计算机系统。异常入侵检测(Anomaly Intrusion Detection 是目前使用的主要手段之一。它是根据用户行为与活动轮廓存在的偏离程度来判断是否发生入侵,常用的方法有神经网络、模式预测、机器学习、统计分析等[1]。 与一般的入侵检测系统所关注的对象不同,本文主要研究大型活动网站(例如:体育比赛、重大商务/政治活动、大型文艺表演等对分布式拒绝服务(Distributed 网络异常检测研究与应用 随着IT架构的日益复杂,各种应用也不断涌现,网络和应用的边界变得越来越模糊,这使得基于单一边界和控制点的传统安全设备难以有效掌握整个网络的安全状态。一方面,网络攻击的广泛性、隐蔽性、持续性、复合性、多样性等特征使得传统网络攻击检测技术难以有效应对。另一方面,随着移动互联网、云计算等技术的发展,网络中的威胁情报信息越来越多,因此,如何高效智能的整合、处理外部与内部的大量非结构化数据,对多源数据进行有效关联、检索与情报追踪是网络安全发展的关键。 近些年来,随着网络异常检测技术的不断发展、软件定义安全架构的出现、大数据技术的发展,上述的安全挑战带来的问题逐步得到了缓解。本文选取僵尸网络与Web攻击两种在网络中最常见、波及面最大的网络威胁,对僵尸网络C&C 服务器检测与HTTP异常检测问题展开研究;同时,将异常检测算法封装为异常检测模块,在软件定义安全架构下实现异常检测模块与安全数据平台的集成,从而实现数据驱动的安全服务器编排。本文的具体研究内容如下:1.利用网络中广泛存在的多源异构数据,借鉴安全威胁情报、用户与实体行为分析(UEBA)等安全领域的新思路,基于统计分析、机器学习、深度学习对网络异常检测的问题展开研究,具体包括:(1)基于城域网采样Netflow的C&C服务器检测(2)借鉴UEBA思想的基于HTTP画像的异常检测(3)基于长短时记忆神经网络(LSTM)的HTTP异常检测2.本文设计了一种将网络异常检测模块与安全数据平台进行集成的方案,实现了网络数据的实时在线异常检测,同时在软件定义安全架构下,根据异常检测结果自动选取防护策略并下发,从而实现数据驱动的安全服务编排,提高安全防护效率。 计算机研究与发展 ISSN100021239ΠCN1121777ΠTP()在线自适应网络异常检测系统模型与算法 魏小涛 21黄厚宽田盛丰22(北京交通大学软件学院北京100044)(北京交通大学计算机与信息技术学院北京100044) (weixt@https://www.sodocs.net/doc/2716161383.html,) AnOnlineAdaptiveNetworkandAlgorithmWeiXiaotao1,Shengfeng2 2(SchoolofSoftware,BJiaotongUniversity,Beijing100044)(SchoolofComputerandInform ationTechnology,BeijingJiaotongUniversity,Beijing100044) Abstract TheextensiveusageofInternetandcomputernetworksmakessecurityacriticalissue.Thereisa nurgentneedfornetworkintrusiondetectionsystemswhichcanactivelydefendnetworksagain stthegrowingsecuritythreats.Inthispaper,alightweightedonlineadaptivenetworkanomalyd etectionsystemmodelispresented.Therelatedinfluencefunctionbasedanomalydetectionalg orithmisalsoprovided.Thesystemcanprocessnetworktrafficdatastreaminreal2time,gradual lybuildupitslocalnormalpatternbaseandintrusionpatternbaseunderalittlesupervisingofthea dministrator,anddynamicallyupdatethecontentsoftheknowledgebaseaccordingtothechang ingofthenetworkapplicationpatterns.Atthecheckingmode,thesystemcandetectnotonlythel earnedintrusionpatternsbutalsotheunseenintrusionpatterns.Themodelhasarelativelysimpl earchitecture,whichmakesitefficientforprocessingonlinenetworktrafficdata.Alsothedetect ingalgorithmtakeslittlecomputationaltimeandmemoryspace.ThesystemistestedontheDA RPAKDD99intrusiondetectiondatasets.Itscans10%ofthetrainingdatasetandthetestingdata setonlyonce.Within40secondsthesystemcanfinishthewholelearningandcheckingtasks.Th eexperimentalresultsshowthatthepresentedmodelachievesadetectionrateof91.32%andafal sepositiverateofonly0.43%.Itisalsocapableofdetectingnewtypeofintrusions. Keywords networkanomalydetection;onlineadaptive;influencefunction;datastream;anomalydetecti on 目录 摘要 .......................................................................................................................... I ABSTRACT ................................................................................................................ II 第1章绪论 .. (1) 1.1课题研究背景及意义 (1) 1.2国内外研究现状及分析 (3) 1.3本文主要研究内容 (5) 1.4本文的结构安排 (6) 第2章异常行为检测相关理论及算法介绍 (7) 2.1引言 (7) 2.2基于混合高斯模型的目标提取 (8) 2.2.1 混合高斯模型的建立 (8) 2.2.2 运动目标的检测 (9) 2.2.3 背景模型的更新 (10) 2.3目标跟踪算法的选择 (13) 2.3.1 Meanshift算法 (13) 2.3.2 Camshift算法 (14) 2.3.3 卡尔曼滤波 (16) 2.4行为特征的选取 (17) 2.4.1 光流特征 (17) 2.4.2 几何特征 (19) 2.4.3 轨迹特征 (19) 2.5本章小结 (20) 第3章异常行为检测的研究及改进 (21) 3.1引言 (21) 3.2基于Camshift结合卡尔曼滤波的目标跟踪 (21) 3.3基于区域光流能量的异常行为检测 (24) 3.3.1 传统光流能量模型 (25) 3.3.2 改进的光流能量模型 (26) 3.3.3 区域光流能量流程及详细介绍 (29) 3.4基于几何和轨迹特征的异常行为检测 (31) 3.4.1 目标区域标识及特征提取 (31) 第8卷第4期2019年7月Vol. 8 No. 4Jul. 2019网络新媒体技术 基于流量特征建模的网络异常行为检测技术* *本文于2018 -05 -09收到。 *中科院率先行动计划项目：端到端关键技术研究与系统研发(编号：SXJH201609)。黄河▽邓浩江3陈君I C 中国科学院声学研究所国家网络新媒体工程技术研究中心北京100190 2中国科学院大学北京100190)摘要：基于流量特征建模的网络异常行为检测技术通过对网络流量进行特征匹配与模式识别，进而检测岀潜在的、恶意入侵 的网络流量，是网络异常行为检测的有效手段。根据检测数据来源的不同，传统检测方法可以分为基于传输层信息、载荷信 息、主机行为特征等三类，而近年来兴起的深度学习方法已经开始应用于这三类数据，并可以综合应用三类数据，本文从技术 原理与特点、实验方式、取得的成果等方面对上述技术路线进行了综述，并分析了存在的主要问题和发展趋势。关键词：网络异常行为，异常检测，模式识别，流量特征建模，深度学习 Network Abnormal Behavior Detection Technologies Based on Traffic - feature Modeling HUANG He 1'2, DENG Haojiang 1'2, CHEN Jun 1 (1 National Network New Media Engineering Research Center, Institute of Acoustics , Beijing, 100190, China , 2University of Chinese Academy of Science , Beijing, 100190, China) Abstract : The network abnormal behavior detection technology based on traffic - feature modeling can detect potential and malicious intrusion of network traffic by feature matching and pattern recognition of network traffic , and is an effective measure of network abnor - mal behavior detection. According to the different sources of detection data , traditional detection methods can be classified into three categories based on transport layer information , on load information , and on host behavior characteristics. In recent years , the deep learning method that has emerged has begun to be applied to these three types of data , and can be comprehensively applied. This paper summarizes the above technical routes in terms of technical principles and characteristics , experimental methods , and achievements , and analyzes the major problems and development trends.. Keywords : Network abnormal behavior, Anomaly detection , Pattern recognition , Traffic - feature modeling, Deep learning 0引言 “互联网是第一种由人类建造，但不为人类所理解之物，它是有史以来我们对无序状态最疯狂的实 验。”⑴Google 公司前首席执行官Eric Schmidt 在2010年的这段公开谈话直观揭示了因特网的混沌性与复 杂性，其背后的逻辑在于因特网用户行为的多元化。时至2018年，全球因特网的接入用户数量与数据总量 和2010年相比已经不可同日而语⑵，网络安全牵涉到信息社会中公共安全和个人隐私、财产的方方面面，网 络安全问题正成为学术研究和工程应用中亟待解决的难题。本文涉及的是基于流量特征建模的网络异常 行为检测技术，这是网络安全技术的一个分支，它的核心思想是通过对网络流量进行特征匹配与模式识别，异常行为检测设计
基于中间件的分布式网络异常检测系统
网络异常流量检测研究
基于Web资源聚类分析的异常行为检测(精)
网络异常检测研究与应用
在线自适应网络异常检测系统模型与算法(精)
基于监控视频的人体异常行为检测研究
基于流量特征建模的网络异常行为检测技术