基于神经网络的入侵检测技术

基于神经网络的入侵检测技术

摘要:关于神经网络与入侵检测技术的结合一直是网络安全问题研究的一个热点,本文介绍了网络发展带来的问题,并详细阐述了入侵检测技术的基本概况,接着说明神经网络在入侵检测中的应用,最后对其提出了一些展望。

关键词:神经网络入侵检测激励函数模型

Abstract:On neural network and intrusion detection technology combined with network security issues has been a research focus, this paper brings the issue of network development, and elaborated on the basic overview of intrusion detection technology, and then the neural network intrusion detection Finally, some prospects of its proposed.

Key words:neural network intrusion Detection Activation function model

1 引言

伴随着计算机网络技术的快速发展,网络的安全问题也日益突出,网络安全的一个主要威胁就是通过网络对信息系统的人侵。特别是系统中一些敏感及关键信息,经常遭受恶意和非法用户的攻击,使得这些信息被非法获取或破坏,造成严重的后果。目前在各个领域的计算机犯罪和网络非法入侵,无论是数量,手段,还是性质、规模,已经到了令人咋舌的地步。据统计,美国每年由于网络安全问题而造成的经济损失超过170亿美元,德国、英国也均在数十亿美元以上,法国、新加坡等其它国家问题也很严重[1]。在国际刑法界列举的现代社会新型犯罪排行榜上,计算机犯罪已名列榜首。2008年,CSI/FBI调查所接触的524个组织工作中,有56%遇到电脑安全事件,其中有38%遇到1-5起,16%以上遇到11起以上。因与互联网连接而成为频繁攻击点的组织连续3年不断增加,遭受拒绝服务攻击则从2005年的27%上升到2008的42%。所以,对网络及其信息的保护成为重要课题。对于网络安全现有的解决方案,我们知道防火墙、加密技术等都属于静态的防护手段,只能够被动的防御攻击,而对于已经发生的攻击则束手无策。鉴于此,能动态、主动地实现网络防卫的实时人侵检测技术日益成为网络安全领域的一个关键技术。

神经网络NN (Neural Network)具有检测准确度高且有良好的非线性映射和自学习能力、建模简单、容错性强等优点。神经网络技术具备相当强的攻击模式分析能力,能够较好地处理带噪声的数据,在概念和处理方法上都适合入侵检测系统的要求,已成为入侵检测技术领域研究的热点之一[2]。但由于传统的入侵检测技术存在着规则库难于管理、统计模型难以建立以及较高的误报率和漏报率等

诸多问题,制约了入侵检测系统在实际应用中的效果。因此针对目前入侵检测系统存在的各种缺点和不足,提出了将神经网络运用于入侵检测的概念模型。网络入侵检测问题本质上是获取网络上的数据流量信息并根据一定的方法进行分析,来判断是否受到了攻击或者入侵,因此,入侵检测问题可以理解为模式识别问题。而人工神经网络是一种基于大量神经元广泛互联的数学模型,具有自学习、自组织、自适应的特点,在模式识别领域的应用取得了良好的效果。利用神经网络技术的自学习能力、联想记忆能力和模糊运算能力,可以对各种入侵和攻击

进行识别和检测。

基于这个思路,将神经网络技术和入侵检测技术相结合,建立了一个基于神经网络的入侵检测系统模型并实现了一个基于BP(Back Propagation)神经网络的入侵检测系统的原形,对原有的误差返向传播算法进行了改进以太提高收敛速度,然后对一些实际数据进行了测试和分析,在检测率,漏报率,误报率等方面取得了较好的效果。

2 入侵检测技术概况

2.1入侵检测介绍

2.1.1入侵检测的基本概念

入侵(Intrusion)是指任何试图破坏资源完整性、机密性和可用性或可控性的行为。完整性是指数据未经授权不能改变的特性;机密性是指信息不泄漏给非授权用户、实体或过程,或供其利用的特性;可用性是可被授权实体访问并按要求使用的特性;可控性是指对信息传播及内容具有控制能力。作为一个广义的概念,入侵不仅包括发起攻击的人(如恶意的黑客)取得超出合法范围的系统控制权,也包括用户对于系统资源的误用,收集漏洞信息造成拒绝访问(Denial of Service)等对计算机系统造成危害的行为。

入侵检测(Intrusion Detection),顾名思义,是指对于面向计算资源和网络资源的恶意行为的识别和响应。入侵检测是一种主动保护网络和系统安全的新型网络安全技术,是目前网络安全体系结构中的重要组成部分。它通过对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析,从中发现网络或系统中是否有违反安全策略的行为或被攻击的迹象,然后采取适当的响应措施来阻挡攻击,降低可能的损失[3]。

入侵检测系统的主要功能包括:

1、监视、分析用户及系统活动;

2、检查系统配置及存在的漏洞;

3、评估系统关键资源和数据文件的完整性;

4、识别已知的攻击;

5、统计分析异常行为;

6、管理操作系统的日志,并识别违反用户安全策略的行为。

2.1.2入侵检测的一般步骤

(1)信息收集确定数据源是入侵检测的第一步。它的内容包括系统、网络、数据及用户活动的状态和行为。入侵检测是否准确很大程度上依赖于收集信息的可靠性和正确性,入侵检测利用的信息一般来自一下四个方面:

A系统日志和网络数据报

B目录和文件中的不期望的改变

C程序执行中的不期望行为

D物理形式的入侵信息

(2)数据分析收集到的有关系统、网络、数据及用户活动的状态和行为等信息,被送到检测引擎,一般通过三种技术手段进行分析:模式匹配、统计分析和完整性分析。模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行比较,从而发现违背安全策略的行为。该过程可以很简单(如通过字符串匹配以寻找一个简单的条目或指令),也可以很复杂(如利用正规的数学表达式来表示安全状态的变化)。一般来讲,一种进攻模式可以用一个过程(如执行一条指令)或一个输出(如获得权限)来表示。该方法的一大优点是只需收集相关的数据集合,显著减少系统负担,且技术已相当成熟。它与病毒防火墙采用的方法一样,检测准确率和效率都相当高。但是,该方法存在的弱点是需要不断的升级以对付不断出现的黑客攻击手法,不能检测到从未出现过的黑客攻击手段。统计分析方法首先给系统对象(如用户、文件、目录和设备等)创建一个统计描述,统计正常使用时的一些测量属性(如访问次数、操作失败次数和延时等)。测量属性的平均值将被用来与网络、系统的行为进行比较,任何观察值在正常值范围之外时,就认为有入侵发生。例如,统计分析可能标识一个不正常行为,因为它发现一个在晚八点至早六点不登录的账户却在凌晨两点试图登录。其优点是可检测到未知的入侵和更为复杂的入侵,缺点是误报、漏报率高,且不适应用户正常行为的突然改变。具体的统计分析方法如基于专家系统的、基于模型推理的和基于神经网络的分析方法,目前正处于研究热点和迅速发展之中。完整性分析主要关注某个文件或对象是否被更改,这经常包括文件和目录的内容及属性,它在发现被更改的、被特洛伊化的应用程序方面特别有效。完整性分析利用强有力的加密机制,称为消息摘要函数(例如MD5),它能识别哪怕是微小的变化。其优点是不管模式匹配

方法和统计分析方法能否发现入侵,只要是成功的攻击导致了文件或其它对象的任何改变,它都能够发现。缺点是一般以批处理方式实现,不用于实时响应。尽管如此,完整性检测方法还应该是网络安全产品的必要手段之一。例如,可以在每一天的某个特定时间内开启完整性分析模块,对网络系统进行全面地扫描检查。

(3)系统响应入侵检测的响应可以分为主动响应和被动响应两种类型。在主动响应中,入侵检测系统(自动地或与用户一起)应能阻塞攻击,进而改变攻击的进程。在被动攻击里,入侵检测系统仅仅简单地报告和记录所检测出的问题。主动响应包括入侵反击、修正系统环境、收集额外信息等几种方式;被动相应包括告警和通知等。主动响应和被动响应并不是相互排斥的,不管使用哪一种响应机制,作为任务的一个重要部分,入侵检测系统应该总能以日志的形式记录下检测结果。

2.2入侵检测分类

目前入侵检测技术的分类方法很多,但主要包括基于体系结构的分类、基于分析策略的分类和基于工作方式的分类[4,5]。

2.2.1基于体系结构的分类

根据体系结构的不同可以分为基于主机的IDS(Host-based IDS)和基于网络的IDS(Network-based IDS)。基于主机的IDS安装在独立的主机上,通过监视WINDOWS NT上的系统事件、日志以及UNIX环境下的SYSLOG文件可以精确地判断入侵事件[6],一旦这些系统文件有变化,IDS将新的日志记录与攻击签名比较,以发现它们是否匹配。如匹配,IDS将向管理员报警并采取相应行动。基于网络的IDS使用原始的网络分组数据包作为进行攻击分析的数据源,一般需要一个独立的网络适配器,将其设置为混杂模式来实时监听所有通过网络进行传输的数据包[7],并与攻击签名匹配,一旦检测到攻击,IDS将对相关事件进行报警。

2.2.1.1基于主机的入侵检测早期在网络远没有现在盛行的时候,入侵检测系统主要是基于主机的系统。基于主机的入侵检测系统通常应用两种类型的信息源,操作系统审计踪迹和系统日志。操作系统审计踪迹由操作系统内核产生,这些审计踪迹是系统活动信息的集合,是对系统事件的忠实记录,由于操作系统本身提供了对审计踪迹的保护机制,因此作为入侵检测的信息源,操作系统审计踪迹的可靠性能得到很好的保证,但审计数据过于庞杂并

且不易理解是其弱点所在;系统日志是一个反应各种各样的系统事件和设置的文

件,由于日志文件通常是由应用程序产生,而且通常存储在不受保护的目录里,与操作系统审计踪迹相比,安全性不够好,但是系统日志结构简单(比如作为文本文件形式存在),理解起来相对容易,而安全性问题可以通过日志文件重定向等方法来解决,因此日志文件仍然是基于主机的入侵检测系统最常用的信息源之一,对日志文件在入侵检测系统中应用的研究也是当前的研究热点之一。

基于主机的入侵检测系统的优点包括:对入侵事件的观察更为细腻,理解更为准确;可以观察到入侵事件的后果;可以检测到网络入侵检测系统检测不到的入侵,不受网络信息流加密和交换网络的影响;可以检测到特洛伊木马等破坏软件完整性的入侵。所存在的不足主要有:占用所监视主机的系统资源,影响系统运行效率;无法检测针对网络发起的协同入侵:本身容易受到入侵而失效。

2.2.1.2基于网络的入侵检测随着网络的飞速发展,基于网络的入侵检测系统开始走向前台,成为入侵检测研究的热点和主流,目前的入侵检测系统大都是基于网络的入侵检测系统。基于网络的入侵检测系统,顾名思义,其信息源来来自网络,系统通过对网络数据流进行捕获、分析,以判断是否受到入侵。在体系结构上,华于网络的入侵检测系统通常包含一系列sensor和中央控制台,这些sensor负责监视网络数据流,做局部的分析和判断,并

向中央控制一台报告,这些传感器通常被设计成隐藏模式运行,因此安全性较好。

基于网络的入侵检测系统的主要优点包括:作用范围较广,与只能监视单一主机的主机型入侵检测系统不同,基于网络的入侵检测系统可以部署在网段的关键位置,监控流经该网段所有主机的网络通信流,保护该网段的所有主机,这对局域网用户特别实用:本身的抗入侵性能较好,自身安全性较高;提供实时的网路监视,对入侵反应迅速;对现有网络影响很小;操作系统无关性。所存在的主要不足之处:高速网络环境下的数据报丢失问题;交换网络环境下以及VPN环境下信息报的加密问题,随着越来越多得企业组织使用VPN,这个问题将会变得更加突出:检测精确度较差,容易被高明的黑客欺骗。

2.2.2基于分析策略的分类

根据采用的策略不同可分为误用检测(Misuse Detection或称Rule-basedDetection)和异常检测(Anomaly Detection)两大类[8,9]。

2.2.2.1误用检测误用检测又可称为基于知识的入侵检测。这一检测假设所有入侵行为和手段都能够表达为一种模式或误用,那么所有已知的入侵方法都可以用匹配的方法发现,它对己知的攻击或入侵的方式做出确定性的描述,系统的目标是检测主体活动是否符合这些模式,形成相应的事件模式,对入侵特征的精确描述使入侵检测系统可以很容易将入侵检测出来。当被审计的事件与已知的入侵事件模式相匹配时就记录下来并报告管理员。其原理

上与专家系统相仿,检测方法上与计算机病毒的检测方式类似。误用检测的关键是如何表达入侵的模式,把真正的入侵与正常行为区分开来。目前基于对包误用描述的模式匹配应用较为广泛,其难点在于如何设计模式既能够表达“入侵”现象又不会将正常的活动包含进来。误用检测可以有多种实现方法,它们的不同点主要是匹配算法的入侵模式编码方式不同。误用检测系统的实现技术包括专家系统、击键监视、状态转化和模式匹配的入侵检测系统等。误用检测的最大优点是由于依据具体特征库进行判断,可以精确有效的检测规则库中包含的入侵模式。可以将己有的入侵方法检查出来,误报少,预报检测的准确率较高,并且因为检测结果有明确的参照,也为系统管理员做出相应措施提供了方便。局限性是它只能发现已知的攻击,对未知的攻击无能为力,对新的入侵方法无能为力。对于规则库中没有的未知入侵模式,

误用检测就显得无能为力。由于建立系统弱点和攻击模式的规则需要进行分析和归类,因此误用检测的检测规则需要进行手工编码和验证。由于新的攻击技术随时会出现,因此规则库需要经常更新。再者与具体系统依赖性太强,不但系统移植性不好,维护工作量大,而且将具体入侵手段抽象成知识也很困难。并且检测范围受已知知识的局限,尤其是难以检测内部人员的入侵行为,如合法用户的泄漏,因为这些入侵行为并没有利用系统脆弱性。

2.2.2.2异常检测异常检测方法通过异常监测器观察主体的活动,然后产生刻画这些活动的行为的轮廓。每一个轮廓保存记录主体当前的行为,并定时将当前行为与存储的轮廓合并。通过比较当前轮廓与己存储的轮廓判断异常行为,检测出网络入侵。它对端口漏洞扫描和拒绝服务攻击(DoS)等具有统计特征攻击方法的检测特别有效。这种模型与系统相对无关,通用性较强,简单,易于实现,运动速度快,不需要为设定限制值而掌握正常活动的知识,可检测出一些未知攻击方法。当然,单纯的统计异常检测方法是不能满足需要的,它对事件发生的次序不敏感,误报率较高,对没有统计特征的攻击方法难以检测。异常检测一般先建立用户行为的正常模型,再将实际观察到的行为与之相比较,检测与正常行为偏差较大的行为。对异常行为的检测一般基于统计法,一个用户正常行为模型的建立往往需要进行多次统计,并且随着观察数据的变化进行周期性更新。为了准确表现用户行为,在进行统计时需要对观察值进行加权处理。在异常入侵检测中,假定所有入侵行为都是与正常行为不同的,这样,如果建立系统正常行为的轨迹,那么理论上可以把所有与正常轨迹不同的系统状态视为可疑企图。比如,通过流量统计分析将异常时间的异常网络流量视为可疑。异常检测的难题在于如何建立系统正常行为的轨迹以及如何设计统计算法,从而不把正常的操作作为“入侵”或忽略真正的“入侵”行为。由于异常检测不需要预先知道特定入侵的任何知识,因而可以检测未知类型的攻击。另外由于统计模型的更新相对容易,对异常的检测便具有对用户或系统行为的适应性。异常入侵检测的局限是并非所有的入侵都表现

为异常,而且系统的轨迹难于计算和更新;不同计算环境中选取的用与统计的系统误用也不相同;界定正常行为与异常行为的阈值难以确定;用户行为可能会动态改变或前后不一致;一些入侵只有通过对用户数据的连续观察才能检测,在异常统计中表现为正常的单个数据可能属于某个入侵行为;由于基于统计的系统需要经过一定时间的学习,一个有准备的入侵者可以精心设计使统计模型适应他的数据,从而使系统将这类入侵行为标记为正常行为。

2.2.3基于工作方式的分类

2.2.

3.1离线检测离线检测是一种非实时工作的系统,在事件发生后分析审计事件,从中检查入侵事件。这类系统的成本低,可以分析大量事件,调查长期的情况,可以为在线检测提供攻击信息。但由于是在事后进行,不能对系统提供及时的保护。而且很多入侵在完成都将审计事件去掉,使其无法审计。

2.2.

3.2在线检测在线检测对网络数据包或主机的审计事件进行实时分析,可以决速反应,保护系统的安全;但在系统规模较大时,难以保证实时性和较低的误报警率和漏报警率。

2.3入侵检测方法概览

误用检测和异常检测作为两大类入侵检测技术,各有所长,又在技术上互补。误用检测是建立在使用某种模式或者特征编码方法对任何已知攻击进行描述这一理论基础上的;异常检测则是通过建立一个“正常活动”的系统或用户的正常轮廓,凡是偏离了该正常轮廓的行为就认为是入侵。误用检测检测精度高,却无法检测新的攻击;异常检测可以检测新的攻击却有较高的误警率。

2.3.1误用检测技术

2.3.1.1基于专家系统的IDS专家系统是误用检测技术中运用最多的一种方法。基于专家系统的入侵检测的原则是任何与己知入侵模型符合的行为都是入侵。它首先要求建立已知的攻击签名知识库,即将入侵知识进行编码表示成IF-THEN 规则。然后对当前系统日志文件和数据包进特征抽取,和签名库中的攻击签名进行匹配,判断是否出现入侵行为,这种方法准确性高,而且可精确判定是何种攻击。规则可以根据IDS类型不同来定义。如基于网络的IDS专家系统中的规则就包含和网络相关的几个部分,如处理的方法、协议、通讯的方向、特征值等。基于这种模型的入侵检测主要问题是只能检测已知的攻击。

2.3.1.2基于状态转移分析的方法在这种方法中,状态转移分析(StateTransition

Analysis)将攻击表示成一系列被监控的系统状态转移。这里的“状态”指系统在某一时刻的特征,由一系列系统属性来描述。初始状态对应于入侵开始时刻的系统状态,危及系统安全的状态对应于已成功入侵时刻的系统状态,在这两个状态之间则可能有一个或多个中间状态的迁移。分析时首先针对每种入侵方法确定系统的初始状态和危及系统安全的状态,以及导致状态转换的事件,即导致系统进入危及系统安全状态必须执行的关键操作(特征事件)。状态间的迁移信息可以用状态迁移图描述,通过弧将连续的状态连接起来以表示状态改变所需要的特征事件。允许特征事件类型被植入到模型中,并且无须同审计记录一一对应,所以检测时不需要一个个地查找审计记录。在分析审计事件时,若根据由已知的入侵特征建立的布尔表达式,系统从安全状态转移到不安全状态,则可认为是入侵事件。采用这种方法的系统包括STAT(State Transition Analysis Tools)和USTAT(A Real-time Intrusion Detection System for UNIX)。

2.3.1.3模式匹配的方法Sandeep Kumar提出了基于模式匹配(PatternMatching)的入侵检测方法。这一方法将已知的入侵特征编码成为与审计记录相符合的模式。与状态转移分析相类似,当新的审计事件产生时,这一方法将寻找与它相匹配的己知入侵模式。与状态转移分析不同之处在于用作限制条件的布尔表达式与状态相关联而不是与转换相关联。Kumar使用CPN(Colored Petri Network)来描述入侵者的攻击模式。CPN是一种节点代表状态、边表示状态间迁移的有向图,表示迁移的边可以附加一些用表达式描述的操作。在发生状态迁移时,这些表达式允许对一些符号的局部变量进行赋值。CPN可有多个初始状态,但只能有一个终结状态。而且每个CPN可拥有一组与它有关的变量,用于描述状态变迁的上下文。

2.3.2异常检测技术

2.3.2.1基于统计的异常检测技术统计异常检测方法根据异常检测器观察主体的活动,然后产生刻画这些活动的行为的轮廓。每一个轮廓保存记录主体当前行为,并定时将当前的轮廓与存储的轮廓合并。通过比较当前的轮廓与已存储的轮廓来判断异常行为,从而检测出网络入侵。统计异常检测方法的有利之处是所应用的技术方法在统计学得到很好的研究。例如,位于标准方差两侧的数据可认为是异常的。但基于统计的异常检测有以下的缺点:

A统计测量对事件的发生的次序不敏感,单纯的统计入侵检测系统可能不会发觉事件当中依次相连的入侵行为。

B单纯的统计入侵检测系统容易被入侵者通过长时间的训练使模型适应其入侵行为,而不被发现。

C难以确定判断异常的阈值,阈值设置偏低或偏高均会导致误报警事件。

D统计异常检测行为类型模型是有限的。运用统计技术对异常作形式化处理需要假设数据来源稳定和具有才刚以胜,但在现实情况下这种假设并不总是能得到满足。

2.3.2.2基于神经网络的IDS人工神经网络(ANN)自从20世纪50年代Rosenblatt 首次将单层感知器应用于模式分类学习以来,已经有了40多年的研究历史。人工神经网络中每个神经元的结构和功能是相对简单和有限的,但正是这些众多结构简单、功能有限的神经元的“微观”活动,构成了复杂的“宏观效应”:能完成各种复杂的信息识别和任务处理。人工神经网络的信息分布式存储和并行式处理为信息高速处理创造了条件,且带来了对不完整信息的容错性和联想一记忆能力。非线性全局作用特征使其处理起大规模非线性的复杂动力学系统得心应手。更重要的是人工神经网络无需预编程,无需制定工作规则,它通过学习自行领悟事物内在规律。这种自组织、自学习及推理的自适应能力是神经网络相对于传统AI和其它计算模型的最大优势。如今人工神经网络已与模糊逻辑、概率推理、遗传算法、混沌系统、信念网络以及局部学习方法构成新一代智能计算内核一一软计算。

目前,神经网络己有多种模型在IDS中应用。只要提供系统的审计迹(Audit traces)数据,神经网络就可以通过自学习从中提取正常的用户或系统活动的特征模式,而不需要获取描述用户行为特征集以及用户行为特征测度的统计分布。另一方面,神经网络也可以作为误用检测。神经网络可以利用大量入侵实例对其进行训练学会入侵知识,获得预测的能力,并且这一过程可以是完全抽象的计算,神经网络可以自动掌握系统的各个度量之间的内在关系,使其最大限度接近于现实的系统工作模型或网络攻击模型,从而对于输入给它的任何监测数据都能做出相当正确的判断。

2.3.2.3基于数据挖掘的IDS计算机联网导致大量审计记录,而且审计记录大多是以文件形式存放(如UNIX系统Syslog),若蠕虫依靠手工方法去发现记录中的异常现象是十分困难的,往往操作不便,且不容易找出审计记录间的相互关系。Wenke Lee和Salvatore.J.Stolfo将数据挖掘技术应用到入侵检测研究领域中,从海量审计数据或数据流中提取感兴趣的知识,这些知识是隐含的、事先未知的、潜在的有用信息,提取的知识表示为概念、规则、规律、模式等形式,并可用这些知识去检测异常入侵。其研究的目标是尽可能得减少在建立一个入侵检测系统手工和经验成分。这种方法采用以数据为中心的观点,把入侵检测问题看作是一个数据分析的过程。这种方法的优点是适合于处理大量数据的情况,但对实时检测还需开发更有效的算法。

2.3.2.4基于预测模型的IDS基于预测模式生成(Predictive Pattern Generation)的异常检测方法的假设条件是事件序列不是随机的而是遵循可辨别的模式。这种检测方法的特点是考虑了事件的序列及相互联系。Teng和Chen给出基于时间的归纳

方法利用时间规则来识别用户行为正常模式的特征。通过归纳学习产生这些规则集,并能动态地修改系统中这些规则,使之具有较高的预测性、准确性和可信度。如果规则大部分时间是正确的,并能够成功运用预测所观察到的数据,那么规则就具有高可信度。

2.4入侵检测技术的前景

随着黑客技术的不断发展,入侵行为表现为不确定性、复杂胜、多样性等特点。一些黑客组织己经将如何绕过入侵检测系统(IDS)或攻击IDS系统作为研究重点[10]。今后的入侵检测技术应在进一步完善传统的模式识别、完整性检测技术,不断提高入侵检测系统性能的基础上,大致朝下述几个方向[11,12]

发展。

(1)分布式入侵检测

针对分布式网络攻击的检测方法,重视分布式环境下入侵检测的架构设计,解决分布式环境下所遇到的特定问题,如自主代理的管理、不同数据源的关联分析、安全响应问题等。其中的关键技术为检测信息的协同处理与入侵全局信息的提取。

(2)应用层入侵检测

许多入侵的语义只有在应用层才能理解,而目前的入侵检测系统仅能检测TCP之类的通用协议,不能处理针对数据库系统(如Lotus Notes,Oracle)等其他的应用系统的入侵。许多基于客户端/服务器结构、中间件技术及对象技术的大型应用,需要应用层的入侵检测保护。

(3)智能入侵检测

目前,入侵方法越来越多样化和综合化,尽管己经有智能体系、神经网络与遗传算法应用在入侵检测领域,但这些只是一些尝试性的研究工作,需要对智能化的入侵检测系统进一步研究,以解决其自学习与自适应能力。

(4)全面的安全防御方案

使用安全工程风险管理的思想与方法来处理网络安全问题,将网络安全作为一个整体工程来处理。结合防火墙、安全电子交易等网络安全与电子商务技术,提供完整的网络安全保障。从管理、网络结构、加密通道、防火墙、病毒防护、入侵检测多方位对所关注的网络作全面的评估,然后提出可行的全面解决方案。

3 人工神经网络与入侵检测

近年来,入侵检测技术的研究出现了百家争鸣的局面,出现了很多用于入侵

检测的方法,其中有:统计方法,它依赖于一些假设,缺点是阀值难以有效确定、可被训练而适应入侵模式;专家系统的方法,它可以检测到已知的行为,但对于未知的进攻却无能为力,另外还有效率问题;基于状态转换的方法,它虽然能在一定程度上预测下一步可能的攻击,但是能够检测的入侵模式局限于指定的连续事件,不能检测更为复杂的形式。相对来说,人工神经网络的方法是一种很有潜力的方法。这里简单介绍人工神经网络的基础知识,多层前向神经网络模型,以及它在应用中要解决的若干重要问题。

3.1人工神经网络简介

人工神经网络(Artificial Neural Network,ANN)是多学科交叉的产物,各个相关的学科领域对神经网络都有各自的看法,因此关于神经网络的定义在科学界存在许多不同的见解。目前使用得最广泛的是T.Koholen的定义,即“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应”。人工神经网络是人工智能的一个研究领域,属于连接主义的研究方法。神经网络自出现以来,经历了20世纪六七十年代的低潮期,随着计算机硬件和运算性能的提高,20世纪90年代又开始得到了发展。由于神经网络具有很强的非线性函数逼近能力、自适应学习能力、容错能力和并行信息处理能力,为解决未知不确定的非线性系统的建模、控制问题和作为数据融合手段提供了一条新的途径。神经网络是模拟人脑加工、存储和处理信息机制而提出的一种职能化信息处理技术,他所具备的概括抽象能力、学习和自适应能力以及内在的并行计算特性,使得其在入侵检测中的应用具有独特的优势。

3.1.1人工神经网络的特征

神经网络是由大量的神经元广泛互连而成的网络,反应了人脑功能的基本特性,但它并不是人脑的真实的描写,而只是它的某种抽象、简化和模拟,网络的信息处理的物理联系,网络的学习与识别决定于各神经元连接权系数的动态演化过程,神经网络计算机就是试图模拟人脑的这一信息处理系统的一种新型计算机体系,其中心由类似于人脑神经元的简单处理器组成,而处理器之间的联接则与神经元之间的突触相似,神经网络是一个具有高度非线性的超大规模连续时间动力系统,其最主要特征为连续时间非线性动力学、网络的全局作用、大规模并行处理及高度的鲁棒性和学习的联想能力,同时它具有一般非线性动力系统的共性,即不可预测性、吸引性、耗散性、非平衡性、不可逆姓、广泛联结性与自适应性等。因此,它实际上是一个超大规模非线性连续时间自适应信息处理系统。人工

神经网络是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统,与现行的冯·诺依曼计算机的工作方式进行比较,可以看到很多人脑的特征和基本功能。神经网络表现出来的特征包含结构特征和能力特征两个方面,下面分别进行介绍[13]。结构特征指的是神经网络对信息的并行处理、分布式存储和处理过程中的容错性特征。人工神经网络是由大量简单处理单元相互连接构成的高度并行的非线性系统,具有大规模并行处理的特征。虽然单个处理单元的功能十分简单,但是大量的简单处理单元的并行活动使网络呈现出丰富的功能并具有较快的处理速度。结构上的并行性使得神经网络的信息存储必然采用分布式方式,即信息不是存储在网络的某个局部位置,而是分布在网络的所有连接权中。一个神经网络可以存储多种信息,其中每个神经元的连接权重存储的是多种信息的一部分。当需要获得己经存储的信息时,神经网络在输入信息的激励下,采用联想的办法进行回忆,因而具有联想记忆功能。人工神经网络内在的并行性与分布性表现在其信息的存储与处理都是空间上分布、时间上并行的,这两点又使得人工神经网络表现出良好的容错特性。由于信息的分布存储,当网络中部分神经元损坏时不会对系统的整体性能造成太大的影响。另外,当输入模糊、残缺或者变形的信号时,神经网络能通过联想恢复完整的记忆,从而实现对不完整信号的正确识别。能力特征指的是神经网络的自学习、自组织和自适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力,它是神经网络的一个重要特征。自适应性包括自学习与自组织两层含义。神经网络的自学习是指当外界环境发生变化时,经过一段时间的训练或感知,神经网络能通过自动调整网络结构参数,使得对于给定输入能产生期望的输出,训练是神经网络学习的途径。自组织是指神经网络系统能在外部刺激下按一定的规则调整神经元之间的连接权重,逐渐构建起神经网络。人工神经网络的这些特征,使其具有传统人工智能技术所不具备的功能。传统的人工智能技术通常用于精确计算,如:符号处理和数值计算;而神经网络可以应用在非精确计算的场合,如:模糊处理、感觉和大规模数据并行处理。以下是人工神经网络的基本功能:联想记忆、非线性映射、分类与识别、优化计算和知识处理。其中重点是前两者,联想记忆功能是指人工神经网络能够通过预先存储的信息或自适应学习机制,从不完整的信息和噪声干扰中恢复出原始的完整信息;非线性映射是指人工神经网络能够通过对系统输入输出样本对的学习自动提取蕴涵在其中的映射规则,从而以任意精度拟合任意复杂的非线性函数。

3.1.2人工神经元模型

人工神经网络是对生物神经网络的模拟,生物神经网络是由数以百亿计的神经细胞即神经元组成,因此对神经网络的建模首先要对人工神经元建模。人工神经元

是对生物神经元的一种形式化描述,它对生物神经元的信息处理过程进行抽象,并用数学语言予以表示。目前最常用的神经元模型是在M-P模型的基础上发展起来的,M-P模型是心理学家W.McCulloch和数理逻辑学家W.Pitts在1943年提出的简化的神经元模型[14,15]。图3.1是人工神经元的模型示意图。

基于神经网络的入侵检测技术

该神经元模型的输入输出关系为:

基于神经网络的入侵检测技术

激励函数(Transfer Function)是神经元的一个重要组成部分,它描述了生物神经元的转移特性。它的基本作用是:控制输入对输出的激活作用;对输入、输出进行函数转换;将可能无限域的输入变换成指定的有限范围内的输出。采用什么样的激励函数是神经元模型的主要区别。不同的激励函数使神经元具有不同的信息处理特性,而神经元的信息处理特性是决定人工神经网络整

体性能的要素之一,适当的激励函数非常重要。

3.1.3人工神经网络的学习规则

人类高度发展的智能,主要是通过学习获得的,学习是获取新知识的过程,因此,要让神经网络具有人脑的特性,必须使神经网络具有学习的功能。人工神经网络中常见的学习规则有4种:

·联想式学习--HEBB规则

·误差传播式学习--DELTA规则

·概率式学习

·竞争式学习

3.2人工神经网络在入侵检测中的应用

任何新技术的应用目的无非是要解决某个具体领域中当前技术在应用中存在的问题。目前计算机入侵的现状是入侵的数量日益增长、入侵个体的入侵手段和目标系统多种多样,因此要确切的描述入侵特征非常困难,入侵规则库和模式库的更新要求难以得到满足,这就要求入侵检测应该具有相当大的智能性和灵活性,这是多项人工智能技术被相继应用到入侵检测中的原因[16]。

3.2.1传统的统计模型及不足

传统统计模型有:

·操作模型,该模型假设异常可通过测量结果与一些固定指标相比较得到,固定指标可以根据经验值或一段时间内的统计平均得到,举例来说,在短时间内的多次失败的登录很有可能是口令尝试攻击;

·方差,计算参数的方差,设定其置信区间,当测量值超过置信区间的范围时表明有可能是异常;

·多元模型,操作模型的扩展,通过同时分析多个参数实现检测;

·马尔柯夫过程模型,将每种类型的事件定义为系统状态,用状态转移矩阵来表示状态的变化,当一个事件发生时,且转移的概率很小则可能是异常事件;·时间序列分析,将事件计数与资源消耗根据时间排成序列,如果一个新事件在该时间发生的概率较低,则该事件可能是入侵。这些模型的实现代价昂贵,更重要的是很难建立确切的统计分布,适应性和推广性很差。神经网络的自学习、自组织和自适应性能很好的解决传统统计技术的适应性和推广性问题,并且不存在实现代价太高的问题,因为信息是分布在网络中的,不需要对不同的用户分别建模。

3.2.2人工神经网络在入侵检测中的应用

神经网络具有概括能力和抽象能力,对不完整的输入信息具有一定程度的容错处理能力,具备内在并行计算和存储特性,所以人工神经网络在入侵检测中的应用一直受人注目。人工神经网络在入侵检测中的应用有两种形式。第一种是与已有系统的结合应用,这些系统包括专家系统和其它模式识别系统。这种应用过

程中人工神经网络不作为独立的检测模块出现,而是作为专家系统的信息预处理或者过滤模块来提高专家系统的工作效率,或者是作为规则自动生成模块,用来自动更新IDS的规则库和模式库。第二种应用则是把人工神经网络作为独立的检测技术,IDS获得数据,然后直接交给基于人工神经网络技术的分析模块进行分析得到结果。这种方法相比第一种方法更加快捷清晰,不会受到其它技术的负面影响。与基于专家系统的入侵检测不同,人工神经网络作为分析模块时不建立特征库,对于训练数据中出现的连接特征信息被分布存储在人工神经网络的参数中。另一点不同之处在于,专家系统中的规则来自于己知的入侵,所以专家系统对于训练集中没有出现的入侵是不敏感的。人工神经网络中信息的存储和处理是空间上分布、时间上并行的,这使人工神经网络表现出良好的容错特性,因此人工神经网络分析器在训练完成后可以检测到训练集内没有出现而又和训练集内的入侵行为相似的入侵行为,第五章中的实验结果很好的证明了这一点。到目前为止,已经有不少关于人工神经网络在入侵检测系统中的应用研究。文献[17,18]中研究遗传算法、进化理论和人工神经网络在入侵检测中的应用;文献[19]中研究把人工神经网络技术应用于网络入侵检测,。Debar等人采用递归型BP网络,在对所收集的审计数据进行分析的基础之上,对系统各用户的行为方式进行建模,并同时结合传统的专家系统进行入侵检测。Tan为适应入侵检测要求,对传统的多层前馈网络(MLFF)的训练算法进行改进,并用于建模用户的各个行为特征。Hogluand等人提出了基于一维SOM(自组织特征映射)网络的异常检测算法对用户行为特征进行判断,并建立了原型系统。Ghosh等人还进行了滥用检测技术的研究,其工作结果表明基于MLP的滥用检测模型具备更高的虚警概率,性能不及异常检测模型。以上所述都是基于主机的入侵检测技术。随着网络互联环境的飞速发展,基于网络流量分析的入侵检测技术逐渐流行。Cannady和Mahaffey将MLP模型和SOM/MLP混合模型应用到基于网络流量的滥用检测模型中。

4总结

网络入侵检测技术己经发展了十多年了,但是由于网络入侵手段的复杂性和多变性,想要确定网络入侵行为与网络数据特征之间的函数关系是不可能的,因此只能对其进行估计和逼近。人工智能技术在入侵检测中的应用就是为了实现该关系函数的逼近,应对多变的网络安全现状。人工神经网络是人工智能的一个研究领域,多年来已经发展得比较成熟。人工神经网络具有良好的自适应能力和泛化能力,人工神经网络的非线性处理能力和概括抽象能力非常适应处理入侵检测这类问题。本文首先介绍了神经网络与入侵检测现状,说明存在的一些问题,接

着系统的介绍了入侵检测的相关概念、主要方法、面临的主要问题等,并说明了检测系统的发展趋势最后介绍了人工神经网络与入侵检测的结合,并简要介绍了神经网络在入侵检测中的应用,限于篇幅,本文并没有系统的介绍神经网络的入侵检测系统模型,而只是介绍了传统模型存在的一些问题。但是,可以肯定的是,由于网络入侵手段的复杂和多变性,相应的检测技术也要做出相应的改变,关于神经网络与入侵检测的研究会一直进行下去。

参考文献

[1]蔡智澄.基于网络的信息安全技术概述[J].网络安全技术与应用,2006

[2]曹元大.入侵检测技术[M].人民邮电出版社,,2007.

[3] Robert J.Shimonski,Thomas Shinder.Intrusion Detection:Challenges and Myth s.http://m.sodocs.net/doc/8f632fd8192e45361166f53a.html.2002

[4]Debar H.,Dorizzi B..An Application of a Recurrent Network to an Intrusion Detection System.Proceedings of the International Joint Conference on Neural Networks,1992

[5]Teresa F.Lunt.IDES:An Intelligent System for Detecting Intruders.Proceedings of the Symposium:Computer Security,Threat and Countermeasures.Italy,1990

[6]R Andersion,A.khattak.The Use of Information Retrieval Techniques for Intrusion Detection.Proceeding of RAID'98,Louvain-la-Neuve,Belgium,1998

[7]V Dao,http://m.sodocs.net/doc/8f632fd8192e45361166f53a.htmlputer Network Intrusion Detection:A Comparison of Neural Networks Methods.Differential Equations and Dynamical Systems,(Special Issue on Neural Networks,Part-2),2002

[8]S.Aurobindo.An Introduction to Intrusion Detection.http://m.sodocs.net/doc/8f632fd8192e45361166f53a.html/homes/sundaram/papers/intrus.htm,1995

[9]M.Asaka,T Onabuta,T moue,S.Olcazawa,S.Goto.A New Intrusion Detection M ethod Based on Discriminant Analysis.IEEE TRANS.INF.&SYST,E84-D(5):570~ 577,2001

[10]金波.入侵检测智能方法研究.华东理工大学.博士学位论文,2000

[11]高永强,郭世泽等.网络安全技术与应用大典.人民邮电出版社,2003

[12]唐正军,李建华.入侵检测技术.清华大学出版社,2004

[13]韩东海,王超,李群.入侵检测系统及实例剖析.北京:清华大学出版社,2002.

[14]韩力群.人工神经网络理论、设计及应用—人工神经细胞、人工神经网络和人工神经系统.北京:化学工业出版社,2002.

[15]高隽.人工神经网络原理及仿真实例第2版.北京:机械工业出版社,2007,2.

[16]蒋建春,马恒太,任党恩,卿斯汉.网络安全入侵检测.研究综述软件学报,2000,11(11):1460-1466.

[17]Neri F..Comparing local search with respect to genetic evolution to detect intrusions I computer networks.IEEE Proceedings of the 2000 Congress on Evolutionary Computation,2000,1:238-243.

[18]苏璞睿,李德全,冯登国.基于基因规划的主机异常入侵检测模型.软件学报,2003,14(6):1120-1126.

[19]宋歌.神经网络在异常检测中的应用.计算机工程与应用,2002,38(18):146-149.

相关推荐
相关主题
热门推荐