入侵检测系统数据集评测研究

计算机科学２ｏｏ６Ｖｏ１．３３Ｎｏ．８　入侵检测系统数据集评测研究　）　史美林钱俊许超　（清华大学计算机科学与技术系　北京１０００８４）　摘要入侵检测技术已经成为信息安全保障体系的重要组成部分。但是到目前为止，还没有广泛认同的入侵检测　系统（ＩＤＳ）评测标准，用户和研究人员对ＩＤＳ和新的检测算法的有效性抱有疑问。解决这些问题的关键在于对ＩＤＳ　进行完善的评测。研究者对此提出了多种不同的ＩＤＳ评测方案，如ＭＩＴ　Ｌｉｎｃｏｌｎ　Ｌａｂ提出的数据集评测和Ｎｅｏｈａｐｓｉｓ　提出的ＯＳＥＣ（Ｏｐｅｎ　Ｓｅｃｕｒｉｔｙ　Ｅｖａｌｕａｔｉｏｎ　Ｃｒｉｔｅｒｉａ）等。通过对评测结果的分析，能发现现有技术的不足，从而为ＩＤＳ技　术今后的研究提供指导。本文对ＭＩＴ　ＬＬ提出的数据集评测方法进行了详细分析，阐述了数据集评测方法中的关键　问题，并在ＭＩＴ　ＬＬ研究的基础上，提出了相关改进方案，作为进一步的研究。　关键词入侵检测，数据集，ＩＤＳ评测，ＩＤＳ测试　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ　Ｄａｔａｓｅｔ　Ｅｖａｌｕａｔｉｏｎ　ＳＨＩ　Ｍｅｉ－Ｌｉｎ　ＱＩＡＮ　Ｊｕｎ　ＸＵ　Ｃｈａｏ　（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｔｓｉｎｇｈｕａ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉ｝ｉｎｇ　１０００８４）　Ａｂｓｔｒａｃｔ　Ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ　ｈａｓ　ｂｅｅｎ　ａｎ　ｉｎｄｉｓｐｅｎｓａｂｌｅ　ｐａｒｔ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ｓｅｃｕｒｉｔｙ　ｍｅｔｒｉｃｓ．ｂｕｔ　ｔｉｌｌ　ｎｏｗ　ｎｏ　ｓｔａｎｄａｒｄ　ｉｓ　ｗｉｄｅｌｙ　ａｃｃｅｐｔｅｄ　ｔｏ　ｅｖａｌｕａｔｅ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ａｎｄ　ａｃｃｕｒａｃｙ　ｏｆ　ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｓｙｓｔｅｍｓ（ＩＤＳ）．Ｔｈｕｓ，ｂｏｔｈ　ｔｈｅ　ｅｎｄ　ｕｓｅｒｓ　ａｎｄ　ｒｅｓｅａｒｃｈｅｒｓ　ｈａｖｅ　ｄｏｕｂｔ　ｏｎ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ＩＤＳ　ａｎｄ　ａｌｇｏｒｉｔｈｍｓ．Ｔｈｅ　ｋｅｙ　ｐｏｉｎｔ　ｏｆ　ｔｈｅ　ｓｏｌｕｔｉｏｎ　ｉＳ　ｔｏ　ｃｏｎｓｔｒｕｃｔ　ａ　ｐｒｅｃｉｓｅ　ａｎｄ　ｃｏｍｐｒｅｈｅｎｓｉｖｅ　ｍｅｔｈｏｄｏｌｏｇｙ　ｆｏｒ　ｍｌｓ　ｅｖａｌｕａｔｉｏｎ．Ｒｅｓｅａｒｃｈｅｒｓ　ｈａｖｅ　ｐｒｏｐｏｓｅｄ　ｓｅｖｅｒａｌ　ｍｌｓ　ｅｖａｌｕａ—　ｔｉｏｎ　ｍｅｔｈｏｄｓ，ｓｕｃｈ　ａｓ　ｄａｔａｓｅｔ　ｅｖａｌｕａｔｉｏｎ　ｐｒｏｐｏｓｅｄ　ｂｙ　ＭＩＴ　Ｌｉｎｃｏｌｎ　Ｌａｂ　ａｎｄ　Ｏｐｅｎ　Ｓｅｃｕｒｉｔｙ　Ｅｖａｌｕａｔｉｏｎ　Ｃｒｉｔｅｒｉａ　ｐｒｏｐｏｓｅｄ　ｂｙ　Ｎｅｏｈａｐｓｉｓ，ｅｔｃ．Ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｅｖａｌｕａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｒｅｓｅａｒｃｈｅｒｓ　ｍａｙ　ｌｏｏｋ　ｔｈｒｏｕｇｈ　ｔｈｅ　ｗｅａｋ　ｐｏｉｎｔ　ｏｆ　ｃｕｒｒｅｎｔ　ｉｎｔｒｕ—　ｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｉｅｓ　ａｎｄ　ｔｈｕｓ　ｉｍｐｒｏｖｅ　ｏｎ　ｔｈｅｍ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｗｅ　ｐｒｅｓｅｎｔ　ａ　ｄｅｔａｉｌ　ａｎａｌｙｓｉｓ　ｏｆ　ｄａｔａｓｅｔ　ｅｖａｌｕａｔｉｏｎ　ｍｅｔｈｏｄｏｌｏｇｙ　ｐｒｏｐｏｓｅｄ　ｂｙ　ＭＩＴ　Ｌｉｎｃｏｌｎ　Ｌａｂ　ａｎｄ　ｐｏｉｎｔ　ｏｕｔ　ｔｈｅ　ｋｅｙ　ｐｒｏｂｌｅｍｓ　ｏｆ　ｄａｔａｓｅｔ　ｅｖａｌｕａｔｉｏｎ　ｍｅｔｈｏｄｏｌｏｇｙ．Ｗｅ　ａｌｓｏ　ｐｒｏｐｏｓｅ　ａｎ　ｉｍｐｒｏｖｉｎｇ　ｒｅｓｅａｒｃｈ　ｐｌａｎ　ａｓ　ｏｕｒ　ｆｕｒｔｈｅｒｉｎｇ　ｗｏｒｋ　ｉｎ　ｏｒｄｅｒ　ｔｏ　ｕｐｄａｔｅ　ｔｈｅ　ｅｖａｌｕａｔｉｏｎ　ｄａｔａｓｅｔ．　Ｋｅｙｗｏｒｄｓ　Ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ，Ｄａｔａｓｅｔ，ＩＤＳ　ｅｖａｌｕａｔｉｏｎ，ＩＤＳ　ｔｅｓｔｉｎｇ　１概述　获得的检测效果，是一个很实际的问题。目前入侵检测领域　的研究存在一个恶性循环：找到一种算法，应用在入侵检测领　１．１入侵检测技术的困境　域，发现没有得到满意的检测效果；然后换另外一种算法，重　经过２Ｏ余年的发展，入侵检测系统（ＩＤＳ）在信息安全防　复上面的过程。这样做虽然能够验证很多算法在入侵检测领　御体系中越来越受到重视。与加密等传统安全技术相比，　域的可用性，但并不能带来认知和检测的根本性突破。出现　ＩＤＳ仍然很不完善，无论是理论模型还是实际应用的检测效　这种现象的部分原因在于没有有效的评测方法学。不能明确　果，都没有达到最初设计的期望。尽管业界不断宣扬ＩＤＳ技　ＩＤＳ技术需要改进的方向。到目前为止，还没有一个能被广　术的进展有多么神速，然而事实无疑是被夸大了。新的技术　泛接受作为标准的评测方法学，但是无论是研究者还是厂商　在进入实用之前总是很谨慎的，方法学也并没有如此快的步　都已经意识到了制定评测标准的重要性，而且相关的研究也　伐更新换代。很多成熟的技术仍然在使用而且将会继续使　一直在不断进行中。　用。多算法检测、基于状态的特征分析、后门流量异常、协议　１．２入侵检测系统评测的意义　解析、启发式检测方法，层出不穷的名词更多地是一种市场策　从科学研究的角度来看，任何一种理论都需要通过实践　略行为。然而由此带来的负面影响却很大，因为它往往会向　的检验；从软件工程的角度而言，软件系统和算法也必须通过　用户传达一种误导，这也是入侵检测遭到用户质疑的一方面　相应的测试。对于ＩＤＳ而言，这两个角度都具有实际意义。　原因。　任何一种ＩＤＳ都使用了一种或多种检测算法。无论是最简单　随着ＩＤＳ的普及和广泛使用，如何衡量和检验ＩＤＳ的检　的字符串匹配还是复杂的神经网络，这些算法本身都有其理　测效果是很现实的问题。对于ＩＤＳ有效性的怀疑不仅来自最　论背景，但是将这些算法应用于入侵检测是否有效则需要进　终的用户，同时来自研究人员自身。如今入侵检测领域的研　行验证。同时，每一个入侵检测系统同时也是一个软件系统，　究已经向多学科交叉方向发展，很多不同领域的方法都被借　一个软件系统必然有其设计目标，因此对这些设计目标进行　鉴并尝试性地应用于入侵检测。如何比较不同的检测算法所　测试也是必需的。　＊）国家８６３项目（编号：２ＯＯ１ＡＡ１４２Ｏ２Ｏ）。史美林教授，博导，主要研究方向为计算机支持的协同工作、网络安全、网格技术；钱俊博士研　究生；许超硕士研究生。　・１・　维普资讯 http://www.cqvip.com

入侵检测系统评测的基本目标，一方面能够证实ＩＤＳ的　有效性；另一个方面，评测也能反映ＩＤＳ的缺陷和不足，明确　学术界的研究工作主要包括加州大学Ｄａｖｉｓ分校计算机　安全实验室、ＩＢＭ　Ｚｕｒｉｃｈ　Ｒｅｓｅａｒｃｈ　Ｌａｂ和ＭＩＴ　Ｌｉｎｃｏｌｎ　Ｌａｂ　改进的方向，所以ＩＤＳ评测对于研究人员而言非常重要。　ＩＤＳ评测更深远的意义在于，能够为人侵、入侵检测甚至　于网络行为的模型建立提供支持。如果能够获得入侵行为、　用户行为和网络行为的数学模型，那么所有的问题都会迎刃　而解。但是无论是用户行为还是互联网本身都具有难以处理　的复杂性，因此为它们建立精确的数学模型十分困难¨１］。提　出一种ＩＤＳ评测方案，必须对入侵和入侵检测有深入的认识。　同时，在实现评测方案的过程中，也会涉及到网络行为模式、　用户行为模式的研究和模拟。因此，对于ＩＤＳ评测的研究会　为建立上述的几种模型提供经验和数据，从而帮助研究者逐　步地发现入侵和入侵检测的本质。　２相关工作　２．１测试技术分类　目前所使用的测试技术通常可以分为以下３类：有效性　测试、极限测试和综合测试。　有效性测试主要的测试目标是检验入侵检测系统是否达　到了设计目标。比如对于基于特征的入侵检测系统，它应该　能够准确无误地检测到其特征集所对应的所有攻击。在进行　有效性测试的过程中，需要区分真实的攻击和伪造的攻击。　有些工具专门针对基于特征的入侵检测系统来伪造攻击数据　包。在获取了基于特征的入侵检测系统的特征集之后，这类　工具可以根据这些特征自动生成伪造的攻击数据包。如果入　侵检测系统不能够识别这些伪造的攻击数据包，那就会造成　对入侵检测系统的拒绝服务攻击，使其消耗大量的运算资源，　出现丢包的现象，从而有可能漏过了真正的攻击数据包。　极限测试通常是利用发包机来模拟高带宽网络中的背景　流量，在流量中插入攻击，然后测试入侵检测系统的检测效　果；并逐渐提高流量的带宽，直到入侵检测系统出现丢包现象　或者流量达到了网络所能承受的极限。极限测试对于基于特　征的入侵检测系统非常重要，因为测试表明，基于特征的入侵　检测系统在模式匹配上会消耗大概６０　～７０　的运算资　源［２］。因此当网络带宽提高时，入侵检测系统是否能够保持　有效性，就需要通过测试来确定，这也是极限测试的目标所　在。进行极限测试一般需要使用专门的硬件设备，比如　Ｓｍａｒｔｂｉｔ或者ＩＸＩＡ等。　综合测试的目标是希望检验入侵检测系统在真实环境下　的检测效果。相对于前两种测试方法，综合测试要复杂得多。　首先，综合测试采用的测度（ｍｅｔｒｉｃ）比有效性测试和极限测　试采用的评价标准复杂得多。对于有效性测试而言，可以用　一个百分数来描述ＩＤＳ能够实际检测出的攻击数量和特征集　对应的攻击数量的比率；对于极限测试，可以给出一个最大的　无丢包工作带宽；而对于综合性测试而言，需要制定一套可以　综合衡量入侵检测系统的评估标准。综合测试的复杂性还反　映在测试方案的实现上，由于综合测试的目的是检验入侵检　测系统在真实网络环境中的检测效果，因此综合测试必须考　虑如何仿真一个“真实的”网络环境。　２．２研究工作分类　自从ＩＤＳ步入成熟的商业化运作之后，入侵检测研究也　逐渐分化成学术界和工业界两大阵营，围绕ＩＤＳ评测的研究　也分别来自学术界和工业界。　２．２．１学术界的研究工作　・２・　（以下简称ＭＩＴ　ＬＬ）的研究工作。　加州大学Ｄａｖｉｓ分校计算机安全实验室在１９９７年提出　了入侵检测系统软件测试平台¨３ｊ的研究工作。该研究工作的　目标是希望能够为ＩＤＳ测试提供一个通用的软件平台。在这　样的平台上，使用者可以设计自己的测试方案。更进一步，这　一平台甚至可以被扩展，用于其他软件系统的相关测试。该　研究工作的重点是对于真实用户行为的模拟，然而在文［３］发　表之后没有进一步的研究进展发布。　ＩＢＭ　Ｚｕｒｉｃｈ　Ｒｅｓｅａｒｃｈ　Ｌａｂ在１９９７年进行了入侵检测评　测的相关研究　。当时进行该研究的初衷是希望能够对比和　评价实验室开发的不同的异常检测算法的检测效果。该研究　首次提出了使用模拟背景流量进行测试的方法并做了初步的　尝试，研究人员认为模拟异构网络中真实的用户行为是一件　需要大量时间的工作，这一点在ＭＩＴ　Ｉ　Ｉ　的研究工作中得到　了验证。该研究也没有进一步的工作进展公布。　１９９８年ＭＩＴ　Ｉ　Ｌ集前人研究之大成，提出了入侵检测系　统数据集评测方法¨５］，不仅是ＩＤＳ综合测试的典范，也是目前　为止学术界最有影响力的入侵检测评测研究。详细分析将在　下一节展开。　２．、２．２工业界的研究工作　工业界的研究主要包括Ａｎｚｅｎ　Ｃｏｍｐｕｔｉｎｇ公司的ＮＩＤＳ－　ｂｅｎｃｈ、Ｎｅｏｈａｐｓｉｓ公司的开放安全评测标准（Ｏｐｅｎ　Ｓｅｃｕｒｉｔｙ　Ｅｖａｌｕａｔｉｏｎ　Ｃｒｉｔｅｒｉａ，ＯＳＥＣ）和ＮＳＳ的安全产品评测。　严格说，ＮＩＤＳｂｅｎｃｈＥ￣］只是一套用于测试网络入侵检测　系统（Ｎｅｔｗｏｒｋ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ，ＮＩＤＳ）性能的工具　集，由Ｔｃｐｒｅｐｌａｙ、Ｆｒａｇｒｏｕｔｅｒ和ＩＤＳＴｅｓｔ３部分组成。ＮＩＤＳ—　ｂｅｎｃｈ并不包含用于测试的数据，也不提供对评测方法和评　测过程的指导，它仅仅为研究者提供了一套可用于ＮＩＤＳ测　试的工具。这个项目最终没有完成，其中最核心的ＩＤＳＴｅｓｔ　并没有实现，之后也没有后续的研究公布。　Ｎｅｏｈａｐｓｉｓ是一个提供网络安全咨询服务的公司，它在　２００２年８月发起了以建立安全系统评测标准为目标的项　目——开放安全评测标准（Ｏｐｅｎ　ｅＳｃｕｒｉｔｙ　Ｅｖａｌｕａｔｉｏｎ　Ｃｒｉｔｅｒｉａ，　０ＳＥＣ）。该项目的观点是：安全产品评测的标准应该是公开　的，应该能接受他人批评而不断改进，这些批评可以来自厂商　也可以来自于最终用户，评测的细节应该随评测结果一起公　布。ＯＳＥＣ对所有的网络安全产品定义了一套核心的测试，　然后对于不同的系统会分别加入针对系统性能和安全性的测　试。虽然ＯＳＥＣ是Ｎｅｏｈａｐｓｉｓ的商标，但是它所对应的标准　是公开的［　。　ＮＳＳ是欧洲的一家专业的商业评测机构［８］，该组织的评　测工作开始于１９９１年。其评测的产品范围非常广泛，囊括了　ｌｉＤＳ、ＩＰＳ、防火墙、安全网关、ＰＫＩ等，基本上与网络安全相关　的产品都提供评测。ＮＳｓ对于ＩＤＳ的评测比较全面，甚至包　括ＩＤＳ的软件构架、检测引擎、安装和配置等各个方面都会进　行评估。然而，由于是商业评测，因此无论是参加评测，还是　希望得到评测报告和评测结果都需要付费，评测细节也不公　开。ＮＳｓ最近发布的一份评测报告中自称该机构的评测方　法和评测结果已经成为实际的标准。但是如果要成为普遍接　受的标准，必须符合开放和自由原则。　３入侵检测数据集评测研究　１９９８年，ＭＩＴ　ＬＬ集前人研究之大成，提出了入侵检测系　维普资讯 http://www.cqvip.com

维普资讯 http://www.cqvip.com

攻击，作为实验中使用的攻击。ＭＩＴ采用的攻击分类方　ＥＢ服务器会被映射为一个进程。同时，Ｗ对于应用层的服务　器程序，比如Ａｐａｃｈｅ等也要进行相应的修改。对于内网的　用户而言，这一切都是透明的。　法［１Ｏ，ｌｌ　并没有遵循一定的理论依据，只是根据专家的经验制　定了４大类攻击类型。表１给出了攻击总表，黑体字的攻击　表示只在评测数据集中出现，没有在训练数据集中出现。　表１　ＭＩＴ’１９９８数据集攻击总表　Ｓｏｌａｒｉｓ　ＳｕｎＯＳ　Ｌｉｎｕｘ　Ｃｉｓｃｏ　Ｒｏｕｔｅｒ　ａｌｍｅｈｅ２　ａｌｍｃｈｅ２　ａｌｍｅｈｅ２　ｂａｃｋ　ｂａｃｋ　ｂａｃｋ　ｍａｉｌｂｏｍｂ　ｌａｎｄ　ｍａｉｌｂｏｍｂ　ｎｅｐｔｕｎｅ　ｍａｉｌｂｏｍｂ　ｎｅｐｔｕｎｅ　ＤｅｎｉａｌＯｆ　ｐｉｎｇ　ｏｆ　ｎｅｐｔｕｎｅ　ｐｉｇｎ　ｏｆ　ｄｅａｔｈ　ｐｉｎｇ　ｏｆ　ｄｅａｔｈ　Ｓｅｒｖｉｃｅ　ｐｒｏｃｅｓｓ　ｔａ。　ｄｅａｔｈ　ｐｒｏｃｅｓｓ　ｔａ。　ｈｉｅ　ｐｒｏｃｅｓｓ　ｔａ。　ｈｉｅ　ｓｍｕｒｆ　ｈｉｅ　ｓｍｕｒｆ　ｓｙｓｌｏｇｄ　Ｓｔｕｄｒｆ　ｔｅａｒｄｒｏｐ　ｕｄｐ－ｓｔｏｒｍ　ｕｐｄ－ｓｔｏｒｍ　ｕｄｐ－ｓｔｏｒｍ　ｄｉｃｔｉｏｎａｒｙ　ｄｉｃｔｉｏｎａｒｙ　ｆｔｐ－ｗｒｉｔｅ　ｄｉｃｔｉｏｎａｒｙ　ｆｔｐ－ｗｒｉｔｅ　ｇｕｅｓｔ　ｆｔｐ－ｗｒｉｔｅ　Ｒｇｕｅｓｔ　ｔｍａｐ　ｅｍｏｔｅ　ｔｏ　ｇｕｅｓｔ　ｈｔｔｐ－ｔｕｎｎｅｌ　ｎａｍｅｄ　Ｓｎｍｐ－ｇｅｔ　Ｌｏｃａｌ　ｐｈｆ　ｐｈｆ　ｐｈｆ　ｘｌｏｃｋ　ｘｌｏｅ．ｋ　ｓｅｎｄｍａｉｌ　ｘｓｎｏｏｐ　ｘｓｎ∞ｐ　ｘｌｏｃｋ　Ⅺｍ∞ｐ　ａｔ　Ｕｓｅｒｔｏ　ｅｊｅｃｔ　Ｐｅｒｌ　ｆｆｂｃｏｎｆｉｇ　ｌｏａｄｍｏｄｕｌｅ　ＲＯＯｔ　ｘｔｅｒｍ　ｆｄｆｏｒｍａｔ　ｐｓ　ｌｐ　ｓｗｅｅｐ　ｌｐ　ｓｗｅｅｐ　ｌｐ　ｓｗｅｅｐ　ｌｐ　ｓｗｅｅｐ　ｎ　℃帅　ｎ　Ｃ帅　ｎ　Ｃ帅　ｎＢＣ帅　Ｓｕｒｖｅｉｌｌａｎｃｅ／　Ｐｒｏｂｉｎｇ　ｎｍａｐ　ｎｍａｐ　ｎｍａｐ　ｎｍａｐ　ｓａｉｍ　ｓａｉｎｔ　ｓａｉｎｔ　ｓａｉｔｎ　ｓａｔａｎ　ｓａｔａｎ　Ｓａｔａｎ　ｓａｔａｎ　３．１．４网络环境　上面谈到的所有设计方案的实体化就是ＭＩＴ　ＬＬ用于生　成入侵检测评测数据集的实验网络。如图２所示　］，这个实　验网络的原型是一个美国空军专用网络，模拟网络的各种特　征数据，都是通过对原型网络统计分析得到的。从图中我们　可以看出实验网络的拓扑结构以及配置和布署。整个实验网　络分为内网和外网两个部分，内网主要是受害主机，而外网主　要是攻击主机和提供应用层服务的模拟服务器。　整个实验网络和外界隔离，因此外网的模拟服务器需要　模拟整个互联网络能够提供的资源和服务，比如电子邮件和　ＷＥＢ服务。ＭＩＴ　ＬＬ使用一台机器来模拟所有提供ｗＷｗ　服务的ＷＥＢ服务器，所有在统计工作中被保存下来的网页　都存储在模拟的ＷＥＢ服务器上。这台模拟的ＷＥＢ服务器　相当于成百上千台互联网络中的ｗＥＢ服务器，所有访问外　部网络中ｗｗｗ网页的请求都会被定位到这台模拟的ＷＥＢ　服务器上。ＭＩＴ　ＬＬ使用了特殊的技术来实现这一设计，修　改了Ｌｉｎｕｘ的内核，使得一台机器可以同时有成百上千个　ＩＰ，每一个ＩＰ对应于一台虚拟的ＷＥＢ服务器，每一台虚拟的　・４・　ＩＮＳＩＤＥ　０ＵｒＳＩＤＥ　（Ｅｙｒｉｅ　ＡＦ　Ｂａｓｅ）　（Ｉｎｔｅｒｎｅｔ）　ｎ　Ｉ羔’　送罗　ｍｄｉｔＤａｔａ　　匿　曩ｌ■一醚Ｆ　　严ＯＳｕｎ　ｔｉｆｓｉｄｅｒ　Ｆｉｌｅ　Ｓｙｓｔｅｍ　Ｄｌ￣Ｉｐｓ，　Ｓｎｉｆｆｅｒ　ａＤｔａ）　图２　ＭＩＴ’１９９８网络环境示意图　内网受害主机的软件配置需要和攻击选择同时考虑。这　样做的原因是因为每种攻击通常都只针对某一特定版本的操　作系统和应用程序。从图２可以看出，在１９９８年的实验中，　服务器所使用的操作系统还主要是ＵＮＩＸ或者Ｌｉｎｕｘ，因此　所有受害主机使用的操作系统都是ＵＮＩＸ和Ｌｉｎｕｘ。　３．１．５评分系统　评分系统是评测方法的具体实现，分为两个方面：一方面　是如何标定真实的攻击，另一方面是如何根据这些真实攻击　的信息来评判被测试的入侵检测系统的测试效果。　这两个方面问题的一个交叉点就是如何选择分析粒度。　这里的分析粒度是指用来对标记攻击并且对入侵检测系统进　行评测的基本操作单元。以基于网络的入侵检测系统为例，　从网络协议模型的角度来看，任何一层的代表性分析单位都　可以选作分析粒度，比如ＩＰ数据包、ＴＣＰ会话、应用层的用　户行为。每一种粒度都有其特有的抽象程度和数据细节。　ＭＩＴ　ＬＬ选择ＴＣＰ会话作为分析的粒度，给出的最终评分标　准是一张会话列表。每一个会话都会标明是否含有攻击，如　果含有攻击，还会给出攻击的相关信息，如攻击名称，参加评　测的入侵检测系统的最终检测结果也被要求以同样的形式给　出。表２列出了从某天的训练数据集中抽取出来一些网络连　接和攻击标注。　检测率和误报率是描述入侵检测系统性能的两个关键指　标。ＭＩＴ　ＬＬ首次提出使用ＲＯＣ（Ｒｅｃｅｉｖｅｒ　Ｏｐｅｒａｔｉｎｇ　Ｃｈａｒａｃ—　ｔｅｒｉｓｔｉｃ）曲线来描述误报率和检测率之间的关系。ＲＯＣ最初　是用于信号检测领域的一种分析方法口　，如今也广泛地用　于语音识别口　］和医疗风险预测ｌ】　。如图３所示，Ｘ轴表示误　报率，Ｙ轴表示检测率，ＲＯＣ曲线能在同一个二维坐标系中　表示出检测率和误报率之间相互影响的关系。入侵检测系统　可能的工作状态可以是ＲＯＣ曲线上的任何一点。我们也可　以以此来调整入侵检测系统的工作状态，使其处于我们所希　望的最佳工作状态。在实际的使用中，由于误报率并不是一　个具有直观意义的参数，所以Ｘ轴的坐标通常会被换成更直　观的每天的误报数。如果数值变化范围比较大，Ｘ轴也可以　相应地采用对数坐标。图３中系统１为异常检测系统，系统　２为基于特征的检测系统。　维普资讯 http://www.cqvip.com

表２训练数据集中的部分网络连接和攻击标注　ＳｔａｒｔＤａｔｅ　Ｓｔａｒｔ　ｇ口８岙Ｑ　Ｓｒｅ　Ｄｅｓｔ　Ｓｒｅ　Ｄｅｓｔ　Ａｔｔａｃｋ　＃　Ｔｉｍｅ　Ｄｕｒａｔｉｏｎ　Ｓｅｒｖｉｃｅ　Ｐｏｒｔ　Ｐｏｒｔ　ＩＰＡｄｄｒｃ￥￥　ＩＰＡｄｄｒｅｓｓ　Ｓｃｏｒｅ／Ｎａｍｅ　ｌ　０ｒ７，０３，ｌ９９８　０８：Ｏ０：０１　００：Ｏ０：０１　ｅｃｏ／ｉ　１９２．１６８．１．５　ｌ９２．１６８．１．１　０．　４　０７，０３，ｌ９９８　０８：００：０２　００：Ｏ０：０１　ｄｏｍａｉｎ／ｕ　５３　５３　１７２．１６．１ｌ２．２０　１９２．１６８．１．１Ｏ　Ｏ．　８　０７，０３，ｌ９９８　０８：０１：ｏ３　００：Ｏ０：０１　ｓｌｎｔｐ　１０２６　２５　１７２．１６．１１３．８４　１９４．７．２４８．１５３　０．　９　０７／０３／１９９８　０８：０１：Ｏ６　００：００：０２　ｓｌｎｔｐ　１０２７　２５　１７２．１６．１　１３．８４　１３５．１３．２１６．１９１　０．　４２　０７，０３，ｌ９９８　０８：０１：５０　００：Ｏ０：２９　ｆｒｏ　ｌｌ０６　２１　１７２．１６．１　１２．４９　９７．２１８．１７７．６９　０．　４３　０７／０３／１９９８　０８：０１：５ｌ　００：Ｏ０：０１　ｈｔｔｐ　ｌ１０７　８０　１７２．１６．１ｌ６．４４　ｌ６７．８．２９．１５　０．　４４　０７／０３／１９９８　０８：０１：５ｌ　００：Ｏ０：０１　ｈｔｔｐ　ｌｌｏ４　８０　．　１７２．１６．１１６．４４　１６７．８．２９．１５　０．　５３　明｜　／１９９８　０８：０１：５２　００：Ｏ０：０１　ｈｔｔｐ　１２９７　８０　１７２．１６．１１６．４４　１６７．８．２９．１５　０．　７３　ｏ７，ｏ３，ｌ９９８　０８：０１：５２　００：００：０２　ｆｔｐ－ｄａｔａ　２０　ｌ６８５　１９７．２１８．１７７．６９　１７２．１６．１１２．１４９　０．　７６　０７／０３／１９９８　０８：０１：５３　００：Ｏ０：０１　ｓｎｍｐ／ｕ　ｌ６ｌ　ｌ５２３　１９２．１６８．１．１　１９４．２７．２５１．２ｌ　０．　８３８３　０７／０３／１９９８　ｌｌ：ｌ２：ｌ６　００：００：２６　ｔｅｌｎｅｔ　２０５ｏ４　２３　１９７．２１８．１７７．６９　１７２．１６．１ｌ３．５０　ｌＬｏａｄｍｏｄｕｌｅ　９９６６　０７／０３／１９９８　ｌｌ：４６：３９　００：Ｏ０：０１　ｔＣｐｍｕｘ　ｌ２３４　ｌ　２０５．１６ｏ．２０８．１９ｏ　１７２．１６．１ｌ３．５０　１　Ｐｏｒｔｓｗｅｅｌ￣　ｌ０　ｌ６　０７／０３／１９９８　ｌｌ：４９：３９　００：Ｏ０：０１　２　１２３４　２　２０５．１６ｏ．２０８．１９ｏ　１７２．１６．１１３．５０　１　Ｐｏｒｔｓｗｅｅｐ　改进部分的工作。　３．２．１数据集构成　首先，１９９９年的数据集中，用于训练的数据集增加了完　全不含有攻击流量的训练数据。增加这一部分训练数据集是　为了满足一些基于异常的入侵检测系统的训练需要。基于异　常的入侵检测系统需要使用不包含攻击流量的数据集进行训　练，建立正常行为模型，确定检测参数，然后再进行实际的检　测。　其次，在１９９９年的数据集中，增加了对内网网络流量的　记录文件以及Ｗｉｎｄｏｗｓ　ＮＴ的主机Ｅｌ志。来自于内部网络　％ＦａｌｓｅＡｌａｒｍ　的攻击可能具有更大的破坏力和隐蔽性，而这一类攻击在以　图３　ＲＯＣ曲线图　往的测试中往往被忽视。ＭＩＴ　ＬＬ在１９９９年的实验中加入　了源自内部网络的攻击实例，对于基于网络的ＩＤＳ，需要内部　３．２￣ⅡＴ’１９９９　网络流量的记录文件来检测这些攻击。在１９９９年，Ｗｉｎｄｏｗｓ　１９９８年的评测取得了比较好的效果，同时得到很多研究　ＮＴ作为服务器操作系统已经被广泛地使用，针对它的攻击　者的认同。ＭＩＴ　ＬＬ在１９９８年工作的基础之上，同时参考了　也越来越多。考虑到参加评测的可能有使用Ｗｉｎｄｏｗｓ～一一嚣　　　ＮＴ　参评者的反馈意见，发布了１９９９年的评测数据集。１９９９年　主机Ｅｌ志的ＩＤＳ，因此Ｗｉｎｄｏｗｓ　ＮＴ的主机Ｅｌ志也成为了　的工作和１９９８年的工作十分相似，但也有一些比较明显的改　１９９９年数据集的一部分。　进。鉴于上面已经详细介绍了１９９８年的工作，下面就只介绍　ＩＮＳＩＤＥ　ＯＵＴＳＩＤＥ　ＧＥＮＥＲＡＴＯＲ　ＧＥＮＥＲＡＴＯＲ　（Ｉｔｏｂｂｅｓ）　（Ｃａｌｖｉ１３）　田匝亟叵匦圃　田匝耍叵匦圃　ＣＩＳＣＯ　ＲＯＵＴＥＲ　！＝二Ｊ　ｌ　：：：］：ｌ　Ｉ曼Ｉ　｛　ＩＩ　Ｉ曼ｌ　■　ＮＴ　Ｌｉ１３１１　ＳｕｎＯＳ　Ｓｏｌａｒｉ　ｓ　Ｔ　ＡＩＪＩ）ＩＴ、／ＰＩＬＥ　ＳＹＳＴＥＭ　ＳＭ＾ＵＤＩＴ　ＩＮＳＩＤＥ　ＯＵＴＳＩＤＥ　ＤＡＴＡ　／　ＤＵＭＰ　ｔ　ＳＣ＾Ｎ　ＤＡＴＡ　ＳＮＩＰＰＥＲ　ＳＮＩＰＰＥＲ　Ｄ＾Ｔ＾　Ｄ＾Ｔ＾　图４　ＭＩＴ’１９９９网络环境示意图　３．２．２攻击流量　入侵检测系统对于隐蔽性强的或者新的攻击的检测效果都很　与１９９８年相比，１９９９年的攻击无论是种类还是数量都　差，因此在１９９９年的攻击流量中，ＭＩＴ　ＬＬ增加了这类攻击　有所增加，攻击流量部分的改进有两个方面。　所占的比例。与１９９８年有所不同的是并非所有隐蔽性强或　首先，由于Ｗｉｎｄｏｗｓ　ＮＴ作为服务器操作系统的加入，　者是新的攻击都曾经在训练数据集中出现，其中一部分攻击　ＭＩＴ　ＬＬ在这一年的攻击中加入了针对Ｗｉｎｄｏｗｓ　ＮＴ平台的　只在评测数据集中出现，这样可以更深入地测试入侵检测系　攻击。其次，根据１９９８年的评测结果，绝大部分参加评测的　统对于未知攻击的检测能力。　・　５　・　维普资讯 http://www.cqvip.com

３．２．３　实验网络　原因，从而促进入侵检测技术的发展。　３．４　ＭＩＴ’２０００以后的工作　整个实验网络的基本构架和１９９８年相比保持不变，但是　在内网要增加Ｗｉｎｄｏｗｓ　ＮＴ平台的受害主机和一台用于记　录内网流量的主机，如图４所示［”］。　３．２．４评分系统　２０００年以后，ＭＩＴ　ＬＬ的研究工作从公开转为政府内部　专用，就没有再发布评测数据集，也没有足够的论文和技术报　告来描述他们的工作，只能从其他的文献中［１８，１９］看到一些工　作扩展计划，但是都没有进行详细的描述。２０００年以后，　ＭＩＴ　ＬＬ的工作重点是ＬＡＲＩＡＴ（Ｌｉｎｃｏｌｎ　Ａｄａｐｔａｂｌｅ　Ｒｅａｌ—　ｔｉｍｅ　Ｉｎｔｒｕｓｉｏｎ　Ａｓｓｕｒａｎｃｅ　Ｔｅｓｔｂｅｄ）。ＬＡＲＩＡＴ是用于入侵检　测评测的专用评测网络，并不对外界公开。ＬＡＲＩＡＴ的前身　１９９９年的评分系统中一个比较大的改变是分析粒度的　变化。１９９８年采用的分析粒度是ＴＣＰ会话，但是采用ＴＣＰ　会话作为分析粒度计算出来的检测率和误报率会不够精确。　比如，某一次攻击行为可能分布在多个ＴＣＰ会话中。系统Ａ　针对这些会话中的两个发出了警报，但是并没有准确地描述　出攻击的全貌；而系统Ｂ的警报综合程度比较高，仅仅发出　了一次警报，但是准确地给出了复杂攻击的相应信息。那么　依照１９９８年的评分系统，系统Ａ会得到比系统Ｂ更好的评　测结果，但这与实际情况不符。因此，在１９９９年的评测中，参　加评测的ＩＤＳ可以在检测结果中给出相应的附加信息，比如　攻击名称和其他一些细节，这些可以作为额外加分的参考依　据。　另一方面，有些参加评测的入侵检测系统给出的警报是　针对抽象层次比较高的事件，也有一些具有多检测单元的系　统对于抽象层次比较低的警报还要进行协同和综合分析，生　成更高态势的警报。对于上述两类入侵检测系统而言，如果　采用ＴＣＰ会话作为分析的基本粒度，并在此基础上给出检测　结果，会导致实际操作的困难。因此在ＭＩＴ’９９中改为使用　更高抽象层次的事件作为分析的基本粒度。每一次攻击都作　为一个单独的事件进行标定，给出相关的信息，比如攻击源、　攻击目标、发起时间、结束时间等等。采用这样的分析粒度会　有助于提高分析的精度，特别对于多阶段攻击或者是比较复　杂的协同式攻击，采用ＴＣＰ会话作为分析粒度可能无法给出　攻击的全貌。　３．３　ＭＩＴ’２０００　ＭＩＴ’２０００的工作无论是设计方案还是最终实现的数据　集都与１９９８年和１９９９年的工作有很大的不同。２０００年的　评测没有使用多种攻击进行测试，而是挑选了特定的一类攻　击ＤＤｏＳ作为测试对象。相应地，测试数据集的规模也变得　较小，仅有两个数据集，每个大概记录了４小时左右的网络流　量。这种变化反映了ＭＩＴ　ＬＬ评测思想的变化。１９９８年和　１９９９年的评测中有很多种类的攻击实例，可以认为是一种广　度测试；２０００年所采用的这种方案，可以认为是一种深度测　试。广度测试可以测试出入侵检测系统对攻击检测的覆盖　度，也就是能够准确检测出多少种攻击；而深度测试则可以集　中地测试入侵检测系统对于某一种攻击的检测效果，对检测　算法和检测机制可以进行深入的分析。如果要设计综合全面　的入侵检测系统的测试，那么这两种测试都是必不可少的。　由于是针对某一种特定攻击的测试，因此对于攻击场景　的设计就有更高的要求。每一个数据集中都包含了一个典型　的、完整的ＤＤｏＳ攻击，包括试探、侵入、安装攻击程序、发动　ＤＤ０Ｓ等多个步骤。这样的攻击场景设计，要求被测试的入　侵检测系统能够通过检测、分析和综合等步骤，最终识别出攻　击者的实际意图——发动ＤＤｂＳ攻击。　ＭＩＴ　ＬＬ在２０００年的工作并没有详细的相关文档和论　文进行介绍，所以很多的细节问题都没有答案。但是沿着　１９９８—１９９９—２ＯＯＯ年的研究轨迹来分析，２０００年数据集的这　种变化并非是完全没有征兆的。这种演变的理由就是希望能　够研究入侵检测系统的工作原理，找出检测失败的更本质的　・　６　・　就是进行１９９８年和１９９９年实验的ｔｅｓｔｂｅｄ。ＭＩＴ　ＬＬ对其进　行了扩展，增加了用于配置实验网络的ＧＵＩ和相关软件，使　得实时的ＩＤＳ评测可以很迅速地完成配置和准备工作。　３．５小结　评测对于技术发展和研究导向有着积极的推动作用，例　如由ＤＡＲＰＡ支持的每年一度的语音识别领域的评测［　就　是促使技术快速发展的一个范例。使用系统的方法学对入侵　检测系统进行综合的评测是入侵检测技术发展的趋势。数据　集评测作为开放的研究是一个很好的解决方案，其开放共享　的原则对于研究者很有益处，既避免大家斥巨资去做试验，又　可以实现综合全面的测试。其次，数据集不仅仅只用于入侵　检测评测，在入侵检测研究领域还有其他方面的很多应用，如　专门用于入侵检测数据挖掘的数据集ＫＤＤ’１９９９（Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ　ｉｎ　Ｄａｔａｂａｓｅｓ）。ＫＤＤ’１９９９数据集来源于１９９８年　的ＭＩＴ　ＬＬ数据集，只是针对数据挖掘的需要进行了专门的　格式化处理［２　。因此，数据集研究对于入侵检测技术的发展　来说具有很积极的意义。　ＭＩＴ的数据集评测研究工作获得了广泛的认可，很多研　究者都采用ＭＩＴ　ＬＬ的数据集作为实验测试数据［２　。但　是另一方面，ＭＩＴ　ＬＬ的数据集也并非完美，最突出的问题是　数据集内容已经较为陈旧。一方面，ＭＩＴ　ＬＬ数据集的网络　应用环境带宽是ＩＯＭ以太网，鉴于目前的网络发展和实际应　用情况，１００Ｍ以太网环境的数据集才能符合目前的应用需　要。另一方面，数据集中的攻击大部分现在看来都很陈旧了，　无法适应现阶段的应用环境。同时，ＭＩＴ　ＬＬ在数据集研究　中使用的一些方法和模型，在设计和具体实现时仍然有值得　改进的地方。下一节将提出数据集评测研究中的关键问题并　分析ＭＩＴ　ＬＬ研究中的不足，从而使评测数据集更加合理、更　加完善。　４数据集评测中的关键问题与改进　数据集生成包括以下几个关键环节：背景流量的生成和　验证、攻击方案设计和评分系统。每一个环节在具体实施的　时候较为复杂，因此在这节只作概要叙述，更细节的内容将在　另外的论文中述及。　４．１　背景流量生成方案　其他研究领域的学者也在研究网络流量的生成问　题［２８，２９］。但是由于研究的目标不同，所关注的重点也不同。　这些研究主要关注协议行为，比如数据包的到达时间、连接请　求的响应延迟等。入侵检测评测的流量生成则更关注用户行　为或者是应用程序的行为对于网络的影响。因此，用户的网　络行为模拟是背景流量生成中重要的一环，需要提取相关的　网络和用户行为特征建立模型，同时提供可行的验证方法。　ＭＩＴ　ＬＬ的背景流量生成主要是依据专家经验和统计模型，　即研究者根据经验，抽象出对入侵检测系统的运行有影响的　维普资讯 http://www.cqvip.com

网络参数，比如流量的时间分布、协议分布以及简单的用户行　出了ＭＩＴ’９９数据集ＷＥＢ流量分析、我们的数据集ＷＥＢ流　为特征等，然后对样本网络进行采样统计，得到参数的统计模　量分析和实际网络ＷＥＢ流量分析的对比。从图５（ａ）中可以　型，再依据模型生成背景流量。ＭＩＴ　ＬＬ所采用的用户行为　看到曲线频域很窄，主要集中在１Ｏ至１００之间。这是由于　模型非常简单而且固定，所以模拟时缺乏灵活性，而灵活的配　ＭＩＴ　ＬＬ在建模时采用了随机模型，因此整个曲线表现出比　置是新一代数据集应该具备的特点和功能。以ＷＥＢ流量模　较明显的统计特征。在ｚ小于１Ｏ时，图５（ａ）中的曲线特征　拟为例，ＭＩＴ　ＬＬ所采用的ＷＥＢ流量模拟方法存在的不足表　消失，并且在１Ｏ＜ｚ＜１００区间内低频至高频的过渡也不明　现在：　显。对比而言，图５（ｂ）中的曲线频域很宽，低频特征很明显，　（１）用户数据采集。在网络层进行数据采集，仅仅获得所　低频至高频的过渡也非常清晰。　有用户访问的ＵＲＬ地址集合，没有对不同用户的行为特征　另外，ＭＩＴ也没有对模拟结果进行验证和评估，这也成　进行区分。　为有些研究者质疑的地方。图５（ｃ）是我们样本网络真实　（２）流量模拟。在流量模拟过程中，所有用户共享同一个　ＷＥＢ流量的特征分析。对比图５（ｂ）和（ｃ）可以看出，模拟流　资源列表，并且完全随机地抽取访问地址，每个用户的会话长　量保留了实际网络的特征，低频特征和实际流量吻合得非常　度也在１～１５之间随机抽取。　好，高频部分与实际流量吻合效果稍差。一方面，这种偏差是　这些与真实的网络环境和用户行为是不符合的。对于基　由模拟算法本身决定的；另一方面，高频部分的偏差对实验的　于网络特征和用户行为学习的异常检测系统，会造成误报信　影响是可以接受的。因为实验结果表明，基于特征学习的　息，从而导致评测精结果的偏差。针对ＭＩＴ　ＬＬ数据集背景　的误报率对低频特征的偏差非常敏感，对高频特征的偏　流量的设计和模拟方法的缺陷，我们也提出了一种基于用户　差不敏感，误报率基本都是由短会话引起的，即对应曲线的低　轮廓的流量模拟方法，采用该方法生成的数据集可以更真实　频部分。　地模拟用户行为和背景流量，并具有良好的扩展性。图５给　每连接包数量　每连接包数量　（ａ）　（ｂ）　（ｃ）　图５（ａ）ＭＩＴ’９９数据集ＷＥＢ流量分析。（ｂ）我们的数据集ＷＥＢ流量分析，（ｃ）实际网络的ＷＥＢ流量分析　４．２攻击方案设计．　中的异常。然而，攻击场景要实现的是真正的攻击过程，具有　攻击方案的设计包括攻击样本库和攻击场景设计。为建　完整的攻击流程，同样也应该经过精心的策划和准备，这就要　立符合入侵检测评测需要的攻击样本库，首先需要建立攻击　求设计者必须从攻击者的角度来考虑问题。不同的网络环境　样本库所依据的分类标准。目前尚没有被广泛采用的分类标　对于不同的攻击关注度也是不一样的。比如商业站点对于扫　准，因为随着新的攻击方式不断地出现，攻击的分类方法会不　描不是非常关心，但是希望检测和避免大规模的ＤＤｏＳ；而政　断地演化，甚至当某些新的攻击方式出现后，整个攻击分类方　府或信息敏感部门却对攻击的前兆，如扫描等有着较高的警　法都会面临挑战。目前信息安全组织ＳＡＮＳ公布的分类标　惕性。因此，攻击设计和网络环境有很大关系，ＭＩＴ的数据　准［　和很多入侵检测系统采用的ＣＶＥＥ３１］或Ｂｕｇｔｒａｑ［　］分类　集设计中并没有考虑到这部分因素。　标准都是以软件的漏洞作为分类的目标，并不完全符合入侵　另外一个值得注意的问题是，随着攻击技术的发展，新的　检测对于攻击分类的要求，因为一个良好的分类方法必须同　攻击方式不断产生，特别是有一些极端的攻击。在实验中我　时考虑攻击者和检测者。ＭＩＴ　ＬＬ采用了自行定义的分类标　们发现，有些极端攻击会导致主机失去响应，而背景流量仍然　准，以攻击者的角度进行分类。我们认为可以采用一个二维　在产生，这是一个技术上必须解决的问题。比如分布式拒绝　的攻击分类标准，从攻击者的角度和检测者的角度同时考虑　服务攻击，冲击波病毒等攻击就是很典型的一类攻击，占用带　攻击分类，这样ＣＶＥ中的每一项都可以映射到二维分类矩阵　宽很大，造成数据集也非常大。因此我们认为，对于一些特殊　的每一个矩阵单元中。　类别的攻击应当分开测试，单独生成不同的数据集进行测试，　在具体实施上，ＭＩＴ’９８和ＭＩＴ’９９数据集涵盖了很多　这在ＭＩＴ’２０００里面已经有所体现。　类型的攻击，这些攻击中的大部分现在看来都很陈旧了，无法　４．３评分系统　适应现阶段的应用环境。攻击样本库缺乏更新和升级也是　近年来，信息深度关联分析在工业界被认为有较强的实　ＭＩＴ　ＬＬ数据集最大的问题所在。　用性，它可以大大减少无关警报信息并提高入侵检测精度。　攻击场景设计和背景流量设计不同，攻击场景没有可以　很多入侵检测系统能结合网络及检测的上下文环境，给出抽　依据的理论模型，所以设计什么样的攻击场景很大程度上取　象层次比较高的事件警报。分布式和协作式ＩＤＳ也为广度上　决于专家经验。一个值得注意的问题是，作为入侵检测系统　的关联分析提供了数据支持。它们通常具有多个检测单元，　的研究者，通常看待攻击的角度都是从检测的角度来看的。　这些检测单元给出抽象层次比较低的警报，需要进行协同分　反映到实际的数据上，就是数据包中的特征或者是主机日志　析和综合，从而生成更高层次的警报。随着越来越多的ＩＤＳ　・　７’　维普资讯 http://www.cqvip.com

都支持各种聚合和关联分析，这项功能会越来越普遍。因此，　４　Ｄｅｂａｒ　Ｈ，Ｄａｃｉｅｒ　Ｍ，Ｗｅｓｐｉ　Ａ，ａｔ　ａ１．Ａｎ　Ｅｘｐｅｒｉｍｅｎｔａｔｉｏｎ　Ｗｏｒｋ—　在进行入侵检测评测时，应考虑到对关联分析的支持。有些　实施关联分析的入侵检测系统的输入不是原始的数据流，而　是其他设备的警报。因此，如果评测数据集对这些系统支持　的话，需要直接产生真实警报或日志，文件作为输入。ＭＩＴ’　９９数据集曾经给出了基于不同操作系统平台的Ｅｌ志供参评　系统使用，虽然当时很少有系统利用这些信息，但这无疑是支　持关联分析的一个初步尝试。ＭＩＴ’９９数据集的不足在于没　有为关联分析日志提供统一的描述格式和管理接口，我们认　为采用ＸＭＬ可以有效解决这个问题。为了获得更客观公正　的评价结果，更好地支持关联分析将是数据集必需具备的一　个功能。　如何进行标记攻击是评测数据集的一个关键问题，因为　攻击标记不仅直接影响评测精确性，同时是评测数据集有别　于其它数据集的一个显著差别。如Ｈｏｎｅｙｐｏｔ＿３　３Ｊ和ＤＥＦＣＯＮ　组织的黑客竞赛＿３　］记录的数据集，这些数据集具有很好的研　究价值，可以用于黑客行为和攻击模式研究，但是不能作为评　测数据集使用，因为它没有经过攻击标记。虽然ＭＩＴ的数据　集较好地解决了这个问题，但是由于有些新的攻击在行为和　方式上比以前的攻击复杂得多，甚至在实验中我们发现，即使　相同的攻击导致的场景还存在不可预测的现象，这些都给攻　击标记带来了很大难度和新的挑战。因此，更好的攻击标记　和场景取证是维护评测数据集精确性的重要保证。　结论与进一步的工作　与简单的测试不同，ＩＤＳ评测应　该遵循一定的标准，并逐步形成科学的方法学。ＩＤＳ最终需　要部署在真实的网络环境中进行实际使用，因此评测的实验　环境应该尽可能模拟真实的工作环境。如果评测包含的内容　仅仅是一些现实情况中根本不可能出现的古怪情形，那就会　失去评测的意义。　目前ＩＤＳ评测研究可以分为学术界和工业界两大派。学　术界的ＩＤＳ评测研究主要针对原型系统的有效性测试，注重　算法和系统性能的评测，研究遵行开放原则。工业界的ＩＤＳ　评测面向商业ＩＤＳ产品，除了有效性之外，还注重易用性、维　护性等非技术指标的评测。我们应提倡安全产品的评测标准　遵循开放原则。除了学术界之外，Ｎｅｏｈａｐｓｉｓ公司也提出了安　全产品评测标准的公开化，并提出相应的开放安全评测标准。　就商业模式而言，公司可以从出售服务和技术支持来获得利　润，而不应该以标准本身和垄断标准为盈利手段，这将不利于　技术的发展。　到目前为止，国内尚没有全面而细致剖析ＭＩＴ　ＬＬ数据　集研究的论文。本文简要介绍了ＩＤＳ评测研究，并重点分析　了ＭＩＴ　ＬＬ的数据集评测研究工作，希望能为国内的相关研　究提供一些有价值的参考信息。数据集评测研究对于人侵检　测技术发展来说具有很积极的意义。ＭＩＴ的工作获得了研　究者们的普遍认可，很多研究者都采用ＭＩＴ　ＬＬ数据集作为　实验测试数据。但是另一方面，ＭＩＴ的数据集也并非完美，　在理论方法和具体实现上仍有值得改进的地方。文中提出了　数据集评测中的几个关键问题和有待改进的方面，限于篇幅，　将在另外的文章里阐述进一步的研究工作进展和实施细节。　参考文献　１　Ｆｌｏｙｄ　Ｓ，Ｐａｘｓｏｎ　Ｖ．Ｄｉｆｆｉｃｕｌｔｉｅｓ　ｉｎ　ｓｉｍｕｌａｔｉｎｇ　ｔｈｅ　Ｉｎｔｅｍｅｔ．ＩＥＥＥ／　ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｔｗｏｒｋｉｎｇ，２００１，９（４）：３９２～４Ｏ３　２　Ｓｐｙｒｏｓ　Ａ，Ｋｏｓｔａｓ　Ｇ　Ａ，Ｅｖａｎｇｅｌｏｓ　Ｐ￣Ｌ　Ｇｅｎｅｒａｔｉｎｇ　Ｒｅａｌｉｓｔｉｃ　Ｗｏｒｋｌｏａｄｓ　ｆｏｒ　Ｎｅｔｗｏｒｋ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ．Ｉｎ：Ｐｒｏｃ．ｏｆ　ｔｈｅ　４ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｓｏｆｔｗａｒｅ　ａｎｄ　Ｐｅｒｆｏｒｍａｎｃｅ　（Ｗ０ＳＰ），２００４　３　Ｎｉｃｈｏｌａｓ　Ｐ．Ｍａｎｄｙ　Ｃ，Ｒｏｎａｌｄ　Ａ　Ｏ，ｅｔ　ａ１．Ａ　Ｓｏｆｔｗａｒｅ　Ｐｌａｔｆｏｒｍ　ｆｏｒ　Ｔｅｓｔｉｎｇ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍｓ．ＩＥＥＥ　Ｓｏｆｔｗａｒｅ，１９９７，１４　（５）：４３～５１　・　８・　ｂｅｎｃｈ　ｆｏｒ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍｓ：［Ｔｅｃｈ－Ｒｅｐｏｒｔ］．ＲＺ１９９８．　ＩＢＭ　Ｚｕｒｉｃｈ　Ｒｅｓｅａｒｃｈ　Ｌａｂ，１９９８　５　Ｌｉｐｐｍａｎｎ　Ｒ　Ｐ，Ｆｒｉｅｄ　Ｄ　Ｊ．Ｇｒａｆ　Ｉ，ａｔ　ａ１．Ｅｖａｌｕａｔｉｎｇ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃ—　ｔｉｏｎ　Ｓｙｓｔｅｍｓ：Ｔｈｅ　１９９８　ＤＡＲＰＡ　Ｏｆｆ－Ｌｉｎｅ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｅ—　ｖａｌｕａｔｉｏｎ．Ｉｎ：Ｐｒｏｃ．ｏｆ　ｔｈｅ　２０００　ＤＡＲＰＡ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｕｒｖｉｖａｂｉｌｉｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ａｎｄ　Ｅｘｐｏｓｉｔｉｏｎ（ＤＩＳＣＥＸ），Ｉ　ｏｓ　Ａｌａｍｉｔｏｓ，ＣＡ，２０００，　２：１２～２６　６　ｈｔｔｐ：／／ｐａｃｋｅｔｓｔｏｒｍ．ｗｉｄｅｘｓ．ｎｌ／ＵＮＩＸ／ＩＤＳ／ｎｉｄｓｂｅｎｃｈ／　７　ｈｔｔｐ：／／ｏｓｅｃ．ｎｅｏｈａｐｓｉｓ．ｃｏｍ／ａｂｏｕｔ．ｈｔｍｌ　８　ｈｔｔｐ　｝｝　ｎ　．ｎｓｓ．ｃｏ．ｕｋ／ｄｅｆａｕｌｔ．ｈｔｍ　９　ＭｃＨｕｇｈ　Ｊ．Ｔｅｓｔｉｎｇ　ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｓｙｓｔｅｍｓ：Ａ　ｃｒｉｔｉｑｕｅ　ｏｆ　ｔｈｅ　１９９８　ａｎｄ　１９９９ＤＡＲＰＡ　ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｓｙｓｔｅｍ　ｅｖａｌｕａｔｉｏｎｓ　ａｓ　ｐｅｒｆｏｒｍｅｄ　ｂｙ　Ｌｉｎｃｏｌｎ　Ｌａｂｏｒａｔｏｒｙ．ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｎｆｏｒ—　ｍａｔｉｏｎ　ａｎｄ　Ｓｙｓｔｅｍ　Ｓｅｃｕｒｉｔｙ，２０００，３（４）：２６２～２９４　１０　Ｋｒｉｓｔｏｐｈｅｒ　Ｋ．Ａ　Ｄａｔａｂａｓｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｔｔａｃｋｓ　ｆｏｒ　ｔｈｅ　Ｅｖａｌｕａ—　ｔｉｏｎ　ｏｆ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ：ｌ　Ｍａｓｔｅｒ　ｔｈｅｓｉｓ】．Ｍａｓｓａｃｈｕ—　ｓｅｔｔｓ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，１９９９　ｌ１　Ｋｕｒｎａｒ　Ｊ　ｎ　Ａｔｔａｃｋ　Ｄｅｖｅｌｏｐｍｅｎｔ　ｆｏｒ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｅｖａｌｕａ—　ｔｉ１９９９ｏｎ：ｒ—　　Ｍａｓｔｅｒ　ｔｈｅｓｉｓ］．Ｍａｓｓａｃｈｕｓｅｔｔｓ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，　１２　Ｊｏｈｎ　Ａ　Ｓ　Ｔｈｅ　Ｒｅｌａｔｉｖｅ　Ｏｐｅｒａｔｉｎｇ　Ｃｈａｒａｃｔｅｒｉｓｔｉｃ　ｉｎ　Ｐｓｙｃｈｏｌｏｇｙ．　Ｓｃｅｉｎｃｅ，１９７３，１８２：９９Ｏ～１０００　１３　Ｊａｍｅｓ　Ｐ　Ｅ．Ｓｉｇａｎａｌ　ｄｅｔｅｃｔｉｏｎ　ｔｈｅｏｒｙ　ａｎｄ　ＲＯＣ－ａｎａｌｙｓｉｓ．Ａｃａｄｅｍｉｃ　Ｐｒｅｓｓ，１９７５　１４　Ｍａｒｔｉｎ　Ａ．Ｄｏｄｄｉｎｇｔｏｎ　Ｇ，Ｋａｌｎｌｎ　Ｔ，ｅｔ　ａ１．Ｔｈｅ　ＤＥＴ　Ｃｕｒｖｅ　ｉｎ　Ａｓ—　ｓｅｓｓｍｅｎｔ　ｏｆ　Ｄｅｔｅｃｔｉｏｎ　Ｔａｓｋ　Ｐｅｒｆｏｒｍａｎｃｅ．　Ｉｎ：Ｐｒｏｃ．ｏｆ　Ｅｕ—　ｒｏＳｐｅｅｃｈ，１９９８，４．１８９５～１８９８　１５　Ｌｉｐｐｍａｎｎ　Ｒ　Ｐ，Ｄａｖｉｄ　Ｍ　Ｓ　Ｃｏｒｏｎａｒｙ　Ａｒｔｅｒｙ　Ｂｙｐａｓｓ　Ｒｉｓｋ　Ｐｒｅｄｉｃ—　ｔｉｏｎ　Ｕｓｉｇｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｄｓ．Ａｎｎａｌｓ　ｏｆ　Ｔｈｏｒａｃｉｃ　Ｓｕｒｇｅｒｙ，１９９７，　６３：１６３５～１６４３　１６　Ｊｏｓｈｕａ　Ｗ　Ｈ，Ｌｉｐｐｍａｎｎ　Ｒ　Ｐ，Ｄａｖｉｄ　Ｊ　Ｆ，ｅｔ　ａ１．１９９９　ＤＡＲＰＡ　Ｉｎｔｒｕ—　ｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍ　Ｅｖａｌｕａｔｉｏｎ：Ｄｅｓｉｇｎ　ａｎｄ　Ｐｒｏｃｅｄｕｒｅｓ：ｌ　Ｔｅｃｈ－　１７　ＬｉＲｅｐｏｒｔ］．ＴＲ１０６２．ＭＩＴ　Ｌｉｐｐｒｎａｎｎ　Ｒ　Ｐ，Ｈａｉｎｅｓ　Ｊ　Ｗ，Ｆｒｎｃｏｌｉｎ　Ｌａｏｒａｔｏｒｙ，２０００　ｅｄ　Ｄ　Ｊ，ｅｔ　ａ１．Ｔｈｅ　１９９９　ＤＡＲＰＡ　Ｏｆｌｆｉｎｅ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｅｖａｌｕａｔｉｏｎ．　Ｃｏｍｐｕｔｅｒ　Ｎｅｔｗｏｒｋｓ，　２０００，３４（２）：５７９～５９５　１８　Ｈａｉｎｅｓ　Ｊ　Ａ，Ｒｏｓｓｅｙ　Ｌ　Ｍ，Ｌｉｐｐｍａｎｎ　Ｒ　Ｐ，ｅｔ　ａ１．Ｅｘｔｅｎｄｉｇｎ　ｔｈｅ　ＤＡＲＰＡ　Ｏｆｆ－Ｌｉｎｅ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｅｖａｌｕａｔｉｏｎｓ．Ｉｎ：Ｄａｒｐａ　Ｉｎ—　ｆｏｒｍａｔｉｏｎ　Ｓｕｒｖｉｖａｂｉｌｉｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ａｎｄ　Ｅｘｐｏｓｉｔｉｏｎ（ＤＩＳＣＥＸ）ＩＩ，　２００１，１：７７～８８　１９　Ｎｉｃｈｏｌａｓ　Ａ，Ｒａｎｄａｌ　Ａ，Ｊｏｈｎ　Ｌ，ｅｔ　ａ１．Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｔｅｓｔｉｎｇ　ａｎｄ　Ｂｅｎｃｈｍａｒｋｉｇｎ　Ｍｅｔｈｏｄｏｌｏｇｉｅｓ．Ｉｎ：Ｐｒｏｃ．ｏｆ　ｔｈｅ　１ｓｔ　ＩＥＥＥ　Ｉｎ—　ｔｅｍａｔｉｏｎａｌ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　Ａｓｓｕｒａｎｃｅ（ＩＷＩＡ’Ｏ３），　Ｗａｓｈｉｎｇｔｏｎ　ＤＣ，ＵＳＡ，２００３．６３～７３　２０　Ｃｏｌｅ　Ｒ　Ａ，Ｍａｒｉａｎｉ　Ｊ，Ｕｓｚｋｏｒｅｉｔ　Ｈ，ｅｔ　ａ１．Ｓｕｒｖｅｙ　ｏｆ　ｔｈｅ　Ｓｔａｔｅ　ｏｆ　ｔｈｅ　Ａｒｔ　ｉｎ　Ｈｕｍａｎ　Ｌａｎｇｕａｇｅ　Ｔｅｃｈｎｏｌｏｇｙ．Ｃｅｎｔｅｒ　ｆｏｒ　Ｓｐｏｋｅｎ　Ｌａｎ—　ｇｕａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ　ＣＳＬＵ，Ｃａｒｎｅｇｉｅ　Ｍｅｌｌｏｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｐｉｔｔｓ—　ｂｕｒｇｈ，ＰＡ，１９９５　２１　ｈｔｔｐ：／／ｋｄ　ｉｃｓ．ｕｃｉ．ｅｄｕ／ｄａｔａｂａｓｅｓ／ｋｄｄｃｕｐ９９／ｋｄｄｃｕｐ９９．ｈｔｍｌ　２２　Ｎｉｎｇ　Ｐ．Ｃｕｉ　Ｙ．Ａｎ　ｉｎｔｒｕｓｉｏｎ　ａｌｅｒｔ　ｃｏｒｒｅｌａｔｏｒ　ｂａｓｅｄ　ｏｎ　ｐｒｅｒｅｑｕｉ—　ｓｉｔｅｓ　ｏｆ　ｉｎｔｒｕｓｉｏｎｓ：ｌ　Ｔｅｃｈ－Ｒｅｐｏｒｔ】．ＴＲ２００２—０１．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　ｏＣｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｎｏｒｔｈ　Ｃａｒｏｌｉｎａ　Ｓｔａｔｅ　Ｕｎｉｖｅｒｓｉｔｙ，２００２　２３　Ｍａｔｔｈｅｗ　Ｖ　Ｍ，Ｐｈｉｌｉｐ　Ｋ　Ｃ　Ｌｅａｒｎｉｇｎ　ｎｏｎｓｔａｔｉｏｎａｒｙ　ｍｏｄｄｓ　ｏｆ　ｎｏｒｍａｌ　ｎｅｔｗｏｒｋ　ｔｒａｆｆｉｃ　ｆｏｒ　ｄｅｔｅｃｔｉｇｎ　ｎｏｖｅｌ　ａｔｔａｃｋｓ．Ｉｎ：Ｐｒｏｃ　ｏｆ　ｔｈｅ　ｅｉｇｈｔｈ　ＡｃＭ　ｓ１ＧＫＤＤ　ｉｎｔｅｒｎａｔｉｏｎａｌ　ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　ｄｉｓｃｏｖｅｒｙ　ａｎｄ　ｄａｔａ　ｍｉｎｉｎｇ　Ｅｄｍｏｎｔｏｎ，Ａｌｂｅｒｔａ，Ｃａｎａｄａ，２００２．２３￣２６　２４　Ｓｅｋａｒ　Ｒ．Ｇｕｐｔａ　Ａ，Ｆｒｕｌｌｏ　Ｊ，ｅｔ　ａ１．Ｓｐｅｃｉｆｉｃａｔｉｏｎ　Ｂａｓｅｄ　Ａｎｏｍａｌｙ　Ｄｅｔｅｃｔｉｏｎ：Ａ　Ｎｅｗ　Ａｐｐｒｏａｃｈ　ｆｏｒ　Ｄｅｔｅｃｔｉｎｇ　Ｎｅｔｗｏｒｋ　Ｉｎｔｒｕｓｉｏｎｓ．　Ｉｎ：Ｐｒｏｃ　ｏｆ　ｔｈｅ　９ｔｈ　ＡＣＭ　ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　ａｎｄ　ｃｏｍｍｕｎｉ—　ｃａｔｉｏｎｓ　ｓｅｃｕｒｉｔｙ，Ｗａｓｈｉｇｎｔｏｎ　ＤＣ，ＵＳＡ，２００２．２６５Ｉ～２７４　２５　Ｌｅｅ　Ｗ．Ｓｔｏｌｆｏ　Ｓ　Ａ　Ｆｒａｍｅｗｏｒｋ　ｆｏｒ　Ｃｏｎｓｔｒｕｃｔｉｇｎ　Ｆｅａｔｕｒｅｓ　ａｎｄ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　Ｓｙｓｔｅｍｓ．ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｓｙｓｔｅｍ　Ｓｅｃｕｒｉｔｙ，２０００，３（４）：２２７～２６１　２６　Ｋｅ　Ｗ．Ｓａｌｖａｔｏｒｅ　Ｊ　Ｓ　Ａｎｏｍａｌｏｕｓ　Ｐａｙｌｏａｄ—ｂａｓｅｄ　Ｎｅｔｗｏｒｋ　Ｉｎｔｒｕ—　ｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ．Ｉｎ：Ｐｒｏｃ．ｏｆ　ｔｈｅ　７ｔｈ　Ｉｎｔｅｍａｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｒｅｃｅｎｔ　Ａｄｖａｎｃｅｄ　ｉｎ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ（ＲＡＩＤ），２００４．２０１～２２２　２７杨德刚．基于模糊Ｃ均值聚类的网络入侵检测算法．计算机科　学，２００５，３２（１）：８６～９１　２８　Ｋａｍａｔｈ　Ｐ，Ｌａｎ　Ｋ，Ｈｅｉｄｅｍａｎｎ　Ｊ，ｅｔ　ａ１．Ｇｅｎｅｒａｔｉｏｎ　ｏｆ　Ｈｉｇｈ　Ｂａｎｄ—　ｗｉｄｔｈ　Ｎｅｔｗｏｒｋ　Ｔｒａｆｆｉｃ　Ｔｒａｃｅｓ．Ｉｎ：Ｐｒｏｃ．ｏｆ　ｔｈｅ　１０ｔｈ　ＩＥＥＥ　Ｉｎｔｅｒ—　ｎａｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｍｏｄｅｌｉｎｇ，Ａｎａｌｙｓｉｓ，ａｎｄ　Ｓｉｍｕｌａｔｉｏｎ　ｏｆ　ｏＣｍｐｕｔｅｒ　ａｎｄ　Ｔｅｌｅｃｏｒｎｍｕｎｉｃａｔｉｏｎｓ　Ｓｙｓｔｅｍｓ．２００２．４０１～４１２　２９　Ｌａｎ　Ｋ．Ｈｅｉｄｅｍａｎｎ　Ｊ．Ａ　Ｔｏｏｌ　ｆｏｒ　ＲＡｐｉｄ　Ｍｏｄｅｌ　Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ　ａｎｄ　ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎ：Ｐｒｏｃ．ｏｆ　ｔｈｅ　ＡＣＭ　ＳＩＣＷＡ）ＭＭ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｍｏｄｅｌｓ，Ｍｅｔｈｏｄｓ　ａｎｄ　Ｔｏｏｌｓ　ｆｏｒ　Ｒｅｐｒｏｄｕｃｉｂｌｅ　Ｎｅｔｗｏｒｋ　Ｒｅ—　ｓｅａｒｃｈ，Ｋａｒｌｓｒｕｈｅ，Ｇｅｒｍａｎｙ，２００３．７６￣８６　３Ｏ　Ｔｈｅ　Ｅｘｐｅｒｔｓ　Ｃｏｎｓｅｎｓｕｓ：Ｔｈｅ　Ｔｗｅｎｔｙ　Ｍｏｓｔ　Ｃｒｉｔｉｃａｌ　Ｉｎｔｅｍｅｔ　Ｓｅ—　ｃｕｒｉｔｙ　Ｖｕｌｎｅｒａｂｉｌｉｔｉｅｓ．ＳＡＮＳ　Ｉｎｓｔｉｔｕｔｅ：ｌ　Ｖｅｒｓｉｏｎ　５．０ｊ，２００４．ｈｔ一　｜｝　Ｎ　．ｓａｎｓ．ｏｒｇ／ｔｏｐ２０／　３１　Ｍｅｌｌ　Ｐ．Ｇｒａｎｃｅ　Ｔ．ＩＣ　Ｍｅｔａｂａｓｅ　ＣｖＥ　Ｖｕｌｎｅｒａｂｉｌｉｔｙ　ｅＳａｒｃｈ　Ｅｎ—　ｇｉｎｅ．Ｎａｔｉｏｎａｌ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｓｔａｎｄａｒｄｓ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，２００２．ｈｔ—　ｔｐ：／／ｉｃａｔ．ｎｉｓｔ．ｇｏｖ／　３２　Ｓｅｃｕｆｉｔｙ　Ｆｏｃｕｓ　Ｂｕｇｔｒａｑ　Ｖｕｌｎｅｒａｂｉｌｉｔｙ　Ｄａｔａｂａｓｅ．ｈｔｔｐ：／／ｓｅｃｕｒｉｔｙ—　ｆｏｃｕｓ．ｃｏｍ　３３　Ｓｐｉｔｚｎｅｒ　Ｌ　Ｈｏｎｅｙｐｏｔｓ：Ｔｒａｃｋｉｎｇ　Ｈａｃｋｅｒｓ．Ａｄｄｉｓｏｎ－Ｗｅｓｌｅｙ，２００３　３４　Ｃｏｗａｎ　Ｃ，Ａｍｏｌｄ　Ｓ，Ｂｅａｔｔｉｅ　Ｓ　Ｍ，ｅｔ　ａ１．Ｄｅｆｃｏｎ　Ｃａｐｔｕｒｅ　ｔｈｅ　Ｆｌａｇ：　ｅＤｆｅｎｄｉｇｎ　Ｖｕｌｎｅｒａｂｌｅ　Ｃｏｄｅ　ｆｒｏｍ　Ｉｎｔｅｎｓｅ　Ａｔｔａｃｋ　ＤＡＲＰＡ　Ｉｎｆｏｒ－　ｍａｔｉｏｎ　Ｓｕｒｖｉｖａｂｉｌｉｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ａｎｄ　Ｅｘｐｏ（ＤＩＳＣＥＸ　ＩＩＩ），、＾　ｓｈ—　ｉｇｎｔｏｎ　ＤＣ，２００３