日志大全精编5篇

【阅读指引】阿拉题库网友为您分享整理的“日志大全精编5篇”范文资料，以供您参考学习之用，希望这篇文档对您有所帮助，喜欢就下载分享给大家吧！

日志1

关键词Web安全；日志分析；入侵检测；特征匹配

1.引言

随着互联网的不断发展，我国网站数量持续增长，网站所面临的安全问题却愈发严重。而网络攻击者针对网站的所有操作像其他正常用户的操作一样，均会被服务器日志详细记录。因此，日志文件对于及早发现入侵痕迹非常重要。但由于网站服务器产生的日志文件过于庞大，网站管理人员没有精力对日志文件进行详细分析。因此，网站管理者急需一款能够进行日志分析的软件，来帮助他们进行入侵检测和网站优化。

服务器软件简介

IIS服务器软件

Internet Information Services（IIS，互联网信息服务），是由微软公司提供的基于运行Microsoft Windows操作系统的互联网基本服务。最初是Windows NT版本的可选包，随后内置在Windows 2000、Windows XP Professional和Windows Server 2003一起发行，但在Windows XP Home版本上并没有IIS。Windows 2003内置有。Windows Vista、win7、20008操作系统下可以使用IIS7和IIS ，Windows8中默认为IIS8，其中，IIS8延续IIS7的界面风格。现在使用最广泛的是。

Apache服务器软件

Apache源自于NCSA所开发的httpd。自从1996年4月以后，Apache就成为了Web服务器领域应用最为广泛的软件。

Apache的特点是简单、速度快、性能稳定，并可做服务器来使用。Apache软件被广泛使用的原因是Apache软件的跨平台性和安全性，Apache软件可以运行在几乎所有广泛使用的计算机平台上。

3.关键技术及解决思路

系统架构设计

系统架构是一个系统是否能满足用户需求、是否方便部署与扩展功能的基础。一个运行稳定的系统需要一个好的架构设计来保证。

B/S架构

B/S架构（Browser/Server，浏览器/服务器模式），是Web兴起后的一种网络结构模式，Web浏览器是一种客户端的应用软件。这种方式最大的作用在于统一了客户端，将系统主要的功能集中到服务器上，从而简化了整套系统的研发和运行维护。

本系统拟采用B/S架构，这样一是满足了大数据量处理的需求，而是方便了用户的使用，可以跨平台提供日志分析服务，只需要用户装有浏览器即可。而B/S架构面临的局限便是上传日志文件的网速问题，但随着互联网的发展，这个问题将会得到好的解决。

Django框架

为了系统的稳定与快速地开发，本系统采用Python脚本语言来编写Django开源框架。

Django是一个Python定制的框架，它支持Apache运行，它也能够运行在支持WSG、FastCGI的服务器上，并支持多种数据库。Django同时重视代码的重用，组件也可以比较容易的以“插件”形式应用于整套系统，Django也包含了很多功能良好的第三方插件，有用非常好的可扩展性。

大数据量日志处理

数据预处理

面对大数据量的Web日志，如何有效地处理是一个关键性的问题。首先日志文件中99%的都是正常访问信息，但是并不意味着我们可以把这些全部去掉。因为正常的访问信息也是统计分析的关键文料。[3]但是我们可以尽量通过数据预处理减少日志文件中的冗余条目和字段。从而减少系统的分析负担，加快分析速度。因此我们需要一套高效的数据预处理策略。

非关系型数据库MongoDB

针对Web日志文件数据量大，但是是纯文本的特点，并且对一些主流数据库进行研究与分析，本系统最终选择了非关系型数据库MongoDB。

MongoDB是一款优秀的针对文档存储的数据库，它提供了高效分布式的存储方案。它同时具备关系数据库和非关系数据库的一些特点。MongoDB能够比较好得支持不紧密的结构类型，也可以处理结构多样的数据，它是一种面向对象的语言，功能丰富而且能够方便地建立索引。

高效的入侵特征值库

基于日志分析的入侵检测系统，有一个常规的分析方法就是特征值匹配。而决定特征值匹配性能的关键在于是否有一个高效全面的入侵特征值库。

对于入侵特征值库的建立，一是需要对入侵技术的经验积累，而是通过本地搭建测试环境，实地测试和记录。这里可以通过本地搭建渗透测试演练系统，通过模拟相应的入侵行为，研究相应的服务器日志特征。

通过对本地渗透测试平台的入侵测试，积累不同入侵手段的日志特征。结合个人安全防护的积累，通过不断测试和试验，逐步打造一个高效全面的入侵特征值库。

4.系统总体设计

系统应用环境

系统应用环境如图1所示。

说明：系统采用B/S架构，部署在Internet环境下。系统由一台用户访问服务器、一台数据分析中心服务器和和若干台数据存储服务器组成。

服务器接受用户访问，为授权用户提供日志分析服务，接受用户上传日志文件。并能够将日志文件预处理后插入数据库中。

数据库部署在若干台数据存储服务器上。

数据分析中心从数据库中读取日志信息，通过统计分析引擎和特征值匹配引擎对日志信息进行分析，并将处理结果存入数据库。

系统功能组成

系统按功能划分为5个部分：用户管理子系统、运行控制子系统、数据处理子系统、日志分析子系统、结果展示子系统。

用户管理子系统主要完成用户的注册和认证功能，运行控制子系统负责整个系统的逻辑调度，数据处理子系统负责接收和预处理日志文件，日志分析子系统负责对日志信息进行统计分析和特征匹配，结果展示子系统负责处理日志分析结果，生成图表并将最终结果展示给用户。

5.结语

随着Web技术的快速发展和应用，各种类型的网站如雨后春笋般出现在Internet上。由于网站管理人员安全意识不够以及网站开发技术的局限性，使得Web服务器的安全状况愈发严峻，网络攻击、泄密事件层出不穷。而针对Web服务器的攻击行为，均会被服务器记入日志。因此，研发出一个能够高效自动化分析Web日志，进而检测入侵行为的系统将具有很强的现实意义与实用价值。又由于现阶段网站服务器产生的日志文件越来越庞大，因此，将数据挖掘技术运用于日志分析并检测入侵行为将是未来的主要研究方向。

参考文献

[1]CNCERT.国家互联网应急中心“2012 年我国互联网网络安全态势综述”[J].国家互联网应急中心， 2013（3）：03-15.

[2]李甲林。Web日志挖掘技术研究[D].南京航空航天大学，2008.

日志2

2. 一片绿叶，饱含着它对根的情谊；一句贺词，浓缩了我对你的祝愿。又是一个美好的开始--新年岁首，祝成功和快乐永远伴随着你。

3. 以家庭为圆心，以幸福为半径，画出千千万万个合家圆满！

4. 新春快乐！万事大吉！合家欢乐！财源广进！吉祥如意！花开富贵！金玉满堂！福禄寿禧！恭喜发财！

5. 衷心地祝愿你在新的一年里，所有的期待都能出现，所有的梦想都能实现，所有的希望都能如愿，所有的付出都能兑现！

6. 有些事不会因时光流逝而褪去，有些人不会因不常见面而忘记，在我心里你是我永远的朋友。在新年到来之际，恭祝好友酷炫十足！

7. 漫天雪花飘飘，迎来了新年，让久违的心灵相聚吧，我深深地祝福你：新年快乐！愿我的祝福能融化寒冬，温暖你的心灵。

8. 什么是天长？什么是地久？说一句happy ne=\'_blank\'>腾达，福如东海，寿比南山，幸福美满，官运亨通，美梦连连！

9. 元旦短信大全元旦到祝福到，祝您：打牌运气拉不住，豹子金花把把出，别人瞪眼你笑脸，别人掏钱你收钱。到时候可别忘了我哦！

10. 聚喜玛拉雅之阳光，拢天涯海角之清风，拮冈底斯山之祝福，吸比尔盖茨之财气，作为礼物送给你，祝你元旦快乐！

11. 新春快乐~我的朋友！愿你~年年圆满如意，月月事事顺心，日日喜悦无忧，时时高兴欢喜，刻刻充满朝气，祝福你~~

12. 元旦了，送你一件外套：口袋叫温暖；领子叫关怀；袖子叫体贴；扣子叫思念；让这件外套紧紧伴著你渡过每一分每一秒，一定要幸福喔！

13. 元旦快乐！祝你：致富踏上万宝路；事业登上红塔山；情人赛过阿诗玛；财源遍步大中华！

14. 给你点阳光你就灿烂，给你个笑容你就放电，给你件棉袄你就出汗，给你筐饲料你就下蛋。下了个蛋蛋滚滚圆，我就祝你“圆蛋”快乐！

15. 新年到，鸿运照，烦恼的事儿往边靠，祝君出门遇贵人，在家听喜报！年年有此时，岁岁有今朝！元旦快乐！

16. 元旦快乐！祝你：致富踏上万宝路；事业登上红塔山；情人赛过阿诗玛；财源遍步大中华！

17. 祝你在新的一年里：事业正当午，身体壮如虎，金钱不胜数，干活不辛苦，悠闲像老鼠，浪漫似乐谱，快乐莫你属。

18. 广播寻人：那人一身破烂二目无神，三餐未进四肢无力，五音不全六神无主，七孔流血八卦非常，九死一生十分像你。我要祝他元旦快乐！

19. 星空中点点闪烁的荧光，环绕着缤纷的绮丽梦想，祝福你今年许下的心愿，都能一一实现在你眼前，祝你元旦温馨喜悦！

20. 今天是新年崭新的第一天，让我们一起忘记旧年的一切痛苦与烦恼，迎来新年的幸福与开心，永远都要记住一句话，一定要幸福！大家一起努力幸福起来吧！

21. 相聚的日子都只为酝一杯浓酒，酿流动相思，在新年的鞭炮声中凝视你如此迷人的面庞，只想对你说：今年的元旦一定要特别地过，特别地开心，特别地舒心，特别的欢心，这样我就畅心了！

22. 祝你财源滚滚，发得像肥猪；身体棒棒，壮得像狗熊；爱情甜甜，美得像蜜蜂；好运连连，多得像牛毛；事业蒸蒸，越飞越高像大鹏。一句话，元旦快乐！

23. 祝你在新的一年里：事业正当午，身体壮如虎，金钱不胜数，干活不辛苦，悠闲像老鼠，浪漫似乐谱，快乐莫你属。

24. 元旦，意味着你去年的烦恼统统要完旦；元旦，意味着你今年的愿望全部要圆满，一句元旦快乐，不能代表我的心，那我就多说一句，元旦快乐，快乐元旦！

25. 祝福是份真心意，不是千言万语的表白。一首心曲，愿你岁岁平安，事事如意，快乐元旦！

26. 我对你的思念之情如涛涛江水绵绵不绝，我对你的祝福之意如火山爆发真情至极，尽管寒风呼呼，但呼不去我对你的思念；尽管海水涛涛，却涛不尽我对你的祝福。

27. 今年的元旦有什么特别，今年的元旦有什么新意。有！来点酷点，来点醒目的，我的地盘，我要与众不同。所以我要说一句很特别的话给你，听好了：“祝你元旦快乐”！

28. 明月几时有，把酒问青天，不知天上宫阕，今夕是何年，我欲乘风去去，却恐，你独自一人，一人，一人，对影成三人，把酒再问今天，看短信的人还过得好吗？酒入喉，思念生，难入睡，尽相思！

29. 因考虑到过几天会有铺天盖地的祝福短信堵塞网络，有理想有远见且智慧过人的举世无双宇宙超级无敌天才提前恭祝：麦瑞克瑞斯么斯嗯得嗨皮牛野儿！

30. 元旦到了，想我吗？想我就按，再按，你那么想我吗？我说想我才按。还按！没想到你这样想我，好感动！又按！我热泪盈眶。

31. 今天，新年第一天。从这刻起，出发！制订一个计划，完成一个心愿，要去那场梦寐以求的旅行。新的一年，每天充实而精彩。而此刻，最想说的，新年，做更好的自己，不悔昨日，不畏将来，不负自己。新年快乐！

32. 如果感到幸福你就挥挥手，如果感到幸福你就跺跺脚，如果感到幸福你就甩甩头。元旦快乐，疯子！

33. 古有愚公移山，铁杵成针，滴水成江，但都不及我对你的祝福。让我这份元旦祝福通过电波，跨过重重高山，越过滔滔江水，掠过高楼大厦，飞到你身边。

34. 玫瑰是我的热情，糖果是我的味道，星星是我的眼睛，月光是我的灵魂，一并送给你--我第一个也是最后一个爱的人，元旦快乐！

35. 窗外的麻雀，在电线杆上多嘴，你说这一句，很有夏天的感觉，手中的铅笔，在纸上来来回回，无非是想写些什么送给你，不知不觉，我的心不见了，纸上却出现了我的心。

36. 一朵花，采了许久，枯萎了也舍不得丢；一把伞，撑了很久，雨停了也想不起收；一条路，走了很久，天黑了也走不到头；一句话，等了好久……祝元旦快乐！

37. 第一缕阳光是我对你的深深祝福，夕阳收起的最后一抹嫣红是我对你衷心的问候，在新年来临之际，送上真挚的祝福：元旦快乐！

38. 愿甜蜜伴你走过每一天，愿温馨随你度过每一时，愿平安同你走过每一分，愿快乐和你度过每一秒！愿你在新年里天天有好心情！

39. 元旦快乐！这四个字虽然只花了我1毛钱，但却相当于吨的祝福砸在你身上，收好，快乐，天天，好心情，无限。

40. 有些事不会因时光流逝而褪去，有些人不会因不常见面而忘记，在我心里你是我永远的朋友。在新年到来之际，恭祝好友酷炫十足！

41. 我托空气为邮差，把我热腾腾的问候装订成包裹，印上真心为邮戳，37度恒温快递，收件人是你。祝你：节日愉快：)

42. 今年新年不送礼，发条短信传给你。健康快乐长伴你，幸福美满粘着你，还有我要告诉你，财神已经盯上你！

43. 老板，新年好，感谢你的关照。祝开心如意，财源滚滚！

44. 在我不识字的时候，总以为元旦就是圆蛋，不过圆蛋的确是好东西哦，猪你有个快乐的圆蛋！

45. 我对你的思念象深谷里的幽兰，淡淡的香气笼罩着你，而祝福是无边的关注一直飘到你心底。愿我的爱陪伴你走过新的一年直到永远。

46. 这一刻，有我最深的思念。让云捎去满心的祝福，点缀你甜蜜的梦，愿你拥有一个快乐的元旦，幸福的新年！

日志3

论文关键词：安全审计　日志　数据挖掘

论文摘要：提出了无线网关安全审计系统的系统模型，介绍了该系统的设计思想，从数据的控制、数据的采集、日志的归类、日志的审计与报警4个方面描述了设计流程。在系统中通过改进syslog机制，引入有学习能力的数据挖掘技术，实现对无线网关的安全审计。

0　引言

无线网关是无线网络与布线网络之间的桥梁，所有的通信都必须经过无线网关的审计与控制。在无线网络中，无线网关放置在无线网络的边缘，相当于无线网络的大门，当无线网关遭到攻击和入侵时，灾难会殃及整个无线网络，使无线网络不能工作或异常工作，由此可见，对无线网关进行安全审计是十分有意义的。

本文中研究的安全审计系统是北京市重点实验室科、研项目“智能化无线安全网关”的一部分。智能化无线安全网关在无线网关上集成具有IDS和防火墙功能的模块，以及控制和阻断模块，这些功能模块在统一操作系统的基础上，既各司其职，又密切合作，共同完成防范、预警、响应和自学习的功能，构成一个有机的安全体系。

无线网关的安全审计系统，其主要功能就是在事后通过审计分析无线安全网关的日志信息，识别系统中的异常活动，特别是那些被其它安全防范措施所遗漏的非法操作或入侵活动，并采取相应的报告，以有利于网络管理员及时有效地对入侵活动进行防范，确保网络的安全[1].

1　系统功能概述

无线网关安全审计系统是针对无线网络的安全运作而提出的，主要包括数据控制、数据采集、日志归类、日志的审计与报警等几大基本功能。首先，审计系统的数据控制模块对进出的数据信息进行严格的控制，根据预定义的规则进行必要的限制，适当地降低风险。其次，安全审计系统的数据采集模块收集无线安全网关的网络日志、系统日志及用户和应用日志。随后，采集部件收集到的日志记录被送到日志归类模块，根据日志记录行为的不同层次来进行分类。最后，使用审计与报警模块对日志记录进行审计分析。这时可以根据预先定义好的安全策略对海量的日志数据进行对比分析，以检测出无线网关中是否存在入侵行为、异常行为或非法操作。管理员可以初始化或变更系统的配置和运行参数，使得安全审计系统具有良好的适应性和可操作性。

2　系统设计

系统结构组成(见图1)

设计思想

系统从数据采集点采集数据，将数据进行处理后放入审计数据库，采用有学习能力的数据挖掘方法，从“正常”的日志数据中发掘“正常”的网络通信模式，并和常规的一些攻击规则库进行关联分析，达到检测网络入侵行为和非法操作的目的。

系统的详细设计

系统的处理流程如图2所示：

数据的控制。数据控制模块使用基于Netfilter架构的防火墙软件iptables对进出的数据信息进行严格的控制，适当地降低风险。

数据的采集。数据采集模块，即日志的采集部件。为了实现日志记录的多层次化，需要记录网络、系统、应用和用户等各种行为来全面反映黑客的攻击行为，所以在无线安全网关中设置了多个数据捕获点，其中主要有系统审计日志、安全网关日志、防火墙日志和入侵检测日志4种。　日志的归类。日志归类模块主要是为了简化审计时的工作量而设计的，它的主要功能是根据日志记录行为的不同层次来进行分类，将其归为网络行为、系统行为、应用行为、用户行为中的一种，同时进行时间归一化。进行日志分类目的是对海量信息进行区分，以提高日志审计时的分析效率。

日志审计与报警。日志审计与报警模块侧重对日志信息的事后分析。该模块的主要功能是对网关日志信息进行审计分析，即将收到的日志信息通过特定的策略进行对比，以检测出不合规则的异常事件。随着审计过程的进行，若该异常事件的可疑度不断增加以致超过某一阈值时，系统产生报警信息。该模块包括日志信息的接收、规则库的生成、日志数据的预处理、日志审计等几个功能。

3　系统的实现

系统的开发环境

智能无线安全网关安全审计系统是基于linux操作系统开发的B/S模式的日志审计系统。开发工具为：前台：Windows XP professional+html+php，后台：Linux+Apache+Mysql + C++.

日志归类模块的实现[2-3]

无线网关的日志采用linux的syslog机制进行记录，sys-log记录的日志中日期只包含月和日，没有年份。在该模块中，对日志记录的syslog机制进行一些改进，克服其在日志中不能记录年的问题。

下面以无线网关的日志为例，说明其实现过程。网关日志的保存文件为，用一个shell脚本，在每月的第一天零点，停止syslogd进程，在原来的文件名后面加上上一个月的年和月，如，再新建一个用于记录当月的日志，再重启syslogd记录日志。这样就把每月的日志存放在有标志年月的文件中，再利用C++处理一下，在记录中加入文件名中的年份。

日志审计与报警模块的实现

日志审计模块的处理流程(见图3).

规则库生成的实现。安全审计系统所采用的审计方法主要是基于对日志信息的异常检测，即通过对当前日志描述的用户行为是否与已建立的正常行为轮廓相背离来鉴别是否有非法入侵或者越权操作的存在。该方法的优点是无需了解系统的缺陷，有较强的适应性。这里所说的规则库就是指存储在检测异常数据时所要用到的正常的网络通信及操作规则的数据库。规则库的建立主要是对正常的日志信息通过数据挖掘的相关算法进行挖掘来完成。

首先系统从数据采集点采集数据，将数据进行处理后放入审计数据库，通过执行安全审计读入规则库来发现入侵事件，将入侵时间记录到入侵时间数据库，而将正常日志数据的访问放入安全的历史日志库，并通过数据挖掘来提取正常的访问模式。最后通过旧的规则库、入侵事件以及正常访问模式来获得最新的规则库。可以不停地重复上述过程，不断地进行自我学习的过程，同时不断更新规则库，直到规则库达到稳定。

日志信息审计的实现。日志审计主要包括日志信息的预处理和日志信息的异常检测两个部分。在对日志进行审计之前，首先要对其进行处理，按不同的类别分别接收到日志信息数据库的不同数据表中。此外，由于所捕获的日志信息非常庞大，系统中几乎所有的分析功能都必须建立在对这些数据记录进行处理的基础上，而这些记录中存在的大量冗余信息，在对它们进行的操作处理时必将造成巨大的资源浪费，降低了审计的效率，因此有必要在进行审计分析之前尽可能减少这些冗余信息。所以，在异常检测之前首先要剔除海量日志中对审计意义不大及相似度很大的冗余记录，从而大大减少日志记录的数目，同时大大提高日志信息的含金量，以提高系统的效率。采用的方式就是将收集到的日志分为不同类别的事件，各个事件以不同的标识符区分，在存放日志的数据库中将事件标识设为主键，如有同一事件到来则计数加一，这样就可以大大降低日志信息的冗余度。

在日志信息经过预处理之后，就可以对日志信息进行审计。审计的方法主要是将日志信息与规则库中的规则进行对比，如图3所示。对于检测出的不合规则的记录，即违反规则的小概率事件，记录下其有效信息，如源、目的地址等作为一个标识，并对其设置一怀疑度。随着日志审计的进行，如果属于该标识的异常记录数目不断增加而达到一定程度，即怀疑度超过一定阈值，则对其产生报警信息。

4　数据挖掘相关技术

数据挖掘是一个比较完整地分析大量数据的过程，一般包括数据准备、数据预处理、建立数据挖掘模型、模型评估和解释等，是一个迭代的过程，通过不断调整方法和参数以求得到较好的模型[4].

本系统中的有学习能力的数据挖掘方法主要采用了3种算法：

1)分类算法。该算法主要将数据影射到事先定义的一个分类之中。这个算法的结果是产生一个以决策树或者规则形式存在的“判别器”。本系统中先收集足够多的正常审计数据，产生一个“判别器”来对将来的数据进行判别，决定哪些是正常行为，哪些是入侵或非法操作。

2)相关性分析。主要用来决定数据库里的各个域之间的相互关系。找出被审计数据间的相互关联，为决定安全审计系统的特征集提供很重要的依据。

3)时间序列分析。该算法用来建立本系统的时间顺序模型。这个算法有利于理解审计事件的时间序列一般是如何产生的，这些所获取的常用时间标准模型可以用来定义网络事件是否正常。

5　结束语

该系统通过改进syslog机制，使无线网关的日志记录更加完善。采用有学习能力的数据挖掘技术对无线网关正常日志数据进行学习，获得正常访问模式的规则库，检测网络入侵行为和非法操作，减少人为的知觉和经验的参与，减少了误报出现的可能性。该系统结构灵活，易于扩展，具有一定的先进性和创新性，此外，使用规则合并可以不断更新规则库，对新出现的攻击方式也可以在最快的时间内做出反应。下一步的工作是进一步完善规则库的生成以及审计的算法，增强系统对攻击的自适应性，提高系统的执行效率。

参考文献：

[1]　Branch J W， Petroni N L， Doorn Van L， et Wireless LAN Security Auditing[J]. IEEE Security&Privacy， 2004(5/6):56-65.

[2]　李承，王伟钊，程立。基于防火墙日志的网络安全审计系统研究与实现[J].计算机工程，2002，28(6):17-19.

[3]　刘。无线网络安全防护[M].北京：机械工业出版社，2003.

日志4

关键词：入侵 取证 日志 网络安全

中图分类号： 文献标识码：A 文章编号：1007-9416（2012）10-0178-02

1、前言

计算机网络无疑是当今世界最为激动人心的高新技术之一。它的出现和快速的发展，尤其是Internet的日益推进和迅猛发展，为全人类建构起一个快捷、便利的虚拟世界。Internet的普及和新技术的层出不穷给网络攻击者以更多的便利，因此网络的安全以成为日益突出问题。对于破坏网络的安全并由此产生的危害极大的影响了人们生产生活和国民经济以及国家安全，计算机网络犯罪正是其中一个典型的例子。同传统的犯罪相比，网络犯罪具有一些独特的特点：

（1）成本低、传播迅速，传播范围广；

（2）互动性和隐蔽性高，取证难度相对较大；

（3）严重的社会危害性。

操作系统的漏洞和通信线路和设备的安全缺陷构成了网络信息系统的潜在安全隐患。而这些漏洞恰好可以被黑客利用，进行入侵，因此利用法律手段对黑客行入侵行为予以制裁是解决黑客入侵的问题的根本，而入侵取证是最关键的问题之一。入侵取证系统可对网络或系统中发生的攻击过程及攻击行为进行记录和分析，并确保记录信息的真实与完整性。由于电子证据与普通证据有差异较大，特别是易损毁性，导致网络入侵取证有很多特殊的要求。本文研究的目的是从入侵者访问的日志来为网络入侵提供证据。

2、计算机取证系统

计算机取证是指对计算机入侵、破坏、欺诈、攻击等犯罪行为，利用计算机软硬件技术，按照符合法律规范的方式，进行识别、保存、分析和提交数字证据的过程。计算机取证通常包含五个步骤：

（1）甄别：通过适当的方法获得能够识别信息的类型。

（2）传输：将获取的有效的证据信息安全地传送到服务器上。

（3）存储：确保原始的一致性和完整性，不被篡改。

（4）分析：对证据进行科学和系统的分析，达到犯罪的事实。

（5）提交：将分析事实和陈述提交相应机构。

计算机取证系统包括了安全日志生成模块、网络数据收集模块、证据分析模块。各模块与计算机取证步骤之间的关系如图1所示。

3、安全日志生成的实现

电子证据要确保真实性和完整性。日志文件对于安全来说非常重要，利用日志可以进行故障排除，或者查到攻击者留下的痕迹。为了获得日志信息，通常在被攻击的目标机器上启用程序，收集目标主机上的所有日志记录，例如telnet、ftp和http等登录日志，然后应用安全的协议协议实时地将这些原始的日志信息写入到取证机上保存起来，原始日志信息数据写入到取证机是采用数字签名，确保这些信息的不可否认性。安全日志模型如图2所示。

日志文件生成程序的安全性

通常情况下对主机和网络设备的访问以及对文件的删除、修改、复制和传送等行为，都会被记录到网络设备和操作系统的日志文件中，但是现在的入侵者非常聪明，为了避免留下痕迹，他们利用相应的工具在开始真正的攻击目标前首先会关闭系统或者设备的日志记录功能，或者在攻击之后轻松的删除掉这些日志，这给取证带来很大的麻烦。我们可以使用第三方日志工具来解决，第三方日志软件能够单独的获取访问系统和网络设备的日志信息。

日志文件存储的安全性

我们要采取切实可行的技术和手段保证取证机上日志信息的安全性，确保数据的真实性和完整性，防止日志信息丢失、被篡改、未经授权访问行为的发生。目前造成网络存储安全数据破坏的原因分为客观因素和主观因素。客观因素包括自然灾害，如地震等对系统的破坏，导致存储数据被破坏或丢失以及设备故障，包括存储介质的老化、失效等。客观因素有时我们无能为力，但是却可以有效的预防。主观因素包括系统管理员及维护人员的误操作以及病毒感染造成的数据破坏和网络存储安全上的“黑客”攻击，这些因素我们是可以做好预防的，而且还有可能完全避免。可以通过在线备份和介质加密等多种手段确保日志信息存储的安全。

日志文件传输的安全性

我们可以使用SSL协议实现日志文件的安全传输。SSL利用RSA的公用密钥密码技术来实现的。公用密钥加密技术使用不对称的密钥来加密和解密，每对密钥包含一个公钥和一个私钥，公钥是公开广泛分布，而私钥是隐密的，只有自己知道。用公钥加密的数据只有私钥才能解密，相反的，用私钥加密的数据只有公钥才能解密。 SSL安全协议基于C/S模式工作，主要提供三方面的服务：（1）认证用户和服务器， 使得它们能够确信数据将被发送到正确的客户机和服务器上；（2）加密数据以隐藏被传送的数据；（3）维护数据的完整性， 确保数据在传输过程中不被改变。SSL安全传输日志的过程如图3所示。

日志文件完整性校验

在SSL协议中，采用MD5算法确保数据的完整性。MD5算法输出固定128bit长度，具有不可逆性和雪崩效应。

4、结语

本文从安全日志方面来说明入侵取证的过程。但还是有网络数据的收集和数据分析两方面没有做深入的研究和探讨。网络安全问题不仅要从防御的角度来考虑，而且更应该从法律的角度来考虑问题，而取证正是法律诉讼的核心。因此更加系统、灵活和有智能性的取证过程将是以后发展的重点。

参考文献

[1]李宵声。计算机取证中增强电子证据时态性方案。通信技术[J]，2008年4期。

[2]殷联甫。计算机取证技术。科学出版社[M]，2008年6月。

[3]张明旺，刘衍。计算机取证技术探讨。网络安全技术与应用[J]，2011年10期。

[4]史光坤。基于网络的动态计算机取证系统设计与实现[D].吉林大学，2007年。

日志5

关键词 云计算；告警融合；架构设计

中图分类号 TP393 文献标识码 A

The Design and Implement of

A Network Alarm and Data Fusion Analysis System based on Cloud Computing

Li Hong-min 1 Lu Min 1 Huang Lin 2 Zhang Jian-ping 1

（ of System Engineering， CAEP SichuanMianyang 621900；

puter College， SWUST SichuanMianyang 621900）

Abstract The current security experts focus on a difficult study which is the process-reproduce of the whole network attack by linking the independent pieces of infinite information from various kinds of security equipment. Based on the above requirements， this paper designs and implements a network alarm and data analysis system by researching on the analysis techniques of dealing large scales of logs from different kinds of equipment and constructing the hierarchical framework to fusion the pieces of information from the data layer to the feature level， and decision level.

Keywords cloud computing； data fusion； framework design

1 引言

随着信息技术的不断发展和信息化建设的高速推进，网络已成为人们进行科研、生产、办公的重要平台。由于网络具有开放性、互联性、共享性的特点，其遭受入侵的风险也日趋严重，计算机网络安全问题日益突出。黑客活动日趋频繁，网站后门、网络钓鱼、恶意程序、拒绝服务攻击事件呈大幅增长态势，针对特定目标的有组织高级可持续攻击（APT攻击）日渐增多，网络信息系统安全面临严峻挑战。

为了保证计算机和网络的安全，军工单位的网都部署了大量的网络安全设备（如防火墙、IDS）、主机监控系统、应用系统审计等用于增强网络安全防护和网络安全审计。与此同时，这些设备和系统产生了大量的结构多样、彼此独立的日志信息，这些信息无法反映一次完整的攻击，只是记录了攻击的片段，因此如何将这些片断信息链接起来，重现整个网络攻击过程，发现攻击者的真正意图，是目前网络安全态势研究的重点和难点。

本文基于以上需求，研究多源海量日志数据处理分析技术，构建层次型数据融合处理框架，实现从数据层到特征层，再到决策层的多源海量日志数据的融合处理，设计并实现基于云计算技术的网络告警数据分析系统。

2 关键技术研究

海量日志数据预处理技术

首先需要对防火墙、IDS、主≤≥机监控系统的日志进行多源融合分析，日志数据进行集中采集，并保存在日志采集服务器上；然后再启动数据推送服务（可选择线上流量较小的凌晨）将日志数据文件推送至Hadoop平台；最后将日志文件写入到集群的HDFS中。对于防火墙、入侵检测系统等设备来说，设备产生的日志信息可以通过syslog协议的方式进行推送，日志采集服务器端通过监听UDP或TCP端口的方式对日志进行采集。对于主机监控系统未提供syslog的方式推送日志，则需要读取主机监控系统服务器中的日志，并将其保存为文件形式待推送。日志数据生成过程如图1所示。

经过对防火墙、IDS、主机监控系统日志数据格式的研究，将日志分为四类（即管理配置异常类、流量异常类、违规操作类、安全攻击事件类）进行规范化处理。

（1）管理配置异常类 管理配置异常类日志是指通过提取并分析防火墙、IDS、主机监控系统中管理配置相关的日志，发现异常的管理配置操作，通过对其日志的研究可将这类日志规范化为如下格式：

LogManager（ID，dev_type，event_type，priority，user，src_ip，op，time，result，msg）。

（2）流量异常类 防火墙日志中连接类日志记录了每个session发送和接收的数据包大小，可通过统计该日志数据量来分析网络中异常流量。将这类日志规范化为如下格式：

LogFlow（ID，dev_type，event_type，priority，src_ip，src_port，dst_ip，dst_port，time，proto，inpkt，outpkt，sent，rcvd）

（3）违规操作类 主要通过主机监控系统中产生的违规日志来分析违规操作，将这类日志规范化为如下格式：

Logillegal（ID，dev_type，event_type，user，pc_name，pc_ip，time，msg）。

（4）安全攻击事件类 通过综合分析防火墙、IDS、主机监控系统三类日志发现潜在安全攻击事件，主要涉及到防火墙的访问控制类日志、IDS检测日志和主机监控中访问控制类日志，将这几类日志规范化为如下格式：

LogSec（ID，dev_type，event_type，priority，src_ip，src_port，dst_ip，dst_port，time，proto）。

以上四类日志中各个属性表示的意义如表1所示。

本文采用HDFS文件系统来存储防火墙、IDS、主机监控系统的原始日志，并可设定日志采集服务器每探测到防火墙、IDS、主机监控系统中生成一条日志立即传输日志，这样避免黑客恶意删除原始日志。HDFS文件块存储示例如图2所示。

从图2中HDFS文件块存储示例中可以看出：主机监控系统原始日志（）备份数为3，分别存储于Datanode1、Datanode2、Datanode4三个节点上；防火墙原始日志（）备份数为2，分别存储于Datanode1、Datanode3两个节点上；IDS原始日志（）备份数为2，分别存储于Datanode3、Datanode4两个节点上。这些文件存储的节点信息都在Namenode中有相应记录，当其中一个节点发生故障，Namenode会从另一个节点读取数据，从而避免单点故障导致的数据丢失或损坏问题。

网络告警融合分析方法与流程设计

网络告警融合分析是指通过对防火墙、IDS、主机监控系统的海量多源日志数据，利用提出的规则策略，结合资产信息、脆弱性信息和关联知识库等信息进行综合分析，通过融合分析判断出网络中真实发生的攻击事件。对应于四类规范化日志和制定的四类规则策略，本文将真实发生的告警分类四类，分别是管理配置类告警、流量异常类告警、违规操作类告警、安全攻击类告警。以管理配置类告警为例，其融合分析方法及其流程设计如下。

通过管理配置类规则来分析防火墙管理配置类规范化日志，可以有效分析出不在合法IP和用户范围内的管理配置类日志，并向用户产生告警信息，用于提醒用户存在非法IP和用户管理配置防火墙。管理配置类告警融合分析流程图如图3所示。

①HDFS中读取管理配置类日志文件流。

②按行读取日志文件流，根据管理配置类规则对日志文件流进行匹配。若与规则完全匹配成功，且日志时间发生于正常工作时间，则说明该日志是正常行为，此条日志分析结束，判断日志数，日志数大于0，进入②，否则进入④；若与规则匹配不成功，进入步骤③。

③与资产库进行匹配。若匹配成功，则说明该日志是来自于内部人员对防火墙进行管理配置，属于内部越权管理行为，标志其风险级别为“中”，写入管理配置类告警库中，此条日志分析结束，判断日志数，日志数大于0，进入②，否则进入④；若匹配不成功，则说明该日志来自于外部的管理配置，属于外部越权管理行为，标志其风险级别为“高”，写入管理配置类告警库中，此条日志分析结束，判断日志数，日志数大于0，进入②，否则进入④。

④管理配置类告警融合分析结束。

3 系统架构设计

总体架构及服务层次

基于Hadoop的网络告警融合分析系统通过日志采集服务器将网络中安全设备的日志数据采集并推送至Hadoop平台，再由Hadoop平台对日志进行安全存储、预处理、聚合、融合分析，最终将网络中的异常行为、攻击行为、违规行为分析出来发送至告警监测中心可视化展示，该系统具有几项特点。

①随着网络中安全设备规模增加和产生的日志量的海量增长趋势，系统利用Hadoop平台搭建了私有云用于数据存储，保证原始日志数据安全可靠的存储。

②系统利用Hadoop平台对海量日志进行融合分析处理，有效提高了系统的分析处理效率。

③系统搭建了告警监测中心，用户能够实时监测由日志分析得出的安全事件。

如图4所示为基于Hadoop的告警融合分析系统总体架构图，整个分布式告警融合分析系统分为日志采集端、日志分析处理中心、告警监测中心三部分。其中日志采集服务器主要负责采集网络中防火墙、入侵检测系统、主机监控系统的日志数据，并将日志推送至Hadoop平台中；日志分析处理中心主要负责对原始日志的安全存储、日志预处理、日志聚合、告警融合分析，产生真实攻击的告警信息，并发送给告警监测中心；告警监测中心主要是供管理员直接查看当前异常、攻击、违规行为等事件。

在基于Hadoop的网络告警融合分析系统中，根据所提供的服务类型将整个系统划分为四个层次，即应用层、适配层、云计算平台层和数据采集层。系统的服务层次如图5所示。

（1）数据采集层 数据采集层是整个系统的数据来源，由采集服务器统一采集各安全设备的日志，然后集中启动数据推送服务，最后将日志文件写入到集群的HDFS中。

（2）云计算平台层 以Hadoop作为支撑，是整个系统的数据处理中心，利用HDFS存储海量的日志数据，保证了数据的可靠存储和并行读写；利用MapReduce并行处理机制，为系统提供了强大的数据计算能力；云计算平台层提供了一系列应用接口，为整个系统提供高效稳定的数据持久化支持。

（3）适配层 在基于Hadoop的网络告警融合分析系统中，适配层位于应用层和服务器集群之间，为整个系统提供管理和服务，为应用层提供统一的标准化程序接口和协议。通信引擎负责整个系统的数据流和控制流的交互和传输；基础数据管理用于控制整个子节点以及分析对象配置。

（4）应用层 应用层采用J2EE规范的JSP、HTML、SSH（struts2+spring+hibernate）等技术，结合Hive提供的强大的海量数据搜索功能，为整个系统提供告警可视化呈现。

日志采集模块设计与实现

本文通过日志采集端对日志数据进行收集。日志数据采集方案由三个步骤组成：日志数据文件生成（防火墙、IDS、主机监控系统）、日志数据推送、日志数据写入HDFS。其具体流程如图6所示。

图6描述了日志数据的采集流程，首先由日志采集服务器采集来自防火墙、IDS、主机监控系统的日志，并保存在日志采集服务器上；然后再启动数据推送服务（可选择线上流量较小的凌晨）将日志数据文件推送至Hadoop平台；最后将日志文件写入到集群的HDFS中。其中，关键代码如下：

String target="hdfs：//：9000/home/hadoop/data/orig_log/"；

FileInputStream fis=new FileInputStream（new File（"d：＼＼"））；

Configuration conf=new Configuration（）；

FileSystem fs=（target），conf）；

OutputStream os=（new Path（target））；

（fis， os， 4096，true）。

代码中，是HDFS的地址，是Hadoop中防火墙原始日志位置，是本地文件位置。通过上述关键部分代码即可将本地文件推送至HDFS中存储。

告警监测中心设计与实现

经过融合分析处理之后，将异常、违规类安全事件提取出来并存储于MySQL数据库中，前台采用J2EE规范的JSP、HTML、SSH（struts2+spring+hibernate）等技术，结合Hive提供的强大的海量数据搜索功能，为整个系统提供告警可视化呈现。

Hive相关的数据操作示例：

（1）Hive导入Map/Reduce运行的数据：

LOAD DATA INPATH '/user/hduser/bin-output/

part-r-00000' INTO TABLE tablename。

（2）Hive与MySQL建立连接：

connToHive=（"jdbc：hive：//：10000/default"， "hive"， "mysql"）； //获得与Hive连接

connToMySQL=（"jdbc：mysql：//：3306/hive？useUnicode=true&characterEncoding=UTF8"，"root"，"mysql"）；//与MySQL连接。

（3）输入HQL进行查询：

select * from tablename where dev_type like 'fw%'。

通过人机交互方式，将分析处理结果展现给管理员，便于管理员直接掌握当前网络中的安全状况，以违规操作类事件为例。主机监控系统中所有违规信息将被筛选并展示在违规操作类事件列表中，管理员可通过多条件过滤进行查询，筛选出关心的违规操作类事件。违规操作类事件界面设计如图7所示。

4 结束语

本系统设计完成后，还需在进一步在网环境中验证其有效性和效能，并修改完善系统架构，为后期的安全态势分析做技术支撑。

参考文献

[1] Robert /2011 CSI Computer Crime and Security Survey. 2011.

[2] 国家计算机网络应急技术处理协调中心。CNCERT/年中国互联网网络安全报告。北京，2013.：13-17.

[3] Jeong Jin Cheon and Tae-Young Choe. “Distributed Processing of Snort Alert Log using Hadoop”，IJET，Vol 5，No-3.：2685-2690，2013.

[4] T. Zang， X. Yun， and Y. Zhang. “A survey of alert fusion techniques for security incident，” in Web-Age Information Management， 2008. WAIM’08. The Ninth International Conference on， 2008.：475-481.

[5] T. Zhihong， Q. Baoshan， Y. Jianwei， and Z. Hongli， “Alertclu： A realtime alert aggregation and correlation system，” in Cyber worlds， 2008 International Conference on， 2008. ：778-781.

[6] ， Y. Xiang， andW. Zhou， “A lightweight intrusion alert fusion system，”in High Performance Computing and Communications （HPCC），2010 12th IEEE International Conference on，2010.：695-700.

[7] ，， and ， “Design and implementation of a distributed ids alert aggregation model，” in Computer Science Education，2009. ICCSE’09. 4th International Conference on，2009.：975-980.

[8] A. Hofmann and ， “Online intrusion alert aggregation with generative data stream modeling，”Dependable and Secure Computing，IEEE Transactions on，，，2011.：282-294.

[9] Wenjie Xu， Etc. Application of Bayesian Network in Information Fusion Analysis of Four Diagnostic Methods of Traditional Chinese Medicine. 2010 IEEE International Conference on Bioinformatics and Biomedicine Workshops. 2010 IEEE.：694-697.

[10] 韩景灵，孙敏。 入侵检测报警信息融合系统的构建与实现。 计算机技术与发展，2007（6）：159-162.

[11] and ，Model-Based Monitoring for Cyber 2000 Conf，：80-92.

[12] Kruegel C， Robertson W. Alert Verification： Determining the Success of Intrusion Attempts[C]. Proceedings of the 1st Workshop on Detection of Intrusions and Malware & Vulnerability Assessment. Germany， 2004-07.

[13] 王景新，王志英，戴葵。 基于多源安全信息的IDS告警验证研究。计算机应用，2007 Vol. 27 （8）： 1910-1912.

[14] 张戈，雷英杰，薛梅，安和平。 直觉模糊综合评判在多源告警校验中的应用研究。 小型微型计算机系统，

[15] 何光宇，闻英友，赵宏。基于主动D-S理论分类器的告警校验。计算机工程，

[16] 左晶，段海新，于雪莉。入侵检测系统中报警验证模块的设计与实现。计算机工程，