系统日志采集法

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。(https://www.daowen.com)

日志文件能够详细记录系统每天发生的各种各样的事件，对网络安全起着非常重要的作用。网络中心有大量安全设备，将所有的安全设备逐个查看是非常费时、费力的。另外，由于安全设备的缓存器以先进先出的队列模式处理日志记录，保存时间不长的记录将被刷新，一些重要的日志记录有可能被覆盖。因此在日常网络安全管理中应该建立起一套有效的日志数据采集方法，将所有安全设备的日志记录汇总，便于管理和查询，从中提取出有用的日志信息供网络安全管理方面使用，及时发现有关安全设备在运行过程中出现的安全问题，以便更好地保证网络正常运行。