一、OpenSOC：安全大数据分析框架

思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC，引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架，它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目 Hadoop，实时索引使用开源项目 ElasticSearch，在线流分析使用著名的开源项目 Storm。OpenSOC 概念性体系架构如下图所示:

OpenSOC 主要功能包括：

• 可扩展的接收器和分析器能够监视任何Telemetry数据源
• 是一个扩展性很强的框架，且支持各种Telemetry数据流
• 支持对Telemetry数据流的异常检测和基于规则实时告警
• 通过预设时间使用Hadoop存储Telemetry的数据流
• 支持使用ElasticSearch实现自动化实时索引Telemetry数据流
• 支持使用Hive利用SQL查询存储在Hadoop中的数据
• 能够兼容ODBC/JDBC和继承已有的分析工具
• 具有丰富的分析应用,且能够集成已有的分析工具
• 支持实时的Telemetry搜索和跨Telemetry的匹配
• 支持自动生成报告、和异常报警
• 支持原数据包的抓取、存储、重组
• 支持数据驱动的安全模型

OpenSOC 官方文档介绍了以下五大优点：

• 由思科全力支持，适用于内部多用户
• 免费、开源、基于Apache协议授权
• 基于高可扩展平台（Hadoop、Kafka、Storm）实现
• 基于可扩展的插件式设计
• 具有灵活的部署模式，可在企业内部部署或者云端部署
• 具有集中化的管理流程、人员和数据

当前，OpenSOC 运行条件包括：

• 两个网卡（建议使用Napatech的NT20E2-CAP网卡）
• Apache Flume 1.4.0 版本及以上
• Apache Kafka 0.8.1 版本及以上
• Apache Storm 0.9 版本及以上
• Apache Hadoop 2.x 系列的任意版本
• Apache Hive 12 版本及以上（建议使用13版本）
• Apache Hbase 0.94 版本及以上
• ElasticSearch 1.1 版本及以上
• MySQL 5.6 版本及以上等。

二、当大数据遇到安全分析：思科OpenSOC

大数据与安全分析技术的结合是信息安全市场的热点话题，而思科公司的安全大数据分析框架OpenSOC也在BroCON大会亮相（演讲幻灯片、视频）。据Solidot报道，今年BroCON上最受广泛关注的议题之一就是OpenSOC。OpenSOC是一个针对网络包和流的大数据分析框架，能实时的检测网络异常情况并且可以扩展很多节点，存储是使用Hadoop，实时索引还是使用的开源 项目Elastic Search，在线流分析使用著名的开源项目Storm。关于SOC中SIEM联动的部分目前没有看到介绍。”

参考资料：

1、http://www.oschina.net/p/opensoc

2、OpenSOC开源代码：https://github.com/OpenSOC/opensoc。

3、当大数据遇到安全分析：思科OpenSOC即将开源

转载请注明：jinglingshu的博客 » 安全大数据分析框架OpenSOC