媒体报道

首页 > 关于我们 > 安恒动态 > 2021 > 正文

破解海量网络安全大数据存储难题，我们做了这六步

阅读量：次

Elasticsearch是一种流行的企业级搜索引擎，它为企业提供了一个分布式多用户能力的全文搜索引擎。在实际的网络安全大数据领域，ES作为大数据组件，常常承担着业务上核心的数据存储与数据查询分析职能，直接关系着整个数据安全产品的功能与性能。

安恒AiLPHA大数据智能安全平台，是网络安全大数据领域十分优秀的产品和应用解决方案，其内部集成着：超大规模数据存查、大数据实时智能分析、威胁情报碰撞、全网流量处理、复杂事件实时处理等功能，更具备了流计算任务监控管理、安全模型定制化开发与编排管理、ES及kafka运维监控管理、语法统一与转换功能。

而以上所有这些功能的实现与稳定运行，所依托的，都是其内部自研的大数据框架——BaaS。

图1 BaaS平台架构

BaaS，不仅仅意味着后端即服务，也秉承AiLPHA提出的大数据实验室大数据即服务的理念。如图1所示，BaaS不仅是整个安恒AiLPHA大数据智能分析平台的计算核心，担负着数据ETL、实时流计算、模型匹配、告警生成、数据入库等核心的数据处理业务，更为产品提供了统一的运维监控管理平台，以应对ES、kafka等组件的管理。BaaS为安恒的网络安全业务提供一整套系统、成熟的大数据解决方案。

网络安全大数据分析的业务挑战

多源异构的数据接入

网络安全大数据分析平台，不可能不支持多样的数据格式与类型，它需要对不同厂家不同类型探针采集到的不同格式数据进行统一分析入库。

差异化的海量数据存储

网络安全大数据分析存储的场景，决定了其数据主要可以分为：流量数据、日志数据、中间计算结果、告警数据、维表数据等几类。特别是海量的流量和日志数据常常会对集群造成很大的压力，而接入的数据在不同客户不同现场的数据分布情况上也都有很大的差异。例如常见的：数据在时间分布上存在周期性的高峰期，以至在ES集群中造成了超大索引，如果不加以有效的管理，将使索引的大小完全取决于客户数据的接入，实质是对自己的集群失去了控制。

分析结果数据的细化管理

对于网络安全大数据平台类的产品，在数据入库的同时还需要对数据进行计算分析，这些分析计算的结果数据可以用于报表生成、大屏展示、模型再匹配等。这类数据常常与具体的分析业务或安全模型相关。而基于安全大数据平台中开放的自定义安全模型管理功能，用户可以在大数据智能安全平台上自定义添加管理模型或业务，这也就对相关的ES索引管理提出了需求。

机器资源的适配

CPU、内存、磁盘等等这些，机器资源永远是有限的。如何在各个现场合理分配资源、配置ES索引，如何更便捷适配不同的机器资源环境，这些都对BaaS的ES索引管理提出了挑战。

数据生命周期的管理

对于数据的管理，不仅仅是针对于数据写入，还应当包括对已经入库的数据的整个生命周期的管理。数据入库之后保存多久？有没有必要把所有数据都放在ES的内存中支持快速查询？如果一直这样下去系统怎么才能持续运转？是否要实现数据的冷热分离？这些问题，都是值得考虑的。

与上层业务的去耦合

对于网络安全大数据平台类的产品，数据入库对应的索引后，还需要支持查询检索、安全分析的操作与业务，这就要求ES索引管理策略与上层业务去耦合，否则将使得底层的索引的分类方式、命名方式、乃至于管理方式与查询业务严重耦合，牵一发而动全身。

常常会有客户要求：我们的索引按地域划分好不好？能不能不按周划分而是按半年？我们的索引就是想叫我们自己喜欢的名字，等等这些，在之前往往只能是定制团队带队上线，定制开发。

实践方案

为破解海量网络安全大数据存储难题，BaaS已经形成了一套完整的ES管理机制，针对不同版本、不同环境、不同客户需求的大数据智能安全平台业务，提供动态配置，快速便捷地适应产品需要。

1. 索引划分的优化

在海量的大数据网络安全实施经验的基础上，BaaS优化了默认的索引划分方式。将海量的日志数据根据威胁等级等属性进行划分，统一保存在日志类型相关的索引中；将异常记录、原始告警、统计指标等其他类型数据按较长的时间周期划分，例如月、半年、一年或不划分，并且将划分方式与具体的安全模型或业务解耦，将这类数据全部统一打上相应的标签标识所属业务，实现对入库数据的差异化。

BaaS通过合理的细化管理，优化索引种类、数量、分片数，在兼顾业务的同时极大地减少了维护成本与ES集群的压力。

另外，不同于之前硬编码强耦合的方式，BaaS支持动态的配置调整索引的名称、划分周期及业务含义等，对于不同的网络安全场景，都可以仅通过配置动态定制自己的入库策略与索引划分方式。

2、引入别名

如果索引划分的逻辑变更了，或者根据客户要求通过BaaS修改了索引的名称、划分周期，那么之前相关联的其他业务模块不是也都要跟着改一遍吗？

No，No，No！

BaaS引入了ES的别名机制，使得与ES相关的其他业务能够和BaaS的ES索引管理的策略解耦。索引别名可以指向一个或多个索引，并且可以在任何需要索引名称的API中使用。别名为我们提供了极大的灵活性，它允许我们在正在运行的集群上的一个索引和另一个索引之间切换，或对多个索引进行分组组合，而这些对于业务的调用方是透明的。例如：为兼容旧版本业务，默认情况下每种索引都会有一个与过去版本同类型索引名对应的别名，使得其他业务能够依然正常使用。

另外，对于每个索引，可以配置多个别名，适配多种安全大数据分析场景。

以上这些，都可以通过BaaS动态配置管理实现，这就达到了解耦上层业务的目的。

3、ES索引模板维护

BaaS在海量大数据存储与安全分析的业务中引入了索引模板的管理。对于每一种划分的索引，都首先为其新建模板，然后在新建索引以应用模板中的设置。

在索引的模板中，可以配置索引的别名、索引的配置（settings）、字段映射（mappings）等信息，明确地设定索引的分片数、副本数及其他可优化性能的配置。

同时，基于BaaS统一的数据字典管理功能，我们根据分析团队及客户提供的数据字典，动态的生成索引mapping，规范数据的写入，使得海量的异构数据遵循统一的数据字典标准。另外，动态mapping的支持使得安恒的大数据安全平台具备了动态拓展能力，也能支持客户现场多样的不在字典中的非标字段。

我们还将索引的模板配置开放到了BaaS自己的前端界面，便于运维与监控。例如：在修改了某一类索引的模板内容后，BaaS将自动修改ES集群中模板的内容，并新建一个新的索引以应用最新的模板配置，并将可写的别名指向这个新建的索引。整个操作对于业务方式完全透明的，但在后端实质上已经实现了索引配置的实时更新。

4、ES索引生命周期管理

ES的索引生命周期，可以随时间的推移管理索引。对于时间序列的索引，索引生命周期有四个阶段：hot——索引积极地更新和查询、warm——索引不再更新，但仍在查询中、cold——索引不再更新并且很少被查询。信息仍然可搜索，可以接受较慢的查询速度、delete——不再需要索引，可以安全地删除它。

BaaS引入了ES的索引生命周期管理机制，对每一种索引都配置了相应的生命周期。它与索引的别名管理、模板管理，三者之间是紧密联系，三位一体的。

特别是，在hot阶段，我们配置了索引滚动（rollover）。这一功能使得我们可以设置一个存储空间或数据条数的阈值，当数据持续写入时，一旦超过这一阈值，ES将进行索引滚动，新建一个索引并使得原有索引的写别名指向这个索引，同时还会将原索引标记为只读。而又由于BaaS为每一种索引都设置了对应的模板，新生成的索引仍将应用我们配置好的索引，整个系统能够持续稳定运行。这就解决了常见的数据不均衡导致的个别索引过大问题。

除此之外，在warm、cold阶段，通过BaaS也可以相应地设置索引收缩、冷冻等操作，以减轻大数据安全分析集群存储和运行时的压力。

5、定时任务

由于ES6.8版本本身对于生命周期的实现还有很多需要改进之处，BaaS平台为实现集群的长时间稳定运行，对于常见的异常情况都配置了相应的定时任务，在ES本身机制之外提供了“双保险”，保证着模板管理、别名管理、生命周期管理这三者的持续可用，保证着整个集群长期可持续稳定运行。

鉴于《中华人民共和国网络安全法》国家网络安全法中要求网络日志保存6个月以上的规定，针对海量的网络安全大数据存储业务，BaaS配置了相关的磁盘清理、定时检查等任务，保证数据在ES索引中的安全性的同时也将及时清理重要级别较低的数据，使集群能够长期稳定运行。

6、动态支持

基于应用场景数据量、成本等因素，安全大数据产品一般需要支持多变得机器资源环境配置，例如有单台、双台、多台等，或是ARM版、mini版、敏捷版等不同分类，更有各类定制项目。而不管是哪个版，能够分配给BaaS、分配给ES的资源总是屈指可数。在不同环境中如果都使用一套配置那显然是不现实的。

BaaS有一套动态的机制，可以根据ES集群的节点数，动态的配置模板中的分片数、索引生命周期中的索引滚动阈值等，实现自适应的ES索引的管理。

不断精进

随着网络安全大数据分析业务的不断拓展，对ES索引管理提出了更多更高的要求。随着多年的研究和技术发展，安恒AiLPHA大数据智能安全平台针对网络安大数据相关相关的使用场景，我们还在不断地精进。

1.以自研的flink流计算任务实现etl模块，替换了“较重”的logstash；

2.ES集群级别的配置优化；

3.可以通过界面便捷操作的ES运维监控平台；

4.ES写入策略优化；

5.对于特殊场景、去除了副本及ES的translog机制以大幅提升性能。

迎接挑战

bg大游官方入口AiLPHA大数据智能安全平台，全天候监测60000+业务系统，累计发现300000+起安全隐患，协助公安追溯打击案件五十余件，为国家安全建设作出耀眼成绩。

在企业态势感知领域，率先落地UEBA、SOAR、ATT&CK，推出智能资产测绘、AI关联分析、可编排的安全运营三大核心能力，显著提升安全运营效率400%以上。

在网络全球化的时代，网络安全问题已经成为全球企业进行数字化转型的巨大阻碍。bg大游官方入口立足国内，全球布局，成功开辟欧洲、北美市场，为全球超过2000家客户提供高质量的态势感知服务。

BaaS作为安恒AiLPHA的计算核心，将继续为这座大厦做好基础的、稳定的、坚固的柱石，为客户提供业务不间断稳定运行安全保障，致力于让安全更智能，更简单。

关闭

AI+安全>

数据安全>

数据基础设施>

态势感知>

云安全>

基础安全>

终端安全>

商用密码>

软件供应链安全>

网络空间靶场>