pk10规则-1分pk10规则智能运维场景解析:高性能智能日志分析平台需求与建设

  • 时间:
  • 浏览:1
  • 来源:UU快三平台-UU直播平台

数据是数字化转型的基础,缺少数据支撑的数字化蓝图如空中楼阁,难以经受市场的考验。无论是从pk10规则-1分pk10规则信息化向数字化迈进的传统企业,还是IT开花结果期期期期期期 图片 图片 度较高的新兴行业,pk10规则-1分pk10规则pk10规则-1分pk10规则日志数据有的是不可或缺的信息来源,其重要程度不亚于IT

数据是数字化转型的基础,缺少数据支撑的数字化蓝图如空中楼阁,难以经受市场的考验。无论是从信息化向数字化迈进的传统企业,还是IT开花结果期期期期期期 图片 图片 度较高的新兴行业,日志数据有的是不可或缺的信息来源,其重要程度不亚于IT监控数据和APM性能数据。而搭建高性能日志分析平台,也是IT部门确保数字业务高效运转的重要手段。

日志数据中记录了富有的信息,为问题图片报告 定位和故障预测提供完整性的数据,在运维中发挥着重要的作用。通过对日志进行分析,运维人员也能了解服务器、软硬件、用户行为等完整性信息,从而快速发现故障原因及时告警将会对未趋于稳定的故障进行预警,提升运维的传输速率。

目前,企业日志数据的应用普遍面临着统一管理、海量日志数据处里、安全合规、数据价值挖掘等挑战:

·日志统一管理:业务系统多、数据离散、日志种类多、字段定义未标准化,无法统一管理;同时日志分散不方便查看、日志搜索操作繁复且传输速率低。

·海量日志数据处里:在每天TB级以上的数据增量下,传统处里方案的扩展性和稳定性无法保证。

·安全合规:对运维人员的违规操作、系统运行异常、设备故障等安全事件不足监控能力。

·日志数据的价值挖掘:日志数据中涵盖絮状有价值内容,对数据价值利用不足,仅守候在被动排障阶段,无法对业务和IT主动感知,业务异常无法及时发现。

以云智慧网服务的某国内100强企业为例,该企业承担着产业链上下游数百家企业海量电子信息的实时汇聚和处里,每天新生成日志数据达到数十TB,而且分布式交易系统调用关系繁复,如何快速解析检索日志、审计追溯交易、快速定位故障、及时发现安全隐患有的是该企业IT部门亟需处里的问题图片报告 。

依托自研的Dpk10规则-1分pk10规则OLA产品,云智慧网为该企业搭建了高性能智能日志分析平台,其日志处里能力达到以下性能指标:

·支持8万/秒并发数据实时段 析处里,数据传输和平台解析处里吞吐量:540MB/s,处里延时在100毫秒以内;

·秒级查询全量24小时的实时日志数据,实时日志搜索耗时<1s; 7日内数据积累的基础上的响应延时<100s;

·单点客户端平均传输传输速率> 1万 EPS(Event per second);

·采用高性能的分布式列式存储数据库,服务器数据生成能力在100MB/s以上,且数据完整性性100%;

·扩展性:支持线性扩容,可视化配置/启停处里节点,每秒处里数据量支持线性增加;

·可插拔:所有埋点器均采用可插拔设计,且所有解析器均支持二次开发扩展;

DOLA,即Digital Operation Log Analytics,是云智慧网的数字化运维日志分析产品。DOLA产品基于大数据技术与智能算法,也能实现离散日志数据的统一埋点、处里、检索、模式识别以及可视化分析,可应用于统一的日志管理、基于日志的运维监控与分析、安全审计与合规、各种业务分析等运维场景。

自主研发的DOLA日志埋点器以及Filebeat、 Logstash等多种开源日志埋点器,也能对来自网络设备、安全设备、操作系统、数据库、后面 件、业务系统的离散的日志数据进行全面、有效、集中的埋点,适配多种数据库,操作简便,帮助客户减少日志埋点的时间与人力成本。

云智慧网DOLA产品广泛适用于以下应用场景:

·统一日志管理:企业日志具有跨平台、种类繁多、数据量大等特点,为了处里日志分散不方便查看、日志搜索操作繁复传输速率低下、日志利用率低、无法帮助运维人员进行问题图片报告 分析与定位,还要对日志进行统一的管理。DOLA也能提供一站式的统一日志管理服务,实现离散日志的统一埋点、处里、存储、归档以及查询,降低运维人员查找日志的成本,处里⼈为登录服务器误操作引发的生产故障。

·基于日志的调用链跟踪:调用链中涵盖了从源头请求(比如前端网页请求、无线客户端请求等)到底层系统(比如数据库、分布式缓存等)的所有后面 环节,DOLA也能实现无侵入式的数据埋点,帮助运维人员快速分析系统性能消耗的原因、定位异常并处里问题图片报告 。

·基于日志模式的异常识别:企业日志种类繁多、数量巨大、产生传输速率快,如何快速从海量日志中获取信息进行异常定位是日志分析中的一大痛点。DOLA基于日志模式对异常进行识别,也能帮助运维人员快速找出另一方关心的日志类型,将会发现异常日志,发出告警,缩短问题图片报告 发现的时间。

·指标的异常检测:什么都 业务指标的数据具有周期性和季节性,传统的通过人工设置固定阈值的告警最好的土办法,不仅费时费力,且严重依赖运维人员的经验,容易产生误报以及漏报。DOLA通过动态基线算法对日志中的指标数据进行智能异常检测,直接识别异常的业务系统将会IT系统,也能大幅度减少人工阈值的配置工作,提升告警的准确率。

(本内容属于网络转载,文中涉及图片等内容如有侵权,请联系编辑删除)