AIOps案例 | 大型物流公司的多数据源统一监控及告警压缩处理

本文作者:擎创夏洛克AIOps (内容节选)

一说起智能运维在国内的应用,大量的客户都分布于金融行业。因为金融业数据量巨大、对运维故障容忍度更低,所以在智能运维上的投入会更大,应用水平也更高。
但越来越多其他行业的客户,也因为降本增效的挑战而选择智能运维。本案例来自于全国最大的物流企业,过去的一两年时间里,对于运维数据的接入和治理,为未来的智能运维场景建设打下坚实的基础。

案例基本情况

该物流企业有覆盖全国中心、试点省份等多个集团业务板块的、满足一线服务台、二线技术的运维管理,业务负责人及管理人员的运营决策分析需求。

  • 各集成基础监控、私有云、网管日志等6类数据源
  • 日处理数据量(日志+指标+告警等)超过10亿条

解决方案规

从整体层面看,该平台总共分为五大层级:

数据采集层:接入6类数据源、4类主要运维数据

数据支撑层:纳管CMDB和负责安全管理

数据处理层:AI算法引擎+流批一体化处理能力

应用场景层:包含四大中心,20+配套场景

运维展现层:统一门户和可观测分析展示

部分关键场景

1 智能应用场景-智能时序检测

针对具有时间序列、周期/非周期性的指标进行异常检测,通过对未来趋势预测、异常判断等来弥补故障发现迟、发现难的情况,对资源增长和指标裂变等进行分析,提高事前预警能力。

图片

2 综合性运维门户

结合工作台、知识库、智能报表、自动化操作等打造一站式运维体验,采用OLAP的数据分析架构,同时满足数据查询、分析、知识获取等多样运维管理需求。

图片

解决方案优势

数据标准化治理

通过对不同源且格式各异的运维数据,按照标准进行标准化管理、统一化服务,实现标准数据的统一应用

多维立体化监控

在基础监控和自动化的基础上,通过AI和算法调优,实现动态检测和趋势预测

算法加持

使用非结构化数据聚类算法,加之AI算法引擎,提供大数据级别的数据处理能力和速度,进一步提升监控效能

可观测性

从业务运营需求出发结合可观测定制能力,对多类型数据按需分析并给出直观结果,使运维和运营更高效化

解决方案收益

从数据采集处理、资源监控、智能算法判断、自动化故障处理到知识沉淀、故障跟踪管理,形成一体化闭环流程,实现了磁盘空间清理、应用程序重启、日志清理、数据库备份等常见日常运维工作的自动化处置,彻底从人工运维转为智能化运维,完成降本增效的要求。

  • 实现对6类数据源、4类运维数据的统一采集、治理和统筹应用
  • 每分钟处理原始告警500+条,压缩率高达99%
  • 低代码构建流批中台任务900余项,100%实时分析处理

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/444254.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

黑马程序员前端web入门:新浪新闻

黑马程序员前端web入门:新浪新闻 几点学习到的: 设置li无圆点: list-style: none;设置a无下划线:text-decoration: none;a属于行内元素,高度hegiht不起作用,可以设置 display: block; 把它变成块元素。此时&#xff0c…

机器学习数学基础

机器学习基础 1、标量、向量、矩阵、张量2、概率函数、概率分布、概率密度、分布函数3、向量的线性相关性4、最大似然估计5、正态分布(高斯分布)6、向量的外积(叉积)7、向量的内积(点积)8、超平面(H)1、标量、向量、矩阵、张量 标量、向量、矩阵和张量是线性代数中不同…

C++关键词auto详解

顾得泉:个人主页 个人专栏:《Linux操作系统》 《C从入门到精通》 《LeedCode刷题》 键盘敲烂,年薪百万! 一、小思考 随着我们对于C的不断学习,遇到的程序越来越复杂,程序中用到的类型也越来越复杂…

通用CI/CD软件平台TeamCity全新发布v2023.11——增强Git托管平台的集成

TeamCity是一个通用的 CI/CD 软件平台,可以实现灵活的工作流、协作和开发做法。我们的解决方案将帮助在您的 DevOps 流程中成功实现持续集成、持续交付和持续部署。 TeamCity 2023.11正式版下载 TeamCity 2023.11 带来了矩阵构建和构建缓存等多项备受期待的功能&a…

【Linux取经路】进程控制——进程等待

文章目录 一、进程创建1.1 初识 fork 函数1.2 fork 函数返回值1.3 写时拷贝1.4 fork 的常规用法1.5 fork 调用失败的原因1.6 创建一批进程 二、进程终止2.1 进程退出场景2.2 strerror函数2.3 errno全局变量2.4 程序异常2.5 进程常见退出方法2.6 exit 函数2.7 _exit 函数和 exit…

miniReact<一>

一、工程化配置 1.1 目录结构 1.1.1 Multi-repo VS Mono-repo Multi-repo 每个库有自己独立的仓库,逻辑清晰,协同管理复杂 Mono-repo 很方便管理不同独立的库的生命周期,会有更高的操作复杂度 项目有很多包,同时管理多个不同的…

MySQL原理(四)索引(3)索引失效与索引区分度

一、索引失效: 首先未使用索引列作为查询条件索引是肯定会生效的,还有其他的情况,索引列做为了查询条件也失效了: ALTER TABLE staffs ADD INDEX idx_staffs_nameAgePos(NAME, age, pos); 1、select 语句、order by语句&#xf…

如何快捷查看电脑配置

目录 1.左下角搜索输入cmd打开控制台,输入命令**systeminfo**然后回车2.左下角搜索系统信息然后点开 👍 点赞,你的认可是我创作的动力! ⭐️ 收藏,你的青睐是我努力的方向! ✏️ 评论,你的意见…

pnpm : 无法加载文件 D:\tool\nvm\nvm\node_global\pnpm.ps1,因为在此系统上禁止运行脚本

你们好,我是金金金。 场景 新创建的项目,在vscode编辑器终端输入 pnpm i,显示报错如上 解决 在终端输入get-ExecutionPolicy(查看执行策略/权限) 输出Restricted(受限的) 终端再次输入Set-ExecutionPolicy -Scope CurrentUser命令给用户赋予…

神经网络的一些常规概念

epoch:是指所有样本数据在神经网络训练一次(单次epoch(全部训练样本/batchsize)/iteration1)或者(1个epochiteration数 batchsize数) batch-size:顾名思义就是批次大小,也就是一次训练选取的样…

贪吃蛇/链表实现(C/C++)

本篇使用C语言实现贪吃蛇小游戏,我们将其分为了三个大部分,第一个部分游戏开始GameStart,游戏运行GameRun,以及游戏结束GameRun。对于整体游戏主要思想是基于链表实现,但若仅仅只有C语言的知识还不够,我们还…

数据结构_单链表题-2.1

一. 反转单链表 将一个单链表反过来。 个人思路(一团浆糊大错特错) 反转嘛,变最后为起点,依次反转过来就行了。 1)找到最后三个链表结点,分别保存下来,以最后一个为首地址。 2)最…