IT系统可观测性

在这里插入图片描述

什么是可观测性

可观测性(Observability)是指能够从系统的外部输出推断出系统内部状态的能力。在IT和云计算领域,它涉及使用软件工具和实践来收集、关联和分析分布式应用程序以及运行这些应用程序的硬件和网络产生的性能数据流。这样做可以更高效地监控、诊断和调试应用程序和网络,满足客户体验期望、服务级别协议(SLA)和其他业务需求。

可观测性通常关注三种主要的遥测数据类型:

  1. 日志:记录应用程序事件的详细时间戳记。
  2. 指标:基本测量数据,如内存使用量或CPU容量。
  3. 跟踪:记录每个用户请求的端到端过程。

通过这些数据,团队可以更有效地监控现代系统,找到并解决问题的根本原因,从而提高系统性能。可观测性的实践对于云原生环境中的应用开发和运维尤为重要,因为它们支持快速迭代和动态部署的需求。

可观测性开源工具有哪些

可观测性的开源软件工具有很多,这里是一些例子:

  1. HoloInsight:蚂蚁集团开源的智能可观测平台,提供日志监控、业务指标监控和AIOps的前沿探索。
  2. Prometheus:一个开源监控解决方案,提供强大的指标、洞察力和警报。
  3. OpenTelemetry (OTel):一个供应商中立的开源可观察性框架,用于检测、生成、收集和导出遥测数据。
  4. Jaeger:一个开源的端到端分布式跟踪平台,帮助进行分布式事务监控和性能优化。
  5. Grafana:一个开放的监控和可观察性平台,可帮助可视化数据。
  6. ELK Stack:由Elasticsearch、Logstash和Kibana组成的强大的Kubernetes可观察性工具组合。
  7. Fluentd/Fluent Bit:一个开源项目,旨在将不兼容的日志记录格式和过程转换为统一的日志记录层。
  8. Kindling:一个基于eBPF的云原生可观测性开源工具,帮助用户理解应用从内核层到代码层的行为。
  9. OpenObserve:一个开源的云原生可观测性平台,显著降低运营成本,并提高了易用性。

这些工具可以帮助团队更有效地监控和管理系统,提高可观测性和故障排查的能力。选择哪个工具取决于具体的需求和环境。你可以访问它们的官方文档或社区,了解更多关于安装和使用的信息。

全新的可观测开源组件grafana agent

Grafana Agent 是一个灵活、高性能的遥测数据收集器,它与多个生态系统兼容,如 Prometheus 和 OpenTelemetry。它的主要功能包括:

  • 收集数据:可以收集指标、日志、追踪和连续性分析数据。
  • 数据转换:能够对收集的数据进行处理和转换。
  • 数据发送:将处理后的数据发送到 Prometheus 生态系统、OpenTelemetry 生态系统以及 Grafana 开源生态系统(如 Loki、Grafana、Tempo、Mimir、Pyroscope)。
  • 编程观测性管道:通过组件连接,形成可编程的观测性管道,用于遥测数据的收集、处理和传递。
  • 灵活性和性能:设计上注重灵活性和性能,支持在多种平台上部署,包括 Linux、Windows 和 macOS。

Grafana Agent 提供了多种运行模式,包括静态模式、Kubernetes 操作员模式和流模式,每种模式都有其特定的功能和使用场景。此外,Grafana Agent 还支持与 Grafana Cloud 的集成,提供官方的供应商支持和云集成选项²。它是一个“电池包含”的解决方案,意味着它预装了与多个系统(如 MySQL、Kubernetes 和 Apache)集成的功能,可以立即提供有用的遥测数据。

与grafana agent集成的服务

Grafana Agent 通常与多种服务集成,以便收集和发送遥测数据。这些服务包括但不限于:

  • Apache HTTP: 收集Apache服务器的性能指标。
  • Node Exporter: 从Unix系统收集硬件和操作系统指标。
  • Process Exporter: 监控系统进程的资源使用情况。
  • MySQLD Exporter: 从MySQL服务器收集数据库性能指标。
  • Redis Exporter: 从Redis实例收集性能指标。
  • Elasticsearch Exporter: 从Elasticsearch集群收集性能指标。
  • Memcached Exporter: 从Memcached服务器收集性能指标。
  • MSSQL: 从Microsoft SQL Server收集数据库性能指标。
  • Postgres Exporter: 从PostgreSQL数据库收集性能指标。
  • SNMP Exporter: 通过简单网络管理协议收集网络设备的指标。
  • Consul Exporter: 从Consul服务网格收集服务发现和配置数据。
  • Windows Exporter: 从Windows系统收集性能指标。
  • Kafka Exporter: 从Apache Kafka集群收集性能指标。
  • MongoDB Exporter: 从MongoDB数据库收集性能指标。
  • CloudWatch Exporter: 从Amazon CloudWatch收集云资源的指标。
  • Azure Exporter: 从Microsoft Azure收集云资源的指标。
  • GCP Exporter: 从Google Cloud Platform收集云资源的指标。

Grafana Agent 的具体角色和任务包括:

  • 收集: 从集成的服务中收集遥测数据,如指标、日志、追踪和性能剖析数据。
  • 转换: 处理和转换收集到的数据,以便它们可以被后端系统理解和存储。
  • 发送: 将处理后的数据发送到不同的目的地,如Prometheus、OpenTelemetry和Grafana开源生态系统(例如Loki、Grafana、Tempo、Mimir、Pyroscope)。
  • 配置: 提供灵活的配置选项,允许用户根据自己的需求定制数据收集和处理的行为。
  • 扩展: 支持通过插件和集成来扩展功能,以便与更多的服务和应用程序集成。

Grafana Agent 的设计旨在灵活、高效,并且与多种生态系统兼容,使其成为一个功能丰富、性能优异、不受供应商限制的遥测数据收集器。它可以部署在任何数量的机器上,收集数百万个活跃序列和TB级别的日志,是一款经过实战测试的工具。

grafana agent和tempo分工

grafana tempo
Grafana Agent 和 Grafana Tempo 是 Grafana 生态系统中的两个不同组件,它们在追踪数据的处理和管理方面有不同的职责:

Grafana Agent:

  • 它是一个轻量级的遥测数据收集器,专门设计用于收集指标、日志和追踪数据。
  • Grafana Agent 可以配置为接收来自多种系统的追踪数据,例如 Jaeger、Kafka、OpenCensus、OTLP 和 Zipkin。
  • 它使用与 Prometheus 相同的经过实战检验的代码,并且可以节省内存使用。
  • Grafana Agent 支持将收集到的追踪数据发送到不同的后端,包括 Grafana Tempo。

Grafana Tempo:

  • Tempo 是一个易于操作、高规模且成本效益高的分布式追踪系统。
  • 它只需要对象存储来运行,并且与 Grafana、Mimir、Prometheus 和 Loki 深度集成。
  • Tempo 用于存储和查询追踪数据,支持开源追踪协议,如 Jaeger、Zipkin 或 OpenTelemetry。

简而言之,Grafana Agent 主要负责收集和转发追踪数据,而 Grafana Tempo 则专注于追踪数据的存储和查询。Agent 可以将数据发送到 Tempo,但 Tempo 负责管理这些数据的长期存储和检索。
在这里插入图片描述
在这里插入图片描述

其他开源追踪工具

Jaeger

Jaeger 是一个开源的分布式追踪系统,它主要用于监控和故障排除微服务架构中的事务。Jaeger 可以帮助开发者理解服务之间的请求流程,找出性能瓶颈,以及优化系统的可靠性。它通过图形化的方式展示服务调用的轨迹,使得开发者能够快速定位问题所在。

Jaeger 的主要特点包括:

  • 分布式上下文传播:追踪请求在不同服务之间的流转。
  • 事务监控:记录事务的详细信息,包括调用时间和结果。
  • 性能分析:分析每个服务的响应时间,识别性能瓶颈。
  • 错误分析:记录错误信息,帮助快速定位故障原因。
  • 服务依赖分析:展示服务之间的依赖关系,帮助理解系统架构。

Jaeger 支持多种数据收集和存储方式,兼容 OpenTracing API,适用于各种规模的微服务系统。它是云原生计算基金会(CNCF)的一部分,由 Uber 开源,并得到了广泛的社区支持和贡献。Jaeger 的设计目标是提供一个易于使用、可扩展的追踪系统,以适应现代软件应用的需求。

Zipkin

Zipkin 是一个开源的分布式追踪系统,它帮助收集服务架构中的定时数据,以解决延迟问题。Zipkin 的特点包括数据的收集和查询,它允许你通过跟踪 ID 直接跳转到特定的追踪信息,或者基于服务、操作名称、标签和持续时间等属性进行查询。

主要功能包括:

  • 数据收集:收集微服务架构中的请求和事件数据。
  • 数据查找:通过跟踪 ID 或其他条件查询追踪数据。
  • 性能分析:分析服务调用的时间,识别延迟问题。
  • 错误分析:汇总错误信息,帮助定位问题。
  • 依赖关系图:展示服务之间的调用关系和请求流量。

Zipkin 支持多种数据上报方式,如 HTTP 或 Kafka,并且可以与多种后端存储系统集成,例如 Apache Cassandra 或 Elasticsearch。它通常需要与应用程序进行“instrumentation”配置,以报告追踪数据到 Zipkin。这使得 Zipkin 成为微服务架构中识别性能问题的重要工具。

关于eBPF非侵入式监控

开源eBPF工具有很多,它们提供了不同的功能来帮助进行系统性能分析、监控和安全。以下是一些流行的开源eBPF工具:

  • Tracee: 用于实时监控系统调用和其他系统事件的轻量级追踪工具。
  • bpftrace: 高级追踪工具和语言,用于采集内核和程序运行信息并展示。
  • Falco: 用于检测异常活动的开源系统行为监控程序。
  • Cilium: 提供网络连接和应用程序工作负载之间的负载平衡和透明保护。
  • Katran: Facebook开源的高性能第4层负载均衡器。
  • Elkeid: 字节跳动开源的内核事件捕获工具。
  • kubectl-trace: kubectl插件,帮助用户在Kubernetes集群中安排执行BPF程序。
  • Kindling: 基于eBPF的云原生可观测性开源项目,帮助用户理解应用程序行为。

这些工具利用eBPF技术在内核级别进行数据捕获和分析,而不需要修改应用程序代码,从而实现了对应用程序性能的深入洞察,同时保持了系统的稳定性和安全性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/548873.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

达梦如何备份以及导入

启动达梦服务 右键选择管理服务器 点击系统管理,点击配置,点击转换 归档配置点击归档 创建文件夹,选择文件夹目录点击确定 命令方式 逻辑备份与还原 逻辑导出(dexp)和逻辑导入(dimp)支持如下四种级别操作: 数据库级(FULL)&#…

【人工智能】英文学习材料03(每日一句)

🌻个人主页:相洋同学 🥇学习在于行动、总结和坚持,共勉! 目录 Chain Rule (链式法则) Dimensionality Reduction (降维) Long Short-Term Memory (LSTM) (长短期记忆网络) Gradient Explosion (梯度爆炸) Gradie…

线程池详解

线程池详解 一,为什么要用线程池 ① Java的线程模型是基于操作系统的原生线程模型实现的,所以说Java线程实际上是基于内核实现的,创建,析构,同步都需要从用户态切换至内核态,这样带来的性能损耗是很大的。…

数据库事务中“锁”的分类

数据库事务中的锁可以按照不同的维度进行分类。以下是一些常见的分类方式: 1、按锁的粒度分类: 行锁(Row-level lock):锁定单个或少量的数据行。这种锁粒度小,允许高度的并发,但管理开销大。页…

《1w实盘and大盘基金预测 day6》

昨日预测完美,点位基本符合,我预测3052,实际最低3055。 走势也符合高平开,冲高回落,再反震荡上涨 大家可以观察我准不准哟~后面有我的一些写笔记、分享的网站。 关注公众号,了解各种理财预测内…

【Windows 常用工具系列 15 -- VMWARE ubuntu 安装教程】

文章目录 安装教程镜像下载 工具安装 安装教程 安装教程参考链接:https://blog.csdn.net/Python_0011/article/details/131619864 https://linux.cn/article-15472-1.html 激活码 VMware 激活码连接:https://www.haozhuangji.com/xtjc/180037874.html…

STM32实验DMA数据搬运小助手

本次实验做的是将一个数组的内容利用DMA数据搬运小助手搬运到另外一个数组中去。 最后的实验结果: 可以看到第四行的数据就都不是0了,成功搬运了过来。 DMA实现搬运的步骤其实不是很复杂,复杂的是结构体参数: 整个步骤为&#xf…

三级等保技术建议书

1信息系统详细设计方案 1.1安全建设需求分析 1.1.1网络结构安全 1.1.2边界安全风险与需求分析 1.1.3运维风险需求分析 1.1.4关键服务器管理风险分析 1.1.5关键服务器用户操作管理风险分析 1.1.6数据库敏感数据运维风险分析 1.1.7“人机”运维操作行为风险综合分析 1.2…

JEDI:变形下分子和周期系统应变分析的通用代码

JEDI:变形下分子和周期系统应变分析的通用代码 拉伸或压缩会引起材料显着的能量、几何和光谱变化。为了在机械或压致变色材料、自修复聚合物和其他机械响应装置的设计中充分利用这些效应,必须详细了解材料中机械应变的分布。在过去的十年中,能…

PSCA系统控制集成之复位层次结构

PPU 提供以下对复位控制的支持。 • 复位信号Reset signals:PPU 提供冷复位和热复位输出信号。PPU 还为实现部分保留的电源域管理提供了额外的热复位输出信号。 • 电源模式控制Power mode control:PPU 硬件适当地管理每个支持的电源模式转换的复位信号…

代码随想录算法训练营第day29|491.递增子序列、 46.全排列、 47.全排列 II

目录 491.递增子序列 46.全排列 47.全排列 II 491.递增子序列 力扣题目链接 给定一个整型数组, 你的任务是找到所有该数组的递增子序列,递增子序列的长度至少是2。 示例: 输入: [4, 6, 7, 7]输出: [[4, 6], [4, 7], [4, 6, 7], [4, 6, 7, 7], [6, 7], [6, 7,…

《前端系列》之前端学习路线

目录 1 前言2 前端学习路线2.1 入门阶段2.1.1 HTML2.1.2 CSS2.1.3 JavaScript2.1.4 网络基础 2.2 基础阶段2.2.1 前端框架2.2.2 深入JavaScript2.2.3 ES62.2.4 工程化知识 2.3 进阶阶段2.3.1 CSS2.3.2 Javascript2.3.3 单元测试2.3.4 性能优化 3 总结 1 前言 在技术更新迭代发…