【云原生 Prometheus篇】Prometheus的动态服务发现机制

自动发现

  • 一、Prometheus服务发现 理论部分
    • 1.1 Prometheus数据采集配置
    • 1.2 基于文件的服务发现
    • 1.3 基于consul的服务发现
    • 1.4 基于 Kubernetes API 的服务发现
      • 1.4.1 概念
      • 1.4.2 部分配置参数
      • 1.4.3 配置模板
  • 二、实例一：部署基于文件的服务发现
    • 2.1 创建用于服务发现的文件
    • 2.2 修改Prometheus的配置文件
    • 2.3 浏览器访问测试
  • 三、实例二：部署基于consul的服务发现
    • 3.1 部署Consul服务
    • 3.2 在Consul 上注册 Services
    • 3.3 修改 prometheus 配置文件
  • 四、Prometheus对接Kurbernetes集群的方法
    • 4.1 方式一：外部部署
    • 4.2 方式二：内部部署（以Pod的形式）
  • 五、小结

一、Prometheus服务发现 理论部分

1.1 Prometheus数据采集配置

scrape_configs:
- job_name: XXX              #自定义监控任务的名称metrics_path: "/metrics"   #指定获取监控指标数据的URL路径，一般都是 /metricsscheme: "https"             #指定拉取监控指标数据的协议，http(默认值)|https#定义静态配置的监控目标static_configs:           - targets:                   #指定监控目标的IP和exporter的端口- <IP1>:<exporter的端口>- <IP2>:<exporter的端口>labels:                    #自定义监控目标的标签<标签key>: <标签value>

在这里插入图片描述

1.2 基于文件的服务发现

简介

Prometheus Server 会定期从文件中加载 Target 信息，文件可使用 YAML 和 JSON 格式，它含有定义的 Target 列表，以及可选的标签信息。

基于文件的服务发现不依赖于任何平台或第三方服务，是最为简单和通用的实现方式。

配置模板

#基于文件的服务发现file_sd_configs:- files:- XXX.yaml                 #指定作服务发现的文件的路径refresh_interval: 1m       #指定服务发现的刷新间隔时间

1.3 基于consul的服务发现

下载地址：https://www.consul.io/downloads/

简介

Consul 是一款基于 golang 开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。

提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。

模板

  #基于consul的服务发现consul_sd_configs:- server: <consul服务器IP>:8500     #指定consul服务器地址和端口tags:                             #指定在consul服务发现中用于作prometheus监控的tags标签- 用于作prometheus监控的标签refresh_interval: 1m

1.4 基于 Kubernetes API 的服务发现

1.4.1 概念

基于 Kubernetes API 的服务发现机制，支持将API Server 中 Node、Service、Endpoint、Pod 和 Ingress 等资源类型下相应的各资源对象视作 target， 并持续监视相关资源的变动

●Node、Service、Endpoint、Pod 和 Ingress 资源分别由各自的发现机制进行定义

●负责发现每种类型资源对象的组件，在 Prometheus 中称为一个 role

●支持在集群上基于 DaemonSet 控制器部署 node-exporter 后发现各 Node 节点，也可以通过 kubelet 来作为 Prometheus 发现各 Node 节点的入口

1.4.2 部分配置参数

# The API server addresses. If left empty, Prometheus is assumed to run inside of the cluster and will discover API servers automatically
and use the pod's
# CA certificate and bearer token file at /var/run/secrets/kubernetes.io/serviceaccount/.
[ api_server: <host> ]# The Kubernetes role of entities that should be discovered. One of endpoints, service, pod, node, or ingress.
role: <string># Optional authentication information used to authenticate to the API server.
# Note that 'basic_auth', 'bearer_token'和'bearer_token_file' 等认证方式互斥；
[ bearer_token: <secret> ]
[ bearer_token_file: <filename> ]# TLS configuration.
tls_config:
# CA certificate to validate API server certificate with.
[ ca_file: <filename> ]# Certificate and key files for client cert authentication to the server.
[ cert_file: <filename> ]
[ key_file: <filename> ]# ServerName extension to indicate the name of the server.
[ server_name: <string> ]# Optional namespace discovery. If omitted, all namespaces are used.
namespaces:
names:
[ - <string> ]

1.4.3 配置模板

 #基于K8S的服务发现
- job_name: XXXscheme: "https"kubernetes_sd_configs:- role: endpoints|service|pod|node|ingress      #指定被监控的K8S资源对象类型

二、实例一：部署基于文件的服务发现

2.1 创建用于服务发现的文件

新建工作目录

cd /usr/local/prometheusmkdir targets

在文件中配置所需的 target

vim targets/node-exporter.yaml
- targets:- 192.168.2.108:9100- 192.168.2.106:9100labels:app: node-exporterjob: nodevim targets/mysqld-exporter.yaml
- targets:- 192.168.2.108:9104- 192.168.2.106:9104labels:app: mysqld-exporterjob: mysqld

2.2 修改Prometheus的配置文件

修改 prometheus 配置文件，发现 target 的配置，定义在配置文件的 job 之中。

vim /usr/local/prometheus/prometheus.yml
......
scrape_configs:- job_name: nodesfile_sd_configs:                  #指定使用文件服务发现- files:                          #指定要加载的文件列表- targets/node*.yaml            #文件加载支持通配符refresh_interval: 2m            #每隔 2 分钟重新加载一次文件中定义的 Targets，默认为 5m- job_name: mysqldfile_sd_configs:- files:- targets/mysqld*.yamlrefresh_interval: 2m

在这里插入图片描述

2.3 浏览器访问测试

#先重启服务
systemctl reload prometheus
#然后
浏览器查看 Prometheus 页面的 Status -> Targets

在这里插入图片描述

三、实例二：部署基于consul的服务发现

3.1 部署Consul服务

cd /opt/
unzip consul_1.9.2_linux_amd64.zip
mv consul /usr/local/bin/

#创建 Consul 服务的数据目录和配置目录
mkdir /var/lib/consul-data
mkdir /etc/consul/

#使用 server 模式启动 Consul 服务
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-config-dir=/etc/consul/ \
-bind=192.168.2.108 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

在这里插入图片描述

#查看 consul 集群成员
consul members

在这里插入图片描述

3.2 在Consul 上注册 Services

#在配置目录中添加文件
vim /etc/consul/nodes.json
{"services": [{"id": "node_exporter-node01","name": "node01","address": "192.168.2.108","port": 9100,"tags": ["nodes"],"checks": [{"http": "http://192.168.2.108:9100/metrics","interval": "5s"}]},{"id": "node_exporter-node02","name": "node02","address": "192.168.2.106","port": 9100,"tags": ["nodes"],"checks": [{"http": "http://192.168.2.106:9100/metrics","interval": "5s"}]}]
}

#让 consul 重新加载配置信息
consul reload		浏览器访问：http://192.168.2.108:8500

在这里插入图片描述

3.3 修改 prometheus 配置文件

vim /usr/local/prometheus/prometheus.yml
......- job_name: nodesconsul_sd_configs:                  #指定使用 consul 服务发现- server: 192.168.2.108:8500        #指定 consul 服务的端点列表tags:                             #指定 consul 服务发现的 services 中哪些 service 能够加入到 prometheus 监控的标签- nodesrefresh_interval: 2m

在这里插入图片描述

systemctl reload prometheus

浏览器查看 Prometheus 页面的 Status -> Targets

在这里插入图片描述

#让 consul 注销 Service
consul services deregister -id="node_exporter-node02"#重新注册
consul services register /etc/consul/nodes.json

四、Prometheus对接Kurbernetes集群的方法

4.1 方式一：外部部署

在K8S集群外部署的prometheus的认证配置。

  #第一种老版本配置方法api_server: <apiserver的IP>:6443          #指定apiserver的地址和端口tls_config:ca_file: <filename>     #指定ca证书的路径cert_file: <filename>   #指定客户端证书的路径key_file: <filename>    #指定客户端私钥的路径#第二种新版本配置方法kubeconfig_file: <filename>   #指定kubeconfig集群引导配置文件路径，kubeconfig文件会包含集群参数（ca证书、apiserver地址）和客户端参数（客户端证书和私钥信息）

部署思路

  1. 生成认证密钥： 首先，需要生成用于认证的密钥。

    可以使用 htpasswd 命令行工具来生成一个包含用户名和密码的密钥文件。

    例如，使用以下命令生成一个名为 auth 的密钥文件：

    htpasswd -c -B -C 12 auth username
#上述命令将提示你输入密码
#然后在当前目录下生成一个名为 `auth` 的密钥文件，
#并将用户名和密码添加到该文件中。

  2. 创建 Secret 对象： 在 Kubernetes 集群中，使用 Secret 对象来存储认证密钥。

    kubectl create secret generic prometheus-auth --from-file=auth
#创建一个名为 `prometheus-auth` 的 Secret 对象，并将 `auth` 文件的内容存储在其中。

  3. 更新 Prometheus 配置： 编辑 Prometheus 的配置文件 prometheus.yml，添加认证相关的配置。

  4. 部署 Prometheus： 根据你的部署方式，可以使用 Docker 或其他工具将 Prometheus 部署在Kubernetes集群外部。

  5. 部署配置文件和 Secret 对象： 将更新后的 prometheus.yml 文件和创建的 Secret 对象应用到 Prometheus 的部署中。

    比如使用容器编排工具（如 Docker Compose），将这些文件挂载到容器中。

完成上述步骤后， Prometheus 将使用认证配置来保护其 Web UI 和其他功能。

只有提供正确的用户名和密码才能访问相关页面。

4.2 方式二：内部部署（以Pod的形式）

在K8S集群内以Pod形式部署的prometheus的认证配置。

#在K8S集群内以Pod形式部署的prometheus的认证配置tls_config:ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt#第一种老版本配置方法bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token#第二种新版本配置方法authorization:credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token

五、小结

Prometheus数据采集配置
scrape_configs:
- job_name: XXX              #自定义监控任务的名称metrics_path: "/metrics"   #指定获取监控指标数据的URL路径，一般都是 /metricsscheme: "http"             #指定拉取监控指标数据的协议，http(默认值)|https#定义静态配置的监控目标static_configs:           - targets:                   #指定监控目标的IP和exporter的端口- <IP1>:<exporter的端口>- <IP2>:<exporter的端口>labels:                    #自定义监控目标的标签<标签key>: <标签value>#基于文件的服务发现file_sd_configs:- files:- XXX.yaml                 #指定作服务发现的文件的路径refresh_interval: 1m       #指定服务发现的刷新间隔时间#基于consul的服务发现consul_sd_configs:- server: <consul服务器IP>:8500     #指定consul服务器地址和端口tags:                             #指定在consul服务发现中用于作prometheus监控的tags标签- 用于作prometheus监控的标签refresh_interval: 1m#基于K8S的服务发现
- job_name: XXXscheme: "https"kubernetes_sd_configs:- role: endpoints|service|pod|node|ingress      #指定被监控的K8S资源对象类型#在K8S集群外部署的prometheus的认证配置#第一种老版本配置方法api_server: <apiserver的IP>:6443          #指定apiserver的地址和端口tls_config:ca_file: <filename>     #指定ca证书的路径cert_file: <filename>   #指定客户端证书的路径key_file: <filename>    #指定客户端私钥的路径#第二种新版本配置方法kubeconfig_file: <filename>   #指定kubeconfig集群引导配置文件路径，kubeconfig文件会包含集群参数（ca证书、apiserver地址）和客户端参数（客户端证书和私钥信息）#在K8S集群内以Pod形式部署的prometheus的认证配置tls_config:ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt#第一种老版本配置方法bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token#第二种新版本配置方法authorization:credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/216660.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

给虚拟机配置静态id地址

给虚拟机配置静态id地址

1.令人头大的原因 当连接虚拟机的时候 地址不一会就改变&#xff0c;每次都要重新输入 2.配置虚拟机静态id地址 打开命令窗口执行 : vim /etc/sysconfig/network-scripts/ifcfg-ens33 按下面操作修改 查看自己子网掩码 3.重启网络 命令行输入 systemctl restart netwo…
阅读更多...
基于光纤环形激光器的optisystem仿真及其传感应用

基于光纤环形激光器的optisystem仿真及其传感应用

近年来&#xff0c;光纤传感器在航空航天领域&#xff0c;工业制造&#xff0c;医疗等领域引起了越来越多的关注&#xff0c;因为他们体积小&#xff0c;结构简单&#xff0c;灵敏度高&#xff0c;抗电磁干扰强&#xff0c;防腐性能好的特点。各种各样的传感器结构被设计出来&a…
阅读更多...
[SWPUCTF 2021 新生赛]no_wakeup

[SWPUCTF 2021 新生赛]no_wakeup

直接赋值即可 $a ->admin admin; $a ->passwd wllm; 发现没有绕过&#xff0c;改成大于2的绕过__wakeup 这是因为PHP在反序列化时会检查序列化字符串的长度&#xff0c;如果长度小于等于2&#xff0c;则不会调用__wakeup()方法。
阅读更多...
flutter之graphic图表自定义tooltip

flutter之graphic图表自定义tooltip

renderer graphic中tooltip的TooltipGuide类提供了renderer方法&#xff0c;接收三个参数Size类型&#xff0c;Offset类型&#xff0c;Map<int, Tuple>类型。可查到的文档是真的少&#xff0c;所以只能在源码中扒拉例子&#xff0c;做符合需求的修改。 官方github示例 …
阅读更多...
【华为OD题库-038】支持优先级的对列-java

【华为OD题库-038】支持优先级的对列-java

题目 实现一个支持优先级的队列&#xff0c;高优先级先出队列&#xff0c;同优先级时先进先出。 如果两个输入数据和优先级都相同&#xff0c;则后一个数据不入队列被丢弃。 队列存储的数据内容是一个 整数。 输入描述 一组待存入队列的数据(包含内容和优先级)。 输出描述 队列…
阅读更多...
【Linux】EVIOCGBIT

【Linux】EVIOCGBIT

EVIOCGBIT(ev, len) 该怎么理解&#xff1f; 我们可以推断出&#xff0c;它是一个宏&#xff0c;它的前两个参数已经确定了&#xff0c;具体的功能由后两个参数(ev,len)来决定。Linux-4.9.88\include\uapi\linux\input.h #define EVIOCGBIT(ev,len) _IOC(_IOC_READ, E, 0x20 …
阅读更多...
安卓 Android Studio更换app的图标

安卓 Android Studio更换app的图标

大概完成了一个app&#xff0c;在测试机的界面app的icon显示的是默认安卓图标&#xff0c;找了一个简单的更换方法 打开 Androidmanifest.xml 文件&#xff0c;在 application 找到代码 android:icon"mipmap/ic_launcher" 按下Ctrl鼠标左键转到相应位置 如图在背景…
阅读更多...
计算机网络四大地址转换（IP,MAC、端口、域名）

计算机网络四大地址转换（IP,MAC、端口、域名）

计算机网络有四大地址&#xff0c;分别是 ip地址、 MAC地址、域名、端口 计算机网络地址 他们之间是如何转换&#xff0c;通过什么协议转换的 IP地址到MAC地址&#xff0c;通过ARP协议 MAC地址得到IP地址&#xff0c;通过RARP协议 通过域名的到IP地址 是通过DNS查询 端口是…
阅读更多...
[ZJCTF 2019]NiZhuanSiWei

[ZJCTF 2019]NiZhuanSiWei

虽然有include函数但我们无法直接包含flag因为对file进行了过滤&#xff0c;又看见有反序列化的入口&#xff0c;只是并没有发现可利用的方法&#xff0c;但题目有提示所以尝试将其调出来 php伪协议写入内容 看到file_get_contents函数想到使用data协议&#xff0c;去封装一个…
阅读更多...
CANdelaStudio 使用教程2 新建 Interface

CANdelaStudio 使用教程2 新建 Interface

文章目录 简述ECU Information1、Supported Interfaces2、Services supported for interfaces 简述 新增 Interface 的话&#xff0c;只能在 CDDT 文件中新增&#xff0c;CDD 文件中只能选择接口 ECU Information 1、Supported Interfaces 创建和编辑ECU应支持的接口 1、…
阅读更多...
单片非晶磁性测量系统非晶测量方法

单片非晶磁性测量系统非晶测量方法

非晶测量方法 单片法是国际主流的非晶测量方法之一&#xff0c;如美标 A932 和日标 H7152 均早已提出了该方法&#xff1b;2014 年 IEC 起草的标准&#xff0c;和我国 2015 年重新修订的 GB/T 19345.1 标准中均明确提出了单片法测量非晶磁性能。单片法与环样法相比&#xff0c…
阅读更多...
oracle的debjob挂載及查詢

oracle的debjob挂載及查詢

背景 有一個需求需要定時去執行一個produce&#xff0c;可以使用oracle的dbjob定時執行&#xff0c;相比較之前的vbs更加絲滑 --傳遞produce 開始的時間 頻率 declarea number;beginDBMS_JOB.SUBMIT(a,xx_warehouse_daliy_record_p;,to_date(202311230800,yyyymmddhh24mi),…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023