Python 自动化: eip、cen监控数据对接到 grafana

aee5f7f96bddf6ef6234e681ce476de6.gif

新钛云服已累计为您分享775篇技术干货

01dfdfdb72ab2c3c291a81b7c818f59f.gif

概览

日常运维中，我们有时需要关注阿里云中 EIP 和 CEN 的监控数据，如果每次登录到平台查看，不太方便。

可以通过 API 获取监控数据，并输入到 influxDB，然后再到 Grafana 中展示，以便进行实施监控和可视化。

第一步：准备工作

在开始之前，我们需要确保已经完成以下准备工作

准备阿里云的EIP和CEN实例

这一步省略

了解如何获取EIP和CEN数据

了解如何获取 EIP 和 CEN 数据

我的方式是 EIP 通过 EIP 产品的 API 获取的，调试链接如下

https://next.api.aliyun.com/api/Vpc/2016-04-28/DescribeEipMonitorData?params={"RegionId":"cn-hangzhou"}

输入 RegionId 和 AllocationId 等必选信息后，复制平台生成的代码，进行更改，下文会介绍如何更改

295419130a16788a6c73a4a8564c10d3.png

‍‍‍

CEN 的监控数据未找到具体的 API，但可以通过云监控的数据获取，也是很方便的，链接如下

https://api.aliyun.com/api/Cms/2019-01-01/DescribeMetricData

获取 CEN 的具体数据时，可以通过 https://cms.console.aliyun.com/metric-meta/acs_cen/cen_tr?spm=a2c4g.11186623.0.0.252476ab1Ldq0T 得到

实际上，EIP 的数据也可以通过云监控获取

安装Python和所需的依赖库

下面示例的版本是截止发文时间最新版本，实际使用时，可以登录到上面的阿里云开放平台查看最新的版本

pip install alibabacloud_vpc20160428==5.1.0
pip install alibabacloud_cms20190101==2.0.11

‍‍‍

安装InfluxDB，并进行初始化配置

1. 为方便使用，我这里是使用 Docker 运行的 Influxdb

cd /data/influxdb# 生成初始的配置文件
docker run --rm influxdb:2.7.1 influxd print-config > config.yml# 启动容器
docker run --name influxdb -d -p 8086:8086 --volume `pwd`/influxdb2:/var/lib/influxdb2 --volume `pwd`/config.yml:/etc/influxdb2/config.yml influxdb:2.7.1

2. 安装完成后，可通过 http://ip:8086 登录到 Influxdb

3. 创建 bucket

只需要创建一个 bucket 就可以了，bucket 类似 MySQL 的 database

4. 获取 API Token，在 Python 插入数据时会用到

安装Grafana，并进行基本的配置

省略

第二步：获取API访问凭证

为了能够通过API访问阿里云的 EIP 和 CEN 数据，我们需要获取访问凭证。具体步骤如下

  1. 登录阿里云控制台

  2. 创建 RAM 用户并分配相应的权限

  3. 获取 RAM 用户的 Access Key ID 和 Access Key Secret

第三步：编写Python脚本

使用Python编写脚本来获取 EIP 和 CEN 的监控数据，并将其存储到 InfluxDB 中

本文仅展示部分代码，如需完整的代码，请联系本公众号获取~

调整从阿里云复制的示例代码

1. 修改构造函数，可以传如 access_key_id 和 access_key_secret

def __init__(self, access_key_id: str=access_key_id, access_key_secret: str=access_key_secret):self.access_key_id = access_key_idself.access_key_secret = access_key_secret

‍‍‍

2. 修改获取 eip 数据的函数

def get_eip_monitor_data(self, region_id, allocation_id, start_time: str, end_time: str):'''参考文档:https://api.aliyun.com/api/Vpc/2016-04-28/DescribeEipMonitorData?params={%22RegionId%22:%22cn-hangzhou%22}Args:region_id (_type_): _description_allocation_id (_type_): _description_start_time (str): utc时间end_time (_type_): utc时间Yields:_type_: _description_eip_tx: 流出的流量。单位: Byteeip_rx: 流入的流量。单位: Byte'''# 请确保代码运行环境设置了环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。# 工程代码泄露可能会导致 AccessKey 泄露，并威胁账号下所有资源的安全性。以下代码示例使用环境变量获取 AccessKey 的方式进行调用，仅供参考，建议使用更安全的 STS 方式，更多鉴权访问方式请参见：https://help.aliyun.com/document_detail/378659.htmlclient = self.create_client(endpoint=f'vpc.{region_id}.aliyuncs.com', access_key_id=self.access_key_id, access_key_secret=self.access_key_secret)describe_eip_monitor_data_request = vpc_20160428_models.DescribeEipMonitorDataRequest(region_id=region_id,allocation_id=allocation_id,start_time=start_time,end_time=end_time)log.debug(msg=describe_eip_monitor_data_request)runtime = util_models.RuntimeOptions()log.debug(msg=runtime)try:# 复制代码运行请自行打印 API 的返回值results = client.describe_eip_monitor_data_with_options(describe_eip_monitor_data_request, runtime).body.eip_monitor_datas.eip_monitor_datafor result in results:yield resultexcept Exception as error:log.error(msg=error)return UtilClient.assert_as_string(error.message)

‍‍‍

3. 修改获取 cen 数据的函数

def get_cen_monitor_data(self, namespace, metric_name, start_time: str, end_time: str):# 请确保代码运行环境设置了环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。# 工程代码泄露可能会导致 AccessKey 泄露，并威胁账号下所有资源的安全性。以下代码示例使用环境变量获取 AccessKey 的方式进行调用，仅供参考，建议使用更安全的 STS 方式，更多鉴权访问方式请参见：https://help.aliyun.com/document_detail/378659.htmlclient = self.create_client(access_key_id=self.access_key_id, access_key_secret=self.access_key_secret)describe_metric_list_request = cms_20190101_models.DescribeMetricListRequest(namespace=namespace,metric_name=metric_name,start_time=start_time,end_time=end_time,)runtime = util_models.RuntimeOptions()try:# 复制代码运行请自行打印 API 的返回值return client.describe_metric_list_with_options(describe_metric_list_request, runtime).body.datapointsexcept Exception as error:# 如有需要，请打印 errorUtilClient.assert_as_string(error.message)

‍‍‍

编写InfluxDB相关的代码

将 InfluxDB 的写入代码独立出来可以方便后续其他业务的调用

下面的代码在获取 token 时，使用了 1password，可视情况进行修改，例如通过环境变量的方式获取 Token

#!/usr/bin/env python3import influxdb_client, time
import datetime
from influxdb_client import InfluxDBClient, Point, WritePrecision
from influxdb_client.client.write_api import SYNCHRONOUS
from modules.onepassword import OnePasswordmy1p = OnePassword()class InfluxClient:token = my1p.get_item_by_title(title='my_influxdb')['api']def __init__(self, url: str='http://10.1.1.1:8086', org: str='tyun', token: str=token):self.url = urlself.org = orgself.token = tokendef create_client(self):return influxdb_client.InfluxDBClient(url=self.url, token=self.token, org=self.org)def write_aliyun_eip(self, bucket: str='example', table_name: str='test1', location: str=None, eip_tx: int=None, eip_rx: int=None, time_stamp: str=None):write_api = self.create_client().write_api(write_options=SYNCHRONOUS)point = (Point(table_name).tag("location", location).field("eip_tx", eip_tx).field("eip_rx", eip_rx).time(time_stamp))write_api.write(bucket=bucket, org=self.org, record=point)def write_cen(self, bucket: str='example', table_name: str='test1', location: str=None, tr_instance_id: str=None, value: int=None, time_stamp: str=None):write_api = self.create_client().write_api(write_options=SYNCHRONOUS)point = (Point(table_name).tag("location", location).tag("tr_instance_id", tr_instance_id).field("value", value).time(time_stamp))write_api.write(bucket=bucket, org=self.org, record=point)def main():influx_client = InfluxClient() for i in range(5):influx_client.write_data(bucket='example', table_name='test1', location='hangzhou', EipBandwidth=i, EipFlow=i)time.sleep(1)if __name__ == '__main__':main()

‍‍‍

编写主程序

1. 获取 eip 并插入到 influxdb

#!/usr/bin/env python3from collections import namedtuple
from modules.aliyun.eip import Eip
from modules.database.influxdb.write import InfluxClient
from modules.tools.my_time import MyDatetime as my_timeeip = Eip()
influx_client = InfluxClient()def insert_data(region_id, location, table_name, allocation_id, start_time, end_time):'''_summary_Args:region_id (_type_): _description_location (_type_): _description_table_name (_type_): _description_allocation_id (_type_): _description_start_time (_type_): _description_interval (int, optional): 取值的范围, 默认是5.'''eip_datas = eip.get_eip_monitor_data(region_id=region_id, allocation_id=allocation_id, start_time=start_time, end_time=end_time)for eip_data in eip_datas:# print(eip_data)influx_client.write_aliyun_eip(bucket='example',table_name=table_name,location=location,eip_rx=eip_data.eip_rx,eip_tx=eip_data.eip_tx,time_stamp=eip_data.time_stamp)Instance = namedtuple('Instance', ['region_id', 'allocation_id', 'bandwidth', 'env'])hangzhou = Instance(region_id='hangzhou', allocation_id='eip-xxxxxxxxx', bandwidth='100m', env='prod')eip_site_list = [hangzhou]for eip_site in eip_site_list:insert_data(region_id=f'cn-{eip_site.region_id}', location=f'cn-{eip_site.region_id}',table_name='eip',allocation_id=eip_site.allocation_id,start_time=my_time.get_utc_now_str_offset(offset=-60*10),end_time=my_time.get_utc_now_str())

‍‍‍

2. 获取 cen 数据并插入到 influxdb

#!/usr/bin/env python3import ast
from modules.aliyun.metrics import Metrics
from modules.database.influxdb.write import InfluxClient
from modules.tools.my_time import MyDatetime as my_time
from modules.logger.client import LogClientmetrics = Metrics()
influx_client = InfluxClient()
log = LogClient(app='example_traffic')def tr_instance_id_to_location(tr_instance_id):if tr_instance_id == 'tr-xxxxxxxxxxxxx':location = 'hangzhou'bandwidth = '20m'else:location = 'none'return location, bandwidthmetric_names = ['AttachmentOutRate', 'AttachmentInRate']for metric_name in metric_names:results = metrics.get_cen_monitor_data(namespace='acs_cen', metric_name=metric_name, start_time=my_time.get_utc_now_str_offset(offset=-60*10),end_time=my_time.get_utc_now_str())log.debug(msg=results)for result in ast.literal_eval(results):result['metric_name'] = metric_nametrInstanceId = result['trInstanceId']result['location'] = tr_instance_id_to_location(tr_instance_id=trInstanceId)[0]result['bandwidth'] = tr_instance_id_to_location(tr_instance_id=trInstanceId)[1]log.info(msg=metric_name + ' ' + my_time.timestamp_to_str(timestamp=result['timestamp']) + ' ' + ' ' + result['location'] + ' ' + str(result['Value']))influx_client.write_cen(bucket='example', table_name=metric_name, location=result['location'],tr_instance_id=result['trInstanceId'], value=result['Value'], time_stamp=my_time.timestamp_to_str(timestamp=result['timestamp']))

第四步：配置Grafana

在Grafana中配置 InfluxDB 数据源，并创建相应的仪表盘来展示 EIP 和 CEN 的监控数据。具体步骤如下：

  1. 添加 InfluxDB 数据源，并配置连接信息

    我用的是 Flux 的查询语言，配置数据源时，需要注意以下事项

  • 数据源名字推荐使用：InfluxDB-Flux，注明是 Flux 类型的数据源

  • InfluxDB Details 填写 Organization、Token、Default Bucket 即可

  • 不用填写 HTTP 认证

创建仪表盘，配置 eip 和 cen 的查询语句

‍· EIP 接收方向的流量

from(bucket: "example")|> range(start: v.timeRangeStart, stop: v.timeRangeStop)|> filter(fn: (r) => r["_measurement"] == "eip")|> filter(fn: (r) => r["_field"] == "eip_rx")|> filter(fn: (r) => r["location"] == "cn-hangzhou")|> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)|> map(fn: (r) => ({ r with _value: r._value / 8 }))|> yield(name: "last")

· EIP 发送方向的流量

from(bucket: "example")|> range(start: v.timeRangeStart, stop: v.timeRangeStop)|> filter(fn: (r) => r["_measurement"] == "eip")|> filter(fn: (r) => r["_field"] == "eip_tx")|> filter(fn: (r) => r["location"] == "cn-hangzhou")|> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)|> map(fn: (r) => ({ r with _value: r._value / 8 }))|> yield(name: "last")

‍‍‍

· CEN 发送方向的流量

from(bucket: "example")|> range(start: v.timeRangeStart, stop: v.timeRangeStop)|> filter(fn: (r) => r["_measurement"] == "AttachmentOutRate")|> filter(fn: (r) => r["_field"] == "value")|> filter(fn: (r) => r["location"] == "hangzhou")|> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)|> yield(name: "last")

‍‍‍

· CEN 接收方向流量

from(bucket: "example")|> range(start: v.timeRangeStart, stop: v.timeRangeStop)|> filter(fn: (r) => r["_measurement"] == "AttachmentInRate")|> filter(fn: (r) => r["_field"] == "value")|> filter(fn: (r) => r["location"] == "hangzhou")|> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)|> yield(name: "last")

‍‍‍

eip 和 cen 的数据单位都是 bit/sec(SI)

建议配置 Grafana 面板的 Thresholds

100M为 100000000，配置后会显示一条红线，可以更直观的看到流量的占用情况

总结

通过本文的步骤，我们可以通过API获取阿里云 EIP 和 CEN 的监控数据，将其存储到 InfluxDB，并通过 Grafana 进行实时监控和可视化。这为我们提供了一种自动化的方式来监控和管理阿里云网络资源。

    推荐阅读   

814b981bafa1181a22fd55abed0a766d.png

4e3736b1f16a68fb5f675670083ccae2.png

    推荐视频    

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/189457.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Django学习日志07

Django学习日志07

多表查询（跨表查询） 子查询：分步查询 链表查询：把多个有关系的表拼接成一个大表(虚拟表) inner join left join 展示左表所有数据数据，右表展示符合查询条件的数据，查询不到的用null填充 …
阅读更多...
ChatGpt3.5已经应用了一段时间，分享一些自己的使用心得.

ChatGpt3.5已经应用了一段时间，分享一些自己的使用心得.

首先ChatGpt3.5的文本生成功能十分强大，但是chatgpt有一些使用规范大家需要注意，既然chat是一种工具，我们就需要学会它的使用说明，学会chatgpt的引用语句，会极大的方便我们的使用。我们需要做以下的准备。 明确任务和目…
阅读更多...
键盘方向键移动当前选中的table单元格，并可以输入内容

键盘方向键移动当前选中的table单元格，并可以输入内容

有类似于这样的表格&#xff0c;用的<table>标签。原本要在单元格的文本框里面输入内容&#xff0c;需要用鼠标一个一个去点以获取焦点&#xff0c;现在需要不用鼠标选中&#xff0c;直接用键盘的上下左右来移动当前正在输入的单元格文本框。 const currentCell React.u…
阅读更多...
Diagrams——制作短小精悍的流程图

Diagrams——制作短小精悍的流程图

今天为大家分享的是一款轻量级的流程图绘制软件——Diagrams。 以特定的图形符号加上说明&#xff0c;表示算法的图&#xff0c;称为流程图或框图。流程图是流经一个系统的信息流、观点流或部件流的图形代表。我们常用流程图来说明某一过程。 流程图使用一些标准符号代表某些类…
阅读更多...
Jenkins代码检测和本地静态检查

Jenkins代码检测和本地静态检查

1&#xff1a;Jenkins简介 Jenkins是一个用Java编写的开源的持续集成工具&#xff1b;Jenkins自动化部署可以解决集成、测试、部署等重复性的工作&#xff0c;工具集成的效率明显高于人工操作&#xff1b;并且持续集成可以更早的获取代码变更的信息&#xff0c;从而更早的进入测…
阅读更多...
纯前端模板文件下载如何精确控制下载的文件名字

纯前端模板文件下载如何精确控制下载的文件名字

在写项目的时候&#xff0c;遇到了一个需要把给定的文件放到页面中&#xff0c;然后用户点击下载按钮将这个文件下载下来&#xff0c;我将其存入了云服务之中(这个云服务是不会清空的&#xff0c;内存又不值几个钱)&#xff0c;但是当我下载的时候&#xff0c;下载的文件名是存…
阅读更多...
2023_“数维杯”问题B：棉秸秆热解的催化反应-详细解析含代码

2023_“数维杯”问题B：棉秸秆热解的催化反应-详细解析含代码

题目翻译&#xff1a; 随着全球对可再生能源需求的不断增加&#xff0c;生物质能作为一种成熟的可再生能源得到了广泛的关注。棉花秸秆作为一种农业废弃物&#xff0c;因其丰富的纤维素、木质素等生物质成分而被视为重要的生物质资源。虽然棉花秸秆的热解可以产生各种形式的可…
阅读更多...
SpringCloud -Token传递之Feign

SpringCloud -Token传递之Feign

目录 方法一 RequestHeader 方法二 使用Feign的Interceptor 步骤一 实现RequestInterceptor接口 步骤二&#xff1a;配置Feign 通常微服务对于用户认证信息解析有两种方案 在 gateway 就解析用户的 token 然后路由的时候把 userId 等相关信息添加到 header 中传递下去。在…
阅读更多...
Elasticsearch基础条件查询

Elasticsearch基础条件查询

条件查询 query&#xff1a;查询 match&#xff1a;匹配 match_all&#xff1a;匹配所有 #第一种 GET /shopping/_search?q名字:张三#第二种 GET /shopping/_search {"query": {"match": {"名字": "张三"}} }#全量查询 match_all G…
阅读更多...
Looker Studio | 带来强大的探索、更新鲜的数据和更快的过滤

Looker Studio | 带来强大的探索、更新鲜的数据和更快的过滤

【信息来源 Google Cloud。Cloud Ace 是 Google Cloud 全球战略合作伙伴。】 Looker Studio 支持对临时数据进行自助分析&#xff0c;并与 Looker 一起为每月访问 Looker 系列产品的超过 1000 万用户做出贡献。今天&#xff0c;谷歌云为分析师推出新方法&#xff0c;为业务用户…
阅读更多...
Java进阶笔记(面向对象后, 持续更新)

Java进阶笔记(面向对象后, 持续更新)

常用API 游戏打包成exe 考虑的因素 要有图形化界面代码要打包起来游戏用到的图片也要打包JDK也要打包 核心步骤 把所有代码打包成一个压缩包, jar后缀的压缩包把jar包转换成exe安装包把第二部的exe, 图片, JDK整合在一起, 变成最终的exe安装包 1. Math 是一个帮助我们用…
阅读更多...
机器学习第8天：线性SVM分类

机器学习第8天：线性SVM分类

文章目录 介绍 特征缩放 示例代码 硬间隔与软间隔分类 主要代码 代码解释 结语 介绍 作用&#xff1a;判别种类 原理&#xff1a;找出一个决策边界&#xff0c;判断数据所处区域来识别种类 简单介绍一下SVM分类的思想&#xff0c;我们看下面这张图&#xff0c;两种分类都…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023