Loki+promtail+Grafana监控docker容器日志

目标:监控docker容器的日志,适用于生产环境

效果:

 需要的工具:Loki,promtail,Grafana

通过安装promtail容器收集日志,并把日志发送给loki存储处理,由Grafana展示日志。

参考官网的信息:Install Grafana Loki with Docker or Docker Compose | Grafana Loki documentation 

1、在需要监控的主机中,安装容器grafana/loki:2.8.2

创建目录:/home/apps/loki,

进入目录:cd /home/apps/loki,使用wget下载这个配置文件,下载完成后给执行权限chmod +x loki-config.yaml

wget https://raw.githubusercontent.com/grafana/loki/v2.8.2/cmd/loki/loki-local-config.yaml -O loki-config.yaml

如果无法下载,可以复制下方内容,创建loki配置文件vi loki-config.yaml

auth_enabled: falseserver:http_listen_port: 3100grpc_listen_port: 9096common:instance_addr: 127.0.0.1path_prefix: /tmp/lokistorage:filesystem:chunks_directory: /tmp/loki/chunksrules_directory: /tmp/loki/rulesreplication_factor: 1ring:kvstore:store: inmemoryquery_range:results_cache:cache:embedded_cache:enabled: truemax_size_mb: 100schema_config:configs:- from: 2020-10-24store: boltdb-shipperobject_store: filesystemschema: v11index:prefix: index_period: 24hruler:alertmanager_url: http://localhost:9093# By default, Loki will send anonymous, but uniquely-identifiable usage and configuration
# analytics to Grafana Labs. These statistics are sent to https://stats.grafana.org/
#
# Statistics help us better understand how Loki is used, and they show us performance
# levels for most users. This helps us prioritize features and documentation.
# For more information on what's sent, look at
# https://github.com/grafana/loki/blob/main/pkg/usagestats/stats.go
# Refer to the buildReport method to see what goes into a report.
#
# If you would like to disable reporting, uncomment the following lines:
#analytics:
#  reporting_enabled: false

 运行容器

docker run --name loki -d -v /home/apps/loki:/mnt/config -p 3100:3100 grafana/loki:2.8.2 -config.file=/mnt/config/loki-config.yaml

2、创建promtail容器

 进入目录:cd /home/apps/loki,使用wget下载这个配置文件,并给执行权限chmod +x promtail-config.yaml,并参考下方的配置,特别注意要增加两项内容,表示通过流水线操作已经定义的docker容器日志。参考文档Configuration | Grafana Loki documentation

wget https://raw.githubusercontent.com/grafana/loki/v2.8.2/clients/cmd/promtail/promtail-docker-config.yaml -O promtail-config.yaml

pipeline_stages:
  - docker: {}

如果无法下载,可以复制下方内容,创建promtail配置文件vi promtail-config.yaml

server:http_listen_port: 9080grpc_listen_port: 0positions:filename: /tmp/positions.yamlclients:- url: http://IP地址或者容器名:3100/loki/api/v1/pushscrape_configs:
- job_name: 填项目名称-英文:如hellopipeline_stages:- docker: {}static_configs:- targets:- localhostlabels:job: 填标签名-英文:如hello-dev__path__: /var/log/*/*.log

运行promtail容器,这里映射docker的日志路径,一般路径在/var/docker/containers。如果是在本机中运行的有loki,那么在这条运行命令中要加入--link loki,才能支持使用配置中的url填入容器名称。

docker run --name promtail -d -v /var/apps/loki:/mnt/config -v /home/docker/containers/:/var/log grafana/promtail:2.8.2 -config.file=/mnt/config/promtail-config.yaml

 3、安装grafana

docker run -d --name grafana -e TZ="Asia/Shanghai" -v /etc/localtime:/etc/localtime:ro -p 3000:3000 grafana/grafana

 4、添加数据源

更改grafana为中文界面

左侧点击connections,连接 

添加连接,搜索Loki,选中数据源

添加URL,地址为http://主机IP:3100,下方点save/test即可 

添加成功 

点击左侧探索, 进入查看页面。完成添加。

tips:做到这里的小伙伴,应该还有疑问,我只想监控单个容器的日志,怎么办呢。那么就需要在创建promtail容器时,path路径指定容器镜像名称。固定的容器ID,就可以了。

 但是还是有疑问,我们的容器环境一但更新重启后镜像ID会改变,这个如何解决。这里我用到了sed替换方法,可以参考如下写法。只要每次创建容器要求容器名称是一样的就行。

sed -i "20c \      __path__: /var/log/`docker inspect -f="{{.Id}}" 容器名称`/*.log" /home/apps/loki/promtail-config.yaml

再重启promtail容器

docker restart promtail 

这里表示使用docker命令获取到完整的容器ID,替换promtail-config.yaml文件第20行的内容。

这样就完美的解决掉容器更新带来的问题了。此方法适用于生产环境,首次创建后,生产环境日志过多,会暂时占用过多CPU资源,等待同步完成后,就可以正常查询显示了,实测22G日志文件,用了一上午promtail同步完成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/22511.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决IDEA项目external libraries依赖包消失的问题

有时候电脑重启后,再打开IDEA上的项目时会出现external libraries目录下的依赖包都消失了的情况,只剩下了一个JDK的包 网上说可以通过刷新IDEA的缓存解决,但我试了没有效果,最后使用如下办法解决: 1.删除项目目录下的…

Web入门-SpringBoot

SpringBootweb快速入门 需求:使用Spring Boot开发一个web项目,浏览器发起请求/hello后,给浏览器返回字符串”Hello World~“开发步骤 创建SpringBoot工程,并勾选web开发的相关依赖 根据自己idea的版本的不同创建模块即可 &#x…

最火爆的大模型框架LangChain七大核心及案例剖析上(一)

最火爆的大模型框架LangChain七大核心及案例剖析上 10.1 Models解析及案例剖析 本节正式进入当前开源界最火爆的大模型开发框架LangChain的部分,会讲解整个LangChain解决的问题及它的工作机制,通过一个“LangChain GPT内容创建者”(“LangChain GPT Content Creator”)的具体…

冷门研究冒险家同济陈涵晟:让科技帮助未来人类拓展艺术边界

原来他们是这样走过来的! 【AI红人荟】——这里是TechBeat人工智能社区为优秀的AI工作者开设的人物专访栏目。从膜拜“红人”到成为“红人”,TechBeat与你一起,在AI进阶之路上,升级打怪、完美通关~ 本篇人物,是来自同…

KMP算法和朴素算法对比

1.KMP速求next数组 先记录做题过程 等有时间再填内容吧

【GitHub】强大的终端录制工具-Terminalizer

Terminalizer 是一个GitHub上优秀的开源项目,目前项目点赞数已达:14k,该项目可以轻松记录下你在命令行的操作,并将录制好的内容输出成 gif 图像或直接分享到网上。 项目开源协议:MIT 项目主开发语言:JavaSc…

【Elasticsearch】DSL查询文档

目录 1.DSL查询文档 1.1.DSL查询分类 1.2.全文检索查询 1.2.1.使用场景 1.2.2.基本语法 1.2.3.示例 1.2.4.总结 1.3.精准查询 1.3.1.term查询 1.3.2.range查询 1.3.3.总结 1.4.地理坐标查询 1.4.1.矩形范围查询 1.4.2.附近查询 1.5.复合查询 1.5.1.相关性算分 …

IDEA使用插件绘制UML类图+PlantUML语法讲解

安装 IDEA安装插件 安装完插件记得重启一下IDEA 安装Graphviz(亲测win11可以使用) 安装完插件之后,还需要安装Graphviz才可以渲染图形。 Graphviz安装包下载地址 安装过程很简单,直接双击或者管理员身份运行即可,注…

mysql数据库的定时备份脚本(docker环境和非docker环境)

一、非docker安装的MySQL MySQL作为一种常用的数据库管理系统,拥有着众多的优秀特性,如高性能、高可靠性、高可扩展性等。然而,在数据备份上,也需要我们进行一定的处理,这样才能保证数据的安全性。因此,在这里我们将介绍如何定时备份MySQL数据库。 我们可以通过MySQL自…

5G时代的材料新宠——液晶高分子聚合物

液晶高分子聚合物时80年代初期发展起来的一种新型高性能工程塑料,英文名为:Liquid Crystal Polymer 简称为LCP。 聚合方法以熔融缩聚为主,全芳香族LCP多辅以固相缩聚以制得高分子量产品。非全芳香族LCP常采用一步或二步熔融聚合制取产品。近年…

IP-GUARD授权库勾选“不跟踪另存为”的效果

容灾时间过期如何申请延长? 有以下几种方式可以在已经超过容灾时间后,让客户端正常使用加密: 1、直接从控制台设置好容灾时间或者长期离线授权,右键客户端导出策略,然后从客户端c:\windows,调出policyimporttool.exe,导入策略即可。 2、直接在控制台设置好长期离线授权…

Java虚拟机(JVM)介绍

JVM是什么 JVM是Java Virtual Machine的缩写。它是一种基于计算设备的规范,是一台虚拟机,即虚构的计算机。 JVM屏蔽了具体操作系统平台的信息(显然,就像是我们在电脑上开了个虚拟机一样),当然,J…