Go微服务: 日志系统ELK核心架构设计

微服务日志系统建设


1 ）为什么需要日志系统

  • 业务发展越来越庞大，服务器越来越多
  • 各种访问日志，应用日志，错误日志量越来越多，无法管理
  • 开发人员排查问题，需要到服务器上查日志

2 ）Elastic Stack

  • 它是 Elasticsearch, Logstash, Kibana, +Beats 组成的
  • Elasticsearch 是分布式搜索引擎，提供搜集，分析，存储数据三大功能
  • Logstash: 主要是用来日志的搜集，分析，过滤日志的工具
  • Kibana：提供友好的Web界面，可以汇总，分析和搜索数据
  • Beats: 是一个轻量级的日志收集处理工具 (Agent)

3 ）Beats 的六种主要工具

  • Packetbeat: 网络数据(收集网络流量数据)
  • Metricbeat: 指标 (收集系统，进程和文件系统级别的数据)
  • Filebeat: 日志文件 (收集文件数据)
  • Winlogbeat: windows事件日志(收集Windows事件日志数据)
  • Auditbeat: 审计数据 (收集审计日志)
  • Heartbeat: 运行时间监控 (收集系统运行时的数据)

4 ）ELK 系统的特点

  • 强大的收集能力：能够采集多种来源的日志数据
  • 稳定的传输能力: 能够把日志数据传输到中央系统
  • 分布式存储：可根据业务需求存储日志数据，可动态扩容
  • 分析&展示&提醒: 具备数据分析能力，数据展示能力和告警能力

5 ）ELK 架构图

  • Fliebeat放到了一台机器上去，不同的机器
  • 不同的机器也可以放不同的Filebeat
  • Filebeat 即能直接传输到 Es 中去
  • 也可以通过 Logstash 处理完再传输到 Es 中
  • ES 负责存储我们的数据，也负责提供一些复杂的搜索
  • 通过存储和提供一些搜索能力，Kibana 可以通过Es的数据可以多维度的展示数据
  • 如果 Filebeat 和 es 中间压力比较大，还可以加一个 kafka

FileBeat


1 ）基本组成

  • Prospector (勘测者) 负责管理 Harvester 并找到所有读取源
  • Harvester （收割机）负责读取单个文件内容，每个文件启动一个

2 ）工作原理

  • 这里有2个 prospector
  • 上面一个 prospector 会给每个 log 文件建立一个 harvester, 负责文件内所有数据的上传
  • 下面一个 prospector 是监控 apache2目录下的 log 文件，同样的原理
  • 它会把上面日志文件的数据整理出来，发送到 es, logstash, kafka 或 redis 上

3 ）Filebeat 如何记录文件状态

  • 文件状态记录在文件中 (默认在 /var/lib/filebeat/registry)
  • Filebeat 会记录发送前的最后一行，并再可以连接的时候继续发送
  • 每个Prospector 会为每个找到的文件记录一个状态
  • Filebeat 存储唯一标识符以检测文件是否先前被收集
  • 由此，可见，Filebeat是记录一系列的状态，来记录文件传输的过程

4 ）Filebeat 如何保证事件至少被输出一次

  • Filebeat 将每个事件的传递状态保存在文件中
  • 在未得到输出方确认时，Filebeat 会尝试一直发送，直到得到回应
  • 任何在Filebeat 关闭之前未确认的事件，都会在 filebeat 重启之后重新发送
  • 可确保至少发送一次，但有可能会重复

5 ）filebeat.yml 文件的配置样例

# Filebeat 输入
filebeat.inputs:# 类型- type: logenabled: true# 要抓取的文件路径paths:- ./*.log
# 输出 这里输出到 logstash, 也可输出到 es
output.logstash:# logstash 地址hosts: ["localhost: 5044"]

Logstash 工作原理

  • 主要是三个阶段：inputs -> filters -> outputs
    • 第一阶段是 Input 输入，会把数据输入到 logstash
    • 第二阶段是 Filters 过滤清洗
      • 数据中间处理，对数据进行操作, 它会有自己的插件
    • 第三阶段是 Outputs 数据输出
      • outputs 是 logstash 处理管道的最末端组件
      • 可以发送给es来存储和索引

1 ）Logstash-Input 阶段常见的输入

  • file：从文件系统的文件中读取，类似于 tail -f 命令
  • syslog：在 514端口上监听系统日志消息，并根据RFC3164标准进行解析
  • beats：从 Filebeat 中读取

2 ）Logstash-Input 常用样例

  • .conf 文件
    input {beats {port => 5044}tcp {port => 5000}
}
    • beats 常用的 5044 是 Inputs 常用样例
    • 下面的 tcp 也可以不用写

3 ）Logstash-Filter 数据中间件处理插件 grok (可解析任意文本数据)

  • Grok 基础语法，如： %{SYNTAX:SEMANTIC}
    • SYNTAX：代表匹配值的类型
    • SEMANTIC：代表存储该值的一个变量名称
  • 例 %{ERROR|DEBUG|INFO|WARN: log_level}

4 ）Logstash-Output 数据输出

  • 输出到 kafka 和 es 也可以输出到 redis
  • 输出到 es 样例
    output {elasticsearch {hosts => "elasticsearch: 9200"user => "elastic"password => "changeme"index => "%{[@metadata][-xxxxx]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"}
}

Docker-Compose 安装 ELK


1 ）ELK docker-compose 编写

  • elasticsearch : 先拉镜像，再对配置进行修改
  • logstash：配置它的input和output
  • kibana: 搭建kibana平台, 有日志生成了, filebeat把程序log传到kibana
  • 现在编写代码，ELK 通过一个 docker-stack.yml 来进行管理
  • docker-stack.yml
    version: '3.3'
services:elasticsearch:image: elasticsearch:7.9.3ports:- "9200:9200"- "9300:9300"volumes:- ./elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.ymlenvironment:ES_JAVA_OPTS: "-Xmx256m -Xms256m"ELASTIC_PASSWORD: xxxxxpwddiscovery.type: single-nodenetwork.publish_host: _eth0_logstash:image: logstash:7.9.3ports:- "5044:5044"- "5000:5000"- "9600:9600"volumes:- ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml- ./logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.confenvironment:LS_JAVA_OPTS: "-Xmx256m -Xms256m"kibana:image: kibana:7.9.3ports:- "5601:5601"volumes:- ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml

2 ) 各类配置文件编写

  • elasticsearch/config/elasticsearch.yml
    ---
cluster.name: "xxxxx-cluster"
network.host: 0.0.0.0xpack.license.self_generated.type: trial
xpack.security.enabled: true
xpack.monitoring.collection.enabled: true
  • logstash/config/logstash.yml
    ---
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: ["http://elasticsearch:9200"]xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: xxxxxpwd
  • logstash/pipeline/logstash.conf
    input {beats {port => 5044}tcp {port => 5000}
}output {elasticsearch {hosts => "elasticsearch:9200"user => "elastic"password => "xxxxxpwd"index => "%{[@metadata][-xxxxx]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"}
}
  • kibana/config/kibana.yml
    ---
server.name: kibana
server.host: 0.0.0.0
elasticsearch.hosts: ["http://elasticsearch:9200"]
monitoring.ui.container.elasticsearch.enabled: trueelasticsearch.username: elastic
elasticsearch.password: xxxxxpwd

3 ) 启动和检查

  • 启动：$ docker-compose -f docker-stack.yml up -d
  • 检查：$ docker-compose -f docker-stack.yml ps
    NAME                  IMAGE                 COMMAND                  SERVICE             CREATED              STATUS              PORTS
elk-elasticsearch-1   elasticsearch:7.9.3   "/tini -- /usr/local…"   elasticsearch       About a minute ago   Up About a minute   0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp
elk-kibana-1          kibana:7.9.3          "/usr/local/bin/dumb…"   kibana              About a minute ago   Up About a minute   0.0.0.0:5601->5601/tcp
elk-logstash-1        logstash:7.9.3        "/usr/local/bin/dock…"   logstash            About a minute ago   Up About a minute   0.0.0.0:5000->5000/tcp, 0.0.0.0:5044->5044/tcp, 0.0.0.0:9600->9600/tcp
  • 现在整个日志系统基本已经搭建完毕 ~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/704547.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

栈和队列经典面试题详解

栈和队列经典面试题详解

目录 题目一：20. 有效的括号 - 力扣（LeetCode） 题目二：225. 用队列实现栈 - 力扣（LeetCode） 题目三：232. 用栈实现队列 - 力扣（LeetCode） 题目四：622. 设…
阅读更多...
AI大模型探索之路-训练篇23：ChatGLM3微调实战-基于P-Tuning V2技术的实践指南

AI大模型探索之路-训练篇23：ChatGLM3微调实战-基于P-Tuning V2技术的实践指南

系列篇章💥 AI大模型探索之路-训练篇1：大语言模型微调基础认知 AI大模型探索之路-训练篇2：大语言模型预训练基础认知 AI大模型探索之路-训练篇3：大语言模型全景解读 AI大模型探索之路-训练篇4：大语言模型训练数据集概…
阅读更多...
treejs 3D+echart实现三维旋转炫酷导航网页

treejs 3D+echart实现三维旋转炫酷导航网页

treejs 3Dechart实现三维旋转炫酷导航网页https://www.bilibili.com/video/BV1SM4m1C7ki/
阅读更多...
学前端网络安全这块还不懂？细说CSRF

学前端网络安全这块还不懂？细说CSRF

什么是CSRF？ 举个栗子，比如我们需要在某个博客上删除一个文章，攻击者首先在自己的域构造一个页面，使用了一个img标签，其地址指向了删除博客的链接。攻击者诱使目标用户，也就是博客主访问这个页面&#xff…
阅读更多...
最小质数对-第12届蓝桥杯国赛Python真题解析

最小质数对-第12届蓝桥杯国赛Python真题解析

[导读]：超平老师的Scratch蓝桥杯真题解读系列在推出之后，受到了广大老师和家长的好评，非常感谢各位的认可和厚爱。作为回馈，超平老师计划推出《Python蓝桥杯真题解析100讲》，这是解读系列的第63讲。 最小质数对&#…
阅读更多...
参考文献自检指南

参考文献自检指南

参考文献作为论文的最后组成部分，可能不是加分项，但是做不好的话绝对会被吐槽，而且是个要命的减分项。因此要做好检查，以下是一些可以遵循的规范。（如有疏漏，欢迎指出） .bib文件 1.字段的选…
阅读更多...
全网最全的Postman接口自动化测试！

全网最全的Postman接口自动化测试！

该篇文章针对已经掌握 Postman 基本用法的读者，即对接口相关概念有一定了解、已经会使用 Postman 进行模拟请求的操作。 当前环境： Window 7 - 64 Postman 版本（免费版）：Chrome App v5.5.3 不同版本页面 UI 和部分…
阅读更多...
新质生产力之工业互联网产业链

新质生产力之工业互联网产业链

随着全球经济的数字化转型，新基建的概念逐渐成为推动工业发展的关键动力。在这一转型过程中，工业互联网作为新基建的核心组成部分，正逐渐塑造着未来工业的面貌。那么工业互联网产业链是如何构成的，以及它如何成为推动工业4.0和智能…
阅读更多...
【设计模式】JAVA Design Patterns——Adapter（适配器模式）

【设计模式】JAVA Design Patterns——Adapter（适配器模式）

🔍目的 将一个接口转换成另一个客户所期望的接口。适配器让那些本来因为接口不兼容的类可以合作无间。 🔍解释 现实世界例子 考虑有这么一种情况，在你的存储卡中有一些照片，你想将其传到你的电脑中。为了传送数据，你需…
阅读更多...
SFTPGO 整合minio AD群组 测试 |sftpgo with minio and ldap group test

SFTPGO 整合minio AD群组 测试 |sftpgo with minio and ldap group test

SFTP-GO 研究 最近在测试sftpgo，发现中文的资料比较少，在企业中很多存储开始支持S3，比如netapp 于是想尝试把文件服务器换成sftpgoS3的存储，sftp go和AD 群组的搭配测试比较少 自己测试了一把，觉得还是没有server-u的A…
阅读更多...
快速查看字符对应的ASCII码

快速查看字符对应的ASCII码

1、借助gdb查看 打印字符串用双引号括起来打印单个字符用单引号括起来x 表示十六机制d 表示十进制t 表示二进制 2、借助二进制查看软件 第一步：把要查看的字符保存到文本文件中第二步：借助二进制查看工具（比如：Hex Editor Neo&am…
阅读更多...
link.click()时浏览器报错The file at ‘data:image/png；base64,iVBORw

link.click()时浏览器报错The file at ‘data:image/png；base64,iVBORw

代码如下： const dataURL canvas.toDataURL({format: "png",width: 400,height: 400, });const link document.createElement("a"); link.download new Date().getTime();link.href dataURL; document.body.appendChild(link); link.click…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023