ELK之Filebeat安装配置及日志抓取

在这里插入图片描述

一、Filebeat是什么

轻量型日志采集器
无论您是从安全设备、云、容器、主机还是 OT 进行数据收集,Filebeat 都将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。
Filebeat 随附可观测性和安全数据源模块,这些模块简化了常见格式的日志的收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点,是因为它将自动默认路径(因操作系统而异)与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此,Filebeat 的一些模块还随附了预配置的 Machine Learning 作业。

Filebeat工作的流程图如下:
在这里插入图片描述

二、Filebeat 下载&安装

2.1 下载&安装

Filebeat下载地址:https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.4-linux-x86_64.tar.gz
下载后,解压tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz

[root@nb002 tools]# ls
elasticsearch-7.17.4-x86_64.rpm   logstash-7.17.4-linux-x86_64.tar.gz
filebeat-7.17.4-linux-x86_64.tar.gz  kibana-7.17.4-linux-x86_64.tar.gz
[root@nb002 tools]# tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz 
filebeat-7.17.4-linux-x86_64/filebeat.reference.yml
filebeat-7.17.4-linux-x86_64/filebeat.yml
filebeat-7.17.4-linux-x86_64/LICENSE.txt
filebeat-7.17.4-linux-x86_64/.build_hash.txt
filebeat-7.17.4-linux-x86_64/module/
filebeat-7.17.4-linux-x86_64/module/activemq/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/config/
……………省略一堆balabala…………………
filebeat-7.17.4-linux-x86_64/kibana/7/visualization/number-of-kafka-stracktraces-by-class-ecs.json
filebeat-7.17.4-linux-x86_64/filebeat
filebeat-7.17.4-linux-x86_64/NOTICE.txt
filebeat-7.17.4-linux-x86_64/fields.yml

解压后,目录如下:

[root@nb002 filebeat-7.17.4]# ll
总用量 136408
-rw-r--r--  1 root root   3780088 519 00:46 fields.yml
-rwxr-xr-x  1 root root 133695232 519 00:51 filebeat
-rw-r--r--  1 root root    170451 519 00:46 filebeat.reference.yml
-rw-------  1 root root      8348 519 00:46 filebeat.yml
drwxr-xr-x  3 root root        15 519 00:46 kibana
-rw-r--r--  1 root root     13675 518 23:28 LICENSE.txt
drwxr-xr-x 76 root root      4096 519 00:46 module
drwxr-xr-x  2 root root      4096 519 00:46 modules.d
-rw-r--r--  1 root root   1987715 518 23:28 NOTICE.txt
-rw-r--r--  1 root root       814 519 00:51 README.md

2.2 service方式启动

vim /usr/lib/systemd/system/filebeat.service :也就是在/usr/lib/systemd/system/下新建filebeat.service输入以下内容:
注意ExecStart的路径哈。

[Unit]
Description=Filebeat sends log files to Logstash or directly to Elasticsearch
Wants=network-online.target
After=network-online.target[Service]
ExecStart=/data/filebeat-7.17.4/filebeat -c /data/filebeat-7.17.4/filebeat.yml
Restart=always[Install]
WantedBy=multi-user.target

启动方式为:

systemctl daemon-reload
systemctl start filebeat

三、Filebeat 实时读取一个日志文件,输出到屏幕

3.1 修改filebeat的配置文件filebeat.yml

filebeat.inputs:
- type: filestreamid: nginx-access-logenabled: truepaths:# 表示去/tmp下读取所有.log文件- /tmp/*.logfilebeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsesetup.template.settings:index.number_of_shards: 1# output to console
output

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/413028.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LeetCode】876. 链表的中间结点

leetcode链接 876. 链表的中间结点 struct ListNode {int val;struct ListNode* next; }; typedef struct ListNode ListNode;ListNode* MiddleNode(ListNode* head) {ListNode* slow head,* quick head;while (quick && quick->next) {slow slow->next;qui…

Postman使用方法指南,最全面的教程

Postman使用教程 一、Postman介绍 ​ Postman是一个英语单词,名词,作名词时意为“邮递员;邮差”。 ​ Postman是一个接口测试工具,在做接口测试的时候,Postman相当于一个客户端,它可以模拟用户发起的各类HTTP请求,将请求数据发送至服务端,获…

代码随想录算法训练营Day23 | 455.分发饼干、376.摆动子序列、53.最大子数组和

LeetCode 455 分发饼干 本题思路:分发饼干的时候,外层循环是胃口,内层是饼干,按照大饼干满足大胃口的思维来投递饼干。 需要将 两个数组,一开始就进行排序处理。 class Solution {public int findContentChildren(int…

EasyX图形化学习(三)

1.帧率: 即每秒钟界面刷新次数,下面以60帧为例: 1.数据类型 clock_t: 用来保存时间的数据类型。 2.clock( ) 函数: 用于返回程序运行的时间,无需参数。 3.例子: 先定义所需帧率: const …

[NSSCTF Round#16 Basic]RCE但是没有完全RCE

RCE但是没有完全RCE wp 题目代码&#xff1a; 第一关 <?php error_reporting(0); highlight_file(__file__); include(level2.php); if (isset($_GET[md5_1]) && isset($_GET[md5_2])) {if ((string)$_GET[md5_1] ! (string)$_GET[md5_2] && md5($_GET[m…

Leetcode:128. 最长连续序列

128. 最长连续序列 乍一看感觉很简单&#xff0c;一看要用O(n)??? 因为我觉得题目很难而且题目看起来很简单&#xff0c;感觉以后会用到&#x1f606;&#xff0c;做个记录 1.朴素做法 思路 答:任何一段连续的数都有一个左端点&#xff1a;比如&#xff08;1&#xff0c;…

解读Vue的原型及原型链

在 JavaScript 中&#xff0c;每个对象都有一个关联的原型&#xff08;prototype&#xff09;。原型是一个对象&#xff0c;其他对象可以通过原型实现属性和方法的继承。原型链是一种由对象组成的链式结构&#xff0c;它通过原型的引用连接了一系列对象&#xff0c;形成了一种继…

恭喜所有纺织人,你最想要的小程序来了

随着互联网的普及和电子商务的快速发展&#xff0c;越来越多的商家开始涉足线上销售。而小程序商城作为一种轻量级的应用程序&#xff0c;正逐渐成为商家们热衷选择的销售平台。本文将通过实用指南的形式&#xff0c;为商家们详细介绍如何通过乔拓云网后台&#xff0c;自助搭建…

推荐 10 个基于 Stable Diffusion 的 AI 绘画网站

在当今快速发展的人工智能领域&#xff0c;AI 绘画已经成为一个不可忽视的趋势。特别是基于 Stable Diffusion 技术的 AI 绘画工具&#xff0c;以其强大的图像生成能力和丰富的创意潜力吸引了众多艺术家和设计师的目光。对于那些热爱艺术创作&#xff0c;但又缺乏专业绘画技巧的…

Defi安全--Orion Protocol攻击事件分析

其它相关文章可见个人主页 1. Orion Protocol攻击事件相关信息 2023年2月2日&#xff0c;在ETH和BSC上的Orion Protocol项目被攻击&#xff0c;这里以ETH上攻击为例&#xff1a; 攻击合约地址&#xff1a;Attacker Contract Address | Etherscan攻击者地址&#xff1a;Orion…

2018年认证杯SPSSPRO杯数学建模A题(第一阶段)海豚与沙丁鱼全过程文档及程序

2018年认证杯SPSSPRO杯数学建模 探究海豚猎捕时沙丁鱼群的躲避运动模型 A题 海豚与沙丁鱼 原题再现&#xff1a; 沙丁鱼以聚成大群的方式来对抗海豚的捕食。由于水下光线很暗&#xff0c;所以在距离较远时&#xff0c;海豚只能使用回声定位方法来判断鱼群的整体位置&#xf…

Qt编程之仿gnome-terminal终端样式 +颜色文字显示

Qt仿linux 终端样式 颜色文字 1.说再多废话不如直接show code2.实现效果 本文采用QTextBrowser作为文本显示窗口&#xff0c;进行文本的显示。本文实例实现的效果并没有终端的输入效果&#xff0c;这里只是提供一些仿终端样式思路。 1.说再多废话不如直接show code 1.ui文件…