ELK搭建

ELK介绍：

ELK是一组开源工具的缩写，它由Elasticsearch、Logstash和Kibana三个组件组成，用于处理、分析和可视化大量日志数据。
在这里插入图片描述

入门级ELK搭建（无Docker环境）

安装前准备

1.获取安装包

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-7.16.2-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-7.16.2-linux-x86_64.tar.gz

我将以上三个包统一存放在/usr/local目录下

2.创建用户组及用户

备注：由于elasticsearch不允许使用root启动，创建以下用户及yoghurt组以备用
【添加组】【用户组名】

groupadd elsearch

【添加用户】【用户名】-g【用户组名】-p【密码值】

useradd elsearch -g elsearch -p elsearch

3.统一处理

1）将三个包解压
tar -zxvf elasticsearch-7.16.2-linux-x86_64.tar.gz
tar -zxvf logstash-7.16.2-linux-x86_64.tar.gz
tar -zxvf kibana-7.16.2-linux-x86_64.tar.gz
2）将解压后的目录及权限交给刚创建的elsearch用户
chown -R elsearch:elsearch /usr/local/elasticsearch-7.16.2
chown -R elsearch:elsearch /usr/local/logstash-7.16.2
chown -R elsearch:elsearch /usr/local/kibana-7.16.2-linux-x86_64

一、elasticsearch配置

1.配置

修改配置文件elasticsearch.yml

cd /usr/local/elasticsearch-7.16.2/config
vim elasticsearch.yml

按以下方式进行修改：

#集群名称（按实际需要配置名称）
cluster.name: chy-elasticsearch
#节点名称
node.name: node-1
#数据路径（按实际需要配置日志地址）
path.data: /usr/local/elasticsearch-7.16.2/data
#日志路径（按实际需要配置日志地址）
path.logs: /usr/local/elasticsearch-7.16.2/logs
#地址（通常使用内网进行配置）
network.host: 127.0.0.1
#端口号
http.port: 18201
#节点地址
discovery.seed_hosts: ["127.0.0.1", "[::1]"]
#集群master
cluster.initial_master_nodes: ["node-1"]
#跨域（这两项配置手动添加一下）
http.cors.enabled: true 
http.cors.allow-origin: "*"

2.启动

cd /usr/local/elasticsearch-7.16.2/bin
nohup ./elasticsearch >/dev/null &

3.观察是否启动

观察日志判断elasticsearch 是否启动

cd /usr/local/elasticsearch-7.16.2/logs
tail -fn 100 /usr/local/elasticsearch-7.16.2/logs/chy-elasticsearch.log

注：上面这条语句结尾的‘chy-elasticsearch.log’为配置中的cluster.name的值

二、logstash配置

1.配置文件准备

修改配置文件logstash-sample.conf

cd /usr/local/logstash-7.16.2/config

cd /usr/local/logstash-7.16.2/config
···
cp logstash-sample.conf logstash.conf
···

2.修改配置

vim logstash.conf

注意：为了方便解释含义，以下包含注释‘#’的行请手动去除

input {#配合使用filebeats的端口，可忽略beats {port => 5044}#logstash向elasticsearch 传输数据端口tcp{port => 5701codec =>"json"}
}#以下配置为创建用户索引及默认索引情况
output {if[appname] != "" {elasticsearch {hosts => ["http://127.0.0.1:9200"]index => "%{[appname]}-%{+YYYY.MM.dd}"}} else {elasticsearch {hosts => ["http://127.0.0.1:9200"]index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"}}
}

3.启动

cd /usr/local/logstash-7.16.2/bin
nohup ./logstash -f /usr/local/logstash-7.16.2/config/logstash.conf >../logs/logstash.log &

4.观察是否启动

查看日志检查logstash是否成功启动

cd /usr/local/logstash-7.16.2/logs
tail -fn 100 logstash.log

三、kibana配置

1.修改配置文件

cd /usr/local/kibana-7.16.2-linux-x86_64/config
vim kibana.yml

按以下进行配置

#服务端口（按实际需求）
server.port: 18501
#服务主机（这里是服务器内网地址）
server.host: "172.16.176.60"
#服务名（按实际需求）
server.name: "chy-Kibana"
#elasticsearch地址
elasticsearch.hosts: ["http://127.0.0.1:18201"]
#设置简体中文
i18n.locale: "zh-CN"

2.启动

cd /usr/local/kibana-7.16.2-linux-x86_64/bin
nohup ./kibana >/dev/null &

3.观察是否启动

浏览器打开：http://{kibana服务器IP}:{端口}/app/home
例如：http://192.168.1.120:18501/app/home
出现kibana首页则表明启动成功

Docker中搭建ELK系统

前言

1.需要准备一台linux服务器（最好是CentOS7）,内存至少4g以上（三个组件都比
较占用内存）
2.需要有docker使用经验

1 docker安装ElasticSearch

这里先创建一个网络：因为我们还需要部署kibana容器、logstash容器，需要让这些容器互联。

docker network create elk-net

这里ElasticSearch采用的是7.12.1版本
在docker中搜索和下载对应的镜像

#搜索镜像
docker search elasticsearch
#下载镜像
docker pull elasticsearch:7.12.1

有了镜像以后，可以直接创建对应的容器，命令如下：

docker run -d \--name es \-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \-e "discovery.type=single-node" \-v es-data:/usr/share/elasticsearch/data \-v es-plugins:/usr/share/elasticsearch/plugins \--privileged \--network elk-net \-p 9200:9200 \-p 9300:9300 \
elasticsearch:7.12.1

命令解释：

-e "cluster.name=es-docker-cluster" ：设置集群名称
-e "http.host=0.0.0.0" ：监听的地址，可以外网访问
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" ：内存大小
-e "discovery.type=single-node" ：非集群模式
-v es-data:/usr/share/elasticsearch/data ：挂载逻辑卷，绑定es的数据目录
-v es-logs:/usr/share/elasticsearch/logs ：挂载逻辑卷，绑定es的日志目录
-v es-plugins:/usr/share/elasticsearch/plugins ：挂载逻辑卷，绑定es的插件目录
--privileged ：授予逻辑卷访问权
--network elk-net ：加入一个名为es-net的网络中
-p 9200:9200 ：端口映射配置

在浏览器中输入：http://192.168.200.130:9200 (按照自己的ip访问)即可看到elasticsearch的响应结果：

2 docker安装kibana

创建容器(如果不提前下载好，在创建容器时，会先下载，然后创建容器)

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
-e "I18N_LOCALE=zh-CN" \
--network=elk-net \
-p 5601:5601  \
kibana:7.12.1

命令解释：

--network elk-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
-e ELASTICSEARCH_HOSTS=http://es:9200" ：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
-p 5601:5601 ：端口映射配置

此时，在浏览器访问：http://192.168.200.130:5601，即可看到结果

3 docker安装logstash

3.1 创建容器

docker run -d -p 5044:5044 -p 9600:9600 --name logstash --
network=elk-net logstash:7.12.1

3.2 修改配置

3.2.1 设置ES的地址

创建完容器之后，需要在容器修改一些配置

#进入容器
docker exec -it logstash /bin/bash

找到config目录中的logstatsh.yml文件
在这里插入图片描述修改里面的内容，设置es服务的地址，如下

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.200.130:9200" ] #设置跟es的服务地址
3.2.2 设置logstash收集日志的输入和输出

进入容器

#进入容器
docker exec -it logstash /bin/bash

找到pipeline目录中的logstatsh.conf文件
在这里插入图片描述修改如下，可以设置数据输入的方式，也可以设置把数据存放到哪里

input {tcp {mode => "server"host => "0.0.0.0"  # 允许任意主机发送日志port => 5044codec => json_lines    # 数据格式}
}output {elasticsearch {hosts  => ["http://192.168.200.130:9200"]   # ElasticSearch 的地址和端口index  => "log-%{+YYYY.MM.dd}"         # 指定索引名,可以根据自己的需求指定命名codec  => "json"}stdout {codec => rubydebug}
}

修改完所有的配置后，需要重启logstash容器

docker restart logstash

其他配置

JAVA中使用（spring boot）

<dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>7.0.1</version>
</dependency>

在这里插入图片描述注意以下图片中destination标签，它定义了logstash传输日志的ip及端口号，有两种方式：
1.直接写在标签里面（下图中灰色注释这种）
2.从spring配置中读取（上图中圈起来的springProperty标签）,再如下图中通过${**}的方式引入
在这里插入图片描述代码如下：

<springProperty scope="context" name="logstash.destination" source="logstash.destination"/>
<appender name="logStash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><param name="Encoding" value="UTF-8"/><!-- 日志过滤器（参见） --><filter class="com.****.****.common.log.CustomLogFilesFilter"/><!--<destination>101.37.65.233:18401</destination>--><destination>${logstash.destination}</destination><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" ><!-- 索引名appname对应logStash配置中创建的索引 --><customFields>{"appname":"${logback.appname}"}</customFields></encoder>
</appender>
<!-- 最后别忘了这个 -->
<root level="info"><appender-ref ref="logStash" />
</root>

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/23065.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C语言进阶之通讯录的实现(静态版和动态版）以及动态内存管理

C语言进阶之通讯录的实现(静态版和动态版）以及动态内存管理

通讯录的实现及动态内存管理 1.通讯录实现要求2.静态版通讯录实现2.1 contact.h文件实现2.2 contact.c文件实现2.3 main.c文件实现2.4 静态版通讯录全部文件代码 3.动态内存管理3.1 为什么存在动态内存分配3.2 动态内存函数的介绍3.3 常见的动态内存错误3.4 C/C程序的内存开辟3…
阅读更多...
微服务系列文章之 nginx负载均衡

微服务系列文章之 nginx负载均衡

nginx负载均衡 负载均衡建立在现有网络结构之上&#xff0c;提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽&#xff0c;增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。 随着网站的发展&#xff0c;服务器压力越来越大&#xff0c;我们可能首先会将数…
阅读更多...
Wi-Fi 相关概念

Wi-Fi 相关概念

Wi-Fi 相关概念 802.11 Wi-Fi 标准及其含义频宽 和 带宽 的概念20MHz与40MHz的区别2.4G 频段2.4G的频道编号和中心频率 5G WiFi 频段中国开放的的5G WiFi频段&#xff1a;5G的频道编号和中心频率&#xff1a; 802.11历史进程一、802.11重要发展二、802.11协议族 参考 802.11 Wi…
阅读更多...
2023下半年软考高级系统架构设计师怎么报名？

2023下半年软考高级系统架构设计师怎么报名？

软考高级系统架构设计师报名时间&#xff1a; 广西2023下半年软考高级系统架构设计师报名时间&#xff1a;8月15日8:00至8月24日17:00 广东2023下半年软考高级系统架构设计师报名时间&#xff1a;8月16日9:00-8月24日17:00 甘肃2023下半年软考高级系统架构设计师报名时间&am…
阅读更多...
AcWing 107. 超快速排序—逆序对

AcWing 107. 超快速排序—逆序对

问题链接: AcWing 107. 超快速排序 问题描述 分析 这道题考查的算法不难&#xff0c;就只是利用归并排序来求逆序对的数量&#xff0c;但是主要是如何分析问题&#xff0c;如何能从问题中看出来和逆序对数量有关&#xff0c;现在的题目基本上很少是那种模板算法题了&#xff…
阅读更多...
漏洞复现 || TerraMaster TOS exportUser.php 远程命令执行

漏洞复现 || TerraMaster TOS exportUser.php 远程命令执行

阅读须知 技术文章仅供参考，此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等（包括但不限于）进行检测或维护参考，未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失，均由使用者本人负责。…
阅读更多...
大坝安全监测中需要做好检查监测

大坝安全监测中需要做好检查监测

大坝安全监测是人们了解大坝运行状态和安全状况的有效手段和方法。它的目的主要是了解大坝安全状况及其发展态势&#xff0c;是一个包括由获取各种环境、水文、结构、安全信息到经过识别、计算、判断等步骤&#xff0c;最终给出一个大坝安全 程度的全过程。 此过程包括&#xf…
阅读更多...
SpringCloud Alibaba——Nacos服务领域模型

SpringCloud Alibaba——Nacos服务领域模型

目录 一、Nacos服务领域模型二、Nacos服务领域模型图解 一、Nacos服务领域模型 模型名称解释Namespace实现环境隔离&#xff0c;默认值publicGroup不同的service可以组成一个Group&#xff0c;默认值Default-GroupService服务名称Cluster对指定的微服务虚拟划分&#xff0c;默…
阅读更多...
Linux自主学习 - 多线程的创建（#include＜pthread.h＞）

Linux自主学习 - 多线程的创建（#include＜pthread.h＞）

备注&#xff1a;vscode通过ssh连接虚拟机中的ubuntu&#xff0c;ubuntu-20.04.3-desktop-amd64.iso 函数pthread_create() // pthread.h中的函数pthread_create()extern int pthread_create (pthread_t *__restrict __newthread, // 线程标识符const pthread_attr_t *…
阅读更多...
python 面向对象编程

python 面向对象编程

文章目录 前言如何理解面向对象编程在 python 中如何使用面向对象编程定义类创建对象self添加和获取对象属性添加属性类外添加属性类中添加属性 访问属性类外访问属性类中访问属性 魔法方法__ init __() 方法__ str __()方法__ del __() 方法 前言 大家好&#xff0c;前面我们…
阅读更多...
Rust操作MySQL

Rust操作MySQL

查询 本部分是对 「Rust入门系列」Rust 中使用 MySQL[1]的学习与记录 经常使用的时间处理库&#xff1a; chrono 流式查询使用&#xff1a; query_iter 输出到Vec使用&#xff1a; query 映射到结构体使用&#xff1a; query_map 获取单条数据使用&#xff1a; query_first 命名…
阅读更多...
网络通信原理系统的认知(NEBASE第十四课)

网络通信原理系统的认知(NEBASE第十四课)

1 物理层 第一层 物理层&#xff1a;建立、维护、断开物理连接&#xff0c;定义了接口及介质&#xff0c;实现了比特流的传输。 1.1传输层介质分类 有线介质&#xff1a;网线 &#xff08;双绞线&#xff09;光纤 无线: 无线电 1.2 双绞线 五类线 cat5 &#xff1a;适用 10…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023