11:日志分析系统ELK｜Elasticsearch｜kibana

日志分析系统ELK｜Elasticsearch｜kibana

  • 日志分析系统ELK
    • ELK概述
    • Elasticsearch
    • 安装Elasticsearch
    • 部署Elasticsearch集群
    • Elasticsearch插件
  • 熟悉Elasticsearch的API调用
    • _cat API
    • 创建 tedu 索引使用 PUT 方式
    • 增加数据
    • 查询数据
    • 修改数据
    • 删除数据
  • Kibana
    • Kibana安装配置
    • 导入日志并绘制图表

日志分析系统ELK

ELK概述

  • Elasticsearch：负责日志检索和存储
  • Logstash：负责日志的收集和分析、处理
  • Kibana：负责日志的可视化
  • ELK是一整套解决方案，是三个软件产品的首字母缩写，很多公司都在使用 如：Sina 携程 华为 美团等
  • 这三款软件都是开源软件，通常是配合使用，而且又先后归于Elastic.co公司名下，故被简称为ELK

ELK组件在海量日志系统的运维中，可用于解决：
分布式日志数据集中查询和管理
系统监控，包含系统硬件和应用各个组件的监控
故障排查
安全信息和事件管理
报表功能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful API的web接口，其是用java开发的，使用apache许可条款的开源软件，是当前流程的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，快速，可靠，安装使用方便。
在这里插入图片描述

安装Elasticsearch

最低配置： 2cpu，2G内存，20G硬盘
在这里插入图片描述

步骤一：先准备一台虚拟机

1.更改主机名，配置IP，搭建第三方yum源
# 在跳板机上把 elk 软件加入自定义 yum 仓库
[root@ecs-proxy ~]# cp -a elk /var/ftp/localrepo/elk
[root@ecs-proxy ~]# cd /var/ftp/localrepo/
[root@ecs-proxy localrepo]# createrepo --update .
2.安装elasticsearch
# 配置主机名解析
[root@es-0001 ~]# vim /etc/hosts
192.168.1.41    es-0001
[root@es-0001 ~]# yum makecache
[root@es-0001 ~]# yum install -y java-1.8.0-openjdk elasticsearch
[root@es-0001 ~]# vim /etc/elasticsearch/elasticsearch.yml
55:  network.host: 0.0.0.0
# 设置开机自启
[root@es-0001 ~]# systemctl enable --now elasticsearch
[root@es-0001 ~]# curl http://192.168.1.41:9200/
{"name" : "War Eagle","cluster_name" : "elasticsearch","version" : {"number" : "2.3.4","build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f","build_timestamp" : "2016-06-30T11:24:31Z","build_snapshot" : false,"lucene_version" : "5.5.0"},"tagline" : "You Know, for Search"
}

部署Elasticsearch集群

使用5台虚拟机组建 elasticsearch 集群
最低配置： 2cpu，2G内存，20G硬盘
虚拟机：
192.168.1.41 es-0001
192.168.1.42 es-0002
192.168.1.43 es-0003
192.168.1.44 es-0004
192.168.1.45 es-0005

1.更改hosts文件
[root@es-0001 ~]# vim  /etc/hosts
192.168.1.41    es-0001
192.168.1.42    es-0002
192.168.1.43    es-0003 
192.168.1.44    es-0004 
192.168.1.45    es-0005
2.更改配置文件
[root@es-0001 ~]# yum install -y java-1.8.0-openjdk elasticsearch
[root@es-0001 ~]# vim /etc/elasticsearch/elasticsearch.yml
17:  cluster.name: my-es # 集群名称
23:  node.name: es-0001 # 本机主机名
55:  network.host: 0.0.0.0
68:  discovery.zen.ping.unicast.hosts: ["es-0001", "es-0002"] # 介绍人
[root@es-0001 ~]# systemctl enable --now elasticsearch
[root@es-0001 ~]# curl http://192.168.1.41:9200/_cluster/health?pretty
{"cluster_name" : "my-es","status" : "green","timed_out" : false,"number_of_nodes" : 5,"number_of_data_nodes" : 5,... ...
}
3） 其他机器（1.42-1.45）一样操作，安装elasticsearch和java-1.8.0-openjdk，同步配置文件在步骤一已经安装了一台elasticsearch，这里只需再准备四台即可
4）访问测试，如图-1所示：
可以访问任意一台主机， 集群的节点都是5台，ES 集群验证：返回字段解析：
”status”: ”green“ 集群状态：绿色为正常、黄色表示有问题但不是很严重、红色表示严重故障
”number_of_nodes”： 5, 表示集群中节点的数量

在这里插入图片描述
在这里插入图片描述

Elasticsearch插件

  • head插件
    它展示ES集群的拓扑结构，并且可以通过它来进行索引和节点级别的操作，他提供一组针对集群的查询API，并将结果以json和表格的形式返回，它提供一些快捷菜单，用以展现集群的各种状态。
    在这里插入图片描述

在这里插入图片描述
使用 head插件访问集群
购买云主机： 1cpu，1G内存，20G硬盘，并安装 apache
虚拟机：
192.168.1.48 web

安装 apache，并把 apache 和 es-0001 服务发布到互联网上
安装 apache
[root@web ~]# yum install -y httpd
[root@web ~]# tar zxf head.tar.gz
[root@web ~]# mv elasticsearch-head /var/www/html/head
[root@web ~]# systemctl enable --now httpd
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.
2）授权访问head插件访问 es-0001
[root@es-0001 ~]# vim /etc/elasticsearch/elasticsearch.yml
# 配置文件最后追加
http.cors.enabled : true
http.cors.allow-origin : "*"
http.cors.allow-methods : OPTIONS, HEAD, GET, POST, PUT, DELETE
http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type,Content-Length
[root@es-0001 ~]# systemctl restart elasticsearch.service

在这里插入图片描述

五角星 是master 主节点 是程序内部自己选的

熟悉Elasticsearch的API调用

在这里插入图片描述
在这里插入图片描述

在Linux中curl 是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持多种请求模式，自定义请求头等强大功能，是一款综合工具。
使用格式：curl -X 请求方法 http://请求地址
curl -H 自定义请求头 http://请求地址

_cat API

_cat 关键字用来查询集群状态，节点信息等
显示详细信息（?v）,显示帮助信息(?help)
例如查询集群中的master是谁

[root@localhost~]# curl -XGET http://es-0001:9200/_cat/master?v

在这里插入图片描述

创建 tedu 索引使用 PUT 方式

[root@es-0005 bin]# curl -XPUT -H "Content-Type: application/json" 'http://es-0001:9200/tedu' -d '{"settings":{"index":{"number_of_shards": 5, "number_of_replicas": 1}}
}'
{"acknowledged":true}

增加数据

[root@es-0005 bin]# curl –XPUT -H "Content-Type: application/json" 'http://es-0001:9200/tedu/teacher/1' -d \
> '{
>   "职业": "诗人",
>   "名字": "李白",
>   "称号": "诗仙",
>   "年代": "唐"
> }' 
{"_index":"tedu","_type":"teacher","_id":"1","_version":1,"_shards":{"total":2,"successful":2,"failed":0},"created":true}

查询数据

[root@es-0005 bin]# curl -XGET http://es-0001:9200/tedu/teacher/1?pretty
{"_index" : "tedu","_type" : "teacher","_id" : "1","_version" : 1,"found" : true,"_source" : {"职业" : "诗人","名字" : "李白","称号" : "诗仙","年代" : "唐"}
}

修改数据

[root@es-0005 bin]# curl -XPOST -H "Content-Type: application/json" http://es-0001:9200/tedu/teacher/1/_update -d \
> '{ 
>     "doc": {
>         "年代": "公元701"
>     }
> }'
{"_index":"tedu","_type":"teacher","_id":"1","_version":2,"_shards":{"total":2,"successful":2,"failed":0}}

删除数据

注：删除时候可以是文档，也可以是索引，但不能是类型

[root@es-0005 bin]# curl –XDELETE -H "Content-Type: application/json" http://es-0001:9200/tedu/teacher/1
{"found":true,"_index":"tedu","_type":"teacher","_id":"1","_version":3,"_shards":{"total":2,"successful":2,"failed":0}}
[root@es-0005 bin]# curl -XDELETE -H "Content-Type: application/json" http://es-0001:9200/tedu
{"acknowledged":true}

Kibana

kibana 是数据可视化平台工具
特点：

  • 灵活的分析和可视化平台
  • 实时总结流量和数据的图标
  • 为不同的用户显示直观的界面
  • 即时分享和嵌入的仪表板

Kibana安装配置

创建虚拟机并安装 kibana
最低配置： 1cpu，1G内存，10G硬盘
虚拟机IP： 192.168.1.46 kibana

步骤一：安装kibana
1）在另一台主机，配置ip为192.168.1.46，配置yum源，更改主机名

更改hosts文件
[root@kibana ~]# vim /etc/hosts
192.168.1.41    es-0001
192.168.1.42    es-0002
192.168.1.43    es-0003
192.168.1.44    es-0004
192.168.1.45    es-0005
192.168.1.46    kibana
[root@kibana ~]# yum -y install kibana

2）更改配置文件

[root@kibana ~]# vim /etc/kibana/kibana.yml
02  server.port: 5601
07  server.host: "0.0.0.0"
28  elasticsearch.hosts: ["http://es-0002:9200", "http://es-0003:9200"]
37  kibana.index: ".kibana"
40  kibana.defaultAppId: "home"
113 i18n.locale: "zh-CN"
[root@kibana ~]# systemctl enable --now kibana

web 页面访问

Firefox  http://192.168.1.46:5601

在这里插入图片描述

导入日志并绘制图表

  • 数据导入条件：必须指定 json格式 Content-Type：application/json
  • 导入关键字：_bulk
  • HTTP方法：POST
  • url编码格式：data-binary

导入数据

[root@localhost ~]# scp  /var/ftp/localrepo/elk/*.gz root@192.168.1.46:/root/
[root@kibana ~]# gzip  -d logs.jsonl.gz 
[root@kibana ~]# curl -XPOST -H "Content-Type: application/json" http://es-0001:9200/_bulk --data-binary @logs.jsonl

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
注意： 这里没有数据的原因是导入日志的时间段不对，默认配置是最近15分钟，在这可以修改一下时间来显示
kibana修改时间，选择Lsat 15 miuntes
在这里插入图片描述
在这里插入图片描述
除了柱状图，Kibana还支持很多种展示方式
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/504968.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C++】用命名空间避免命名冲突

【C++】用命名空间避免命名冲突

🌸博主主页：釉色清风🌸文章专栏：C🌸今日语录：如果神明还不帮你，说明他相信你。 🪷文章简介：这篇文章是结合谭浩强老师的书以及自己的理解，同时加入了一些例子…
阅读更多...
武汉灰京文化：多样化推广与创新引领游戏行业

武汉灰京文化：多样化推广与创新引领游戏行业

作为专业的游戏推广服务商，武汉灰京文化注重多样化的推广策略，通过与各大媒体、社交平台和游戏社区建立紧密的合作关系，为游戏企业提供全方位的推广服务。他们通过精确的广告投放、内容创作和社交媒体互动等方式，将游戏信息传播给…
阅读更多...
单细胞Seurat - 降维与细胞标记(4)

单细胞Seurat - 降维与细胞标记(4)

本系列持续更新Seurat单细胞分析教程，欢迎关注！ 非线形降维 Seurat 提供了几种非线性降维技术，例如 tSNE 和 UMAP，来可视化和探索这些数据集。这些算法的目标是学习数据集中的底层结构，以便将相似的细胞放在低维空间中…
阅读更多...
Stable Cascade-ComfyUI中文生图、图生图、多图融合基础工作流分享

Stable Cascade-ComfyUI中文生图、图生图、多图融合基础工作流分享

最近 ComfyUI对于Stable Cascade的支持越来越好了一些，官方也放出来一些工作流供参考。 这里简单分享几个比较常用的基础工作流。 （如果还没有下载模型，可以先阅读上一篇Stable Cascade升级，现在只需要两个模型） &a…
阅读更多...
用python和pygame库实现刮刮乐游戏

用python和pygame库实现刮刮乐游戏

用python和pygame库实现刮刮乐游戏 首先，确保你已经安装了pygame库。如果没有安装，可以通过以下命令安装： pip install pygame 示例有两个。 一、简单刮刮乐游戏 准备两张图片，一张作为背景bottom_image.png，一张作…
阅读更多...
Flink状态存储-StateBackend

Flink状态存储-StateBackend

文章目录 前言一、MemoryStateBackend二、FSStateBackend三、RocksDBStateBackend四、StateBackend配置方式五、状态持久化六、状态重分布OperatorState 重分布KeyedState 重分布 七、状态过期 前言 Flink是一个流处理框架，它需要对数据流进行状态管理以支持复杂的…
阅读更多...
【合宙ESP32C3 Arduino开发】第四篇：TFT_eSPI 驱动 合宙Air101 ST7735 LCD 显示普通时钟，模块化编程

【合宙ESP32C3 Arduino开发】第四篇：TFT_eSPI 驱动 合宙Air101 ST7735 LCD 显示普通时钟，模块化编程

忘记过去，超越自己 ❤️ 博客主页 单片机菜鸟哥，一个野生非专业硬件IOT爱好者 ❤️❤️ 本篇创建时间 2024-03-02❤️❤️ 本篇更新时间 2024-03-02❤️🎉 欢迎关注 🔎点赞 👍收藏 ⭐️留言📝🙏…
阅读更多...
基于语义解析的KBQA——代码和论文详细分析

基于语义解析的KBQA——代码和论文详细分析

根据论文：Semantic Parsing on Freebase from Question-Answer Pairs，分析其代码和步骤，以加强对这一流程的深入理解，重点关注模型的输入、输出和具体方法。 前言 提供阅读本文的前提知识，引用自Semantic Parsing on…
阅读更多...
技术活也能轻松搞定！Xinstall一键完成Android多渠道打包

技术活也能轻松搞定！Xinstall一键完成Android多渠道打包

随着移动互联网的迅猛发展，Android应用市场呈现出百花齐放的态势。为了满足不同市场的需求，开发者们常常需要为同一个应用打包多个渠道版本。然而，传统的打包方式繁琐且耗时，让渠道运营人员苦不堪言。今天，我们就来聊聊…
阅读更多...
【黑马程序员】4、TypeScript高级类型_黑马程序员前端TypeScript教程，TypeScript零基础入门到实战全套教程

【黑马程序员】4、TypeScript高级类型_黑马程序员前端TypeScript教程，TypeScript零基础入门到实战全套教程

课程地址：【黑马程序员前端TypeScript教程，TypeScript零基础入门到实战全套教程】 https://www.bilibili.com/video/BV14Z4y1u7pi/?share_sourcecopy_web&vd_sourceb1cb921b73fe3808550eaf2224d1c155 目录 4、TypeScript高级类型 4.1 class类 4…
阅读更多...
什么是片内片间均匀性？

什么是片内片间均匀性？

均匀性在芯片制程的每一个工序中都需要考虑到，包括薄膜沉积，刻蚀，光刻，cmp，离子注入等。较高的均匀性才能保证芯片的产品与性能。那么片内和片间非均匀性是什么？如何计算？有什么作用呢&#xff…
阅读更多...
查找算法——java

查找算法——java

顺序查找（顺序表查找） 顺序查找也称为线形查找，属于无序查找算法。从数据结构线形表的一端开始，顺序扫描，依次将扫描到的结 点关键字与给定值k相比较，若相等则表示查找成功；若扫描结束仍没…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023