2024-02-08(Flume)

1.Flume 的架构和MQ消息队列有点类似

2.Flume也可以做数据的持久化操作

在Channel部分选择使用File channel组件

3.Flume进行日志文件监控

场景:企业中应用程序部署后会将日志写入到文件中,我们可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。(也可以进行多日志文件的监控)

监控功能大致流程:

 可以通过Exec Source或者Taildir Source来做这个日志监控的功能。

(我们只需要在对应的Source配置文件中配置好相关需求,组件就可以根据我们配置的内容去达到我们需要的要求)

4.多个agent模型

Flume支持多agent模型。可以将多个Flume agent程序连接在一起,其中一个agent的sink将数据发送到另一个agent的source。

Avro的文件格式是使用Flume通过网络发送数据的标准方法。

从多个Web服务器收集日志,,发送到一个或者多个集中处理的agent,之后再发往日志存储中心:

同样的日志发送到不同的目的地:

进行以上图片中的数据流向的流程(不同的搭配,组合),只需要在相应组件的配置文件中,配置好入口,出口,相关操作类型。当我们在配置文件中指明了这些属性之后,组件会“帮助”我们自动去完成数据的流向的流程。

5.Flume中的拦截器

拦截器可以将运行的事件Event进行修改或者丢弃,Flume支持链式调用拦截器,拦截器定义在source组件中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/463074.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入理解java之多线程(一)

前言: 本章节我们将开始学习多线程,多线程是一个很重要的知识点,他在我们实际开发中应用广泛并且基础,可以说掌握多线程编写程序是每一个程序员都应当必备的技能,很多小伙伴也会吐槽多线程比较难,但因为其实…

【Web】基于Mybatis的SQL注入漏洞利用点学习笔记

目录 MyBatis传参占位符区别 不能直接用#{}的情况 in多参数值查询 like %%模糊查询 order by列名参数化 MyBatis传参占位符区别 在 MyBatis 中,#{} 和 ${} 都是用于传参的占位符,但它们之间有很大的区别,主要体现在两个方面&#xff1a…

鸿蒙开发(六)布局概述

迄今为止,我还没有正式提到布局的概念。但其实我之前的demo里面,已经默认使用到了一种布局,那就是线性布局(Row、Column),这也是DevEco创建项目默认页面里面默认采用的布局。那么本篇,带着大家一…

[SAP] ABAP设置非系统关键字代码提示功能

在事务码SE38(ABAP编辑器)屏幕右下角,点击【Options选项】图标 勾选【代码完成】|【建议文本中的非关键字】,并点击【保存】按钮 在下面的程序代码中,当我需要输入在11行的位置输入非关键字lv_str的时候,会有非关键字代码提示的功…

Python速成篇(基础语法)下(新年快乐♥)

引言 一天不学编程手就痒,今天是除夕,学C艹vector的话就没时间出去玩了,所以就写写博客。今天要讲的内容是关于,list(列表),tuple(元组),字典(di…

【MySQL进阶之路】磁盘随机读写和顺序读写对MySQL性能的影响

欢迎关注公众号(通过文章导读关注:【11来了】),及时收到 AI 前沿项目工具及新技术的推送! 在我后台回复 「资料」 可领取编程高频电子书! 在我后台回复「面试」可领取硬核面试笔记! 文章导读地址…

CSP-202009-1-称检测点查询

CSP-202009-1-称检测点查询 解题思路 本题的时间复杂度貌似没有限制&#xff0c;直接暴力枚举就能知识盲点&#xff1a;sort()函数-升序排序 #include <algorithm>给名为dis&#xff0c;长度为n的数组排序sort(new_dis, new_dis n); #include <iostream> #inc…

【c语言进阶】自定义类型-枚举+联合(共用体)详解

目录 1.枚举 1.1枚举类型的定义 1.2枚举常量的创建和初始赋值 2.枚举的优点 3.枚举的使用 4. 联合&#xff08;共用体&#xff09; 4.1 联合类型的定义 4.2 联合体的特点 4.3联合体大小的计算 4.4联合体的运用-判断程序的大小端存储 5.结语 1.枚举 枚举顾名思义就…

JAVA设计模式之建造者模式详解

建造者模式 1 建造者模式介绍 建造者模式 (builder pattern), 也被称为生成器模式 , 是一种创建型设计模式. 定义: 将一个复杂对象的构建与表示分离&#xff0c;使得同样的构建过程可以创建不同的表示。 **建造者模式要解决的问题 ** 建造者模式可以将部件和其组装过程分开…

大数据应用对企业的价值

目录 一、大数据应用价值 1.1 大数据技术分析 1.2 原有技术场景的优化 1.2.1 数据分析优化 1.2.2 高并发数据处理 1.3 通过大数据构建新需求 1.3.1 智能推荐 1.3.2 广告系统 1.3.3 产品/流程优化 1.3.4 异常检测 1.3.5 智能管理 1.3.6 人工智能和机器学习 二、大数…

降准是什么意思?降准对股市有哪些影响?

降准是什么意思 降准&#xff0c;全称为“中央银行调低法定存款准备率”&#xff0c;是指中央银行降低法定存款准备率&#xff0c;以增加银行的可用资金&#xff0c;从而增加市场的流动性。 具体来说&#xff0c;存款准备金是商业银行为了应对储户取款和清算时准备的资金&…

【MySQL进阶之路】MySQL 中表空间和数据区的概念以及预读机制

欢迎关注公众号&#xff08;通过文章导读关注&#xff1a;【11来了】&#xff09;&#xff0c;及时收到 AI 前沿项目工具及新技术的推送&#xff01; 在我后台回复 「资料」 可领取编程高频电子书&#xff01; 在我后台回复「面试」可领取硬核面试笔记&#xff01; 文章导读地址…