CentOS7安装部署Zookeeper

文章目录

  • CentOS7安装部署Zookeeper
  • 一、前言
    • 1.简介
    • 2.架构
    • 3.集群角色
    • 4.特点
    • 5.环境
  • 二、正文
    • 1.部署服务器
    • 2.基础环境
      • 1）主机名
      • 2）Hosts文件
      • 3）关闭防火墙
      • 4）JDK 安装部署
    • 3.单机部署
      • 1）下载和解压
      • 2）配置文件
      • 3）数据目录
      • 4）单机启动
      • 5）测试
      • 6）自启动
    • 4.集群部署
      • 1）下载和解压
      • 2）配置文件
      • 3）拷贝ZK
      • 4）数据目录
      • 5）集群启动
      • 6）测试
      • 7）自启动
    • 5.图形化客户端
      • 1）PrettyZoo
      • 2）ZooInspector
    • 6.ZK监控平台
      • 1）修改ZK配置文件
      • 2）安装 Prometheus
        • （1）下载和安装
        • （2）修改配置文件
        • （3）启动
        • （4）自启动
      • 3）安装 Grafana
        • （1）添加YUM仓库
        • （2）安装Grafana
        • （3）启动
      • 4）配置监控面板
        • （1）配置数据源
        • （2）导入监控面板
    • 三、其它
    • 1.常用命令

CentOS7安装部署Zookeeper

一、前言

1.简介

Apache ZooKeeper 是一个分布式应用程序协调服务；用于维护配置信息、命名、提供分布式同步和组服务。

2.架构

  1. 客户端-服务器模型：ZooKeeper 遵循客户端-服务器模型，客户端可以向任何服务器节点发起请求。
  2. 数据模型：采用类似文件系统的树形结构来存储数据，每个节点称为 ZNode。
  3. 请求处理：所有写请求都通过一个主服务器（Leader）来保证数据的一致性，而读请求可以由任何服务器（Follower 或 Observer）处理。

在这里插入图片描述

3.集群角色

  1. Leader：负责处理所有更新请求，保证集群数据的一致性。在任何给定时间，一个 ZooKeeper 集群只有一个 Leader。
  2. Follower：处理客户端的非写入请求，并参与 Leader 选举和数据同步过程。
  3. Observer（可选）：与 Follower 类似，但不参与 Leader 选举和写操作的投票过程。Observer 可以提升读取性能，因为它们不会增加写请求的投票负担。

4.特点

  • 一致性：保证集群中所有服务器的数据状态一致。
  • 可靠性：通过复制数据到所有服务器来确保高可用性。
  • 顺序一致性：所有更新都是全局有序的。

5.环境

  • Linux 发行版：CentOS-7-x86_64-DVD-1804.iso
  • JDK 版本：Java SE Development Kit 11.0.19
  • Zookeeper 版本：3.8.3

Zookeeper 官网：https://zookeeper.apache.org/

Zookeeper 3.8.3：https://zookeeper.apache.org/doc/r3.8.3/index.html

Zookeeper Getting Started：https://zookeeper.apache.org/doc/r3.8.3/zookeeperStarted.html

Prometheus 官网：https://prometheus.io/

Prometheus 文档：https://prometheus.io/docs/introduction/overview/

Grafana 官网：https://grafana.com/oss/grafana/

Grafana 文档：https://grafana.com/docs/grafana/latest/?pg=oss-graf&plcmt=hero-btn-2

ZooKeeper Monitor：https://zookeeper.apache.org/doc/r3.6.4/zookeeperMonitor.html

CentOS7安装部署Java11：https://blog.csdn.net/u011424614/article/details/132418561

CentOS基础操作命令：https://blog.csdn.net/u011424614/article/details/94555916

二、正文

1.部署服务器

  • Zookeeper 默认端口
端口作用
2181客户端连接端口，用于客户端与 ZooKeeper 集群通信
2888用于集群内部服务器之间的 Leader 选举
3888用于集群内部服务器之间的复制（数据同步）
  • 服务器
机器名IP节点部署
zk-cluster-01192.168.249.141zk 节点
zk-cluster-02192.168.249.142zk 节点
zk-cluster-03192.168.249.143zk 节点
zk-cluster-04192.168.249.144监控节点（Prometheus + Grafana）

2.基础环境

1）主机名

  • 修改 4 台服务器的主机名
# 141 执行
hostnamectl set-hostname zk-cluster-01 --static
hostnamectl set-hostname zk-cluster-01 --transient# 142 执行
hostnamectl set-hostname zk-cluster-02 --static
hostnamectl set-hostname zk-cluster-02 --transient# 143 执行
hostnamectl set-hostname zk-cluster-03 --static
hostnamectl set-hostname zk-cluster-03 --transient# 144 执行
hostnamectl set-hostname zk-cluster-04 --static
hostnamectl set-hostname zk-cluster-04 --transient# 查询状态
hostnamectl status

2）Hosts文件

  • 修改 4 台服务器的 hosts 文件
cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.249.141 zk-cluster-01
192.168.249.142 zk-cluster-02
192.168.249.143 zk-cluster-03
192.168.249.144 zk-cluster-04
EOF

3）关闭防火墙

在 4 台服务器上执行

  • 可禁用防火墙，或配置开放的端口，后者比较安全
#--关闭防火墙
systemctl stop firewalld.service
#--开机禁用防火墙
systemctl disable firewalld.service
#--防火墙状态
systemctl status firewalld.service

4）JDK 安装部署

在 4 台服务器上安装JDK

  • 安装参考：《CentOS7安装部署Java11》
  • 安装目录：/opt/java/jdk-11.0.19

3.单机部署

在 141 服务器上执行

1）下载和解压

  • 创建安装目录，并下载
mkdir /opt/zookeeper
cd /opt/zookeeper# 下载
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz --no-check-certificate
# 解压
tar -xzf apache-zookeeper-3.8.3-bin.tar.gz# 修改文件夹名称
mv /opt/zookeeper/apache-zookeeper-3.8.3-bin /opt/zookeeper/apache-zookeeper-3.8.3# 进入安装目录
cd /opt/zookeeper/apache-zookeeper-3.8.3

2）配置文件

  • 创建 zoo.cfg 配置文件
cat > /opt/zookeeper/apache-zookeeper-3.8.3/conf/zoo.cfg <<EOF
# ZooKeeper 基本时间单位，单位毫秒
tickTime=2000
# Follower 启动和连接到 Leader 的最长时间（数值乘以tickTime）
initLimit=10
# Follower 与 Leader 同步的最长时间（数值乘以tickTime）
syncLimit=5
# 存储快照和事务日志的路径
dataDir=/data/zookeeper
# 客户端连接端口
clientPort=2181
# 单个客户端与单个服务器之间的最大并发连接数
maxClientCnxns=1200
# 自动清理时保留的快照数量
autopurge.snapRetainCount=10
# 自动清理任务的执行间隔时间，单位小时
autopurge.purgeInterval=24
EOF

3）数据目录

  • whoami 表示当前登录用户
mkdir -p /data/zookeeper
chown -R `whoami` /data/zookeeper

4）单机启动

  • 启动
cd /opt/zookeeper/apache-zookeeper-3.8.3
# 启动
bin/zkServer.sh start
# 停止
bin/zkServer.sh stop
  • 查看运行情况
bin/zkServer.sh status

5）测试

  • 进入安装目录
cd /opt/zookeeper/apache-zookeeper-3.8.3
  • 连接 zk 客户端
bin/zkCli.sh -server 192.168.249.141:2181
  • 测试数据
# 创建数据
create /test mydata
# 获取数据
get /test
# 列出全部节点
ls /
# 更新数据
set /test newdata
# 删除数据
delete /test
# 退出客户端
quit

6）自启动

  • 创建 zookeeper.service
cat > /etc/systemd/system/zookeeper.service <<EOF
[Unit]
Description=Apache ZooKeeper Server
Requires=network.target
After=network.target[Service]
Environment="JAVA_HOME=/opt/java/jdk-11.0.19"
Type=forking
WorkingDirectory=/opt/zookeeper/apache-zookeeper-3.8.3
ExecStart=/opt/zookeeper/apache-zookeeper-3.8.3/bin/zkServer.sh start
ExecStop=/opt/zookeeper/apache-zookeeper-3.8.3/bin/zkServer.sh stop
ExecReload=/opt/zookeeper/apache-zookeeper-3.8.3/bin/zkServer.sh restart
User=root[Install]
WantedBy=multi-user.target
EOF
  • 启动服务，并设置开机自启动
systemctl daemon-reload
systemctl start zookeeper.service
systemctl enable zookeeper.service
  • 查询进程状态
systemctl status zookeeper.service

4.集群部署

1）下载和解压

在 141 服务器上执行

  • 创建安装目录，并下载
mkdir /opt/zookeeper
cd /opt/zookeeper# 下载
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz --no-check-certificate
# 解压
tar -xzf apache-zookeeper-3.8.3-bin.tar.gz# 修改文件夹名称
mv /opt/zookeeper/apache-zookeeper-3.8.3-bin /opt/zookeeper/apache-zookeeper-3.8.3# 进入安装目录
cd /opt/zookeeper/apache-zookeeper-3.8.3

2）配置文件

在 141 服务器上执行

  • 创建 zoo.cfg 配置文件
cat > /opt/zookeeper/apache-zookeeper-3.8.3/conf/zoo.cfg <<EOF
# ZooKeeper 基本时间单位，单位毫秒
tickTime=2000
# Follower 启动和连接到 Leader 的最长时间（数值乘以tickTime）
initLimit=10
# Follower 与 Leader 同步的最长时间（数值乘以tickTime）
syncLimit=5
# 存储快照和事务日志的路径
dataDir=/data/zookeeper
# 客户端连接端口
clientPort=2181
# 单个客户端与单个服务器之间的最大并发连接数
maxClientCnxns=1200
# 自动清理时保留的快照数量
autopurge.snapRetainCount=10
# 自动清理任务的执行间隔时间，单位小时
autopurge.purgeInterval=24# 集群配置
server.1=zk-cluster-01:2888:3888
server.2=zk-cluster-02:2888:3888
server.3=zk-cluster-03:2888:3888
EOF

3）拷贝ZK

在 142、143 服务器上执行

  • 142 和 143 服务器创建目录
mkdir /opt/zookeeper

在 141 服务器上执行

  • 拷贝 Zookeeper 到其它服务器
scp -r /opt/zookeeper/apache-zookeeper-3.8.3 root@192.168.249.142:/opt/zookeeper
scp -r /opt/zookeeper/apache-zookeeper-3.8.3 root@192.168.249.143:/opt/zookeeper

4）数据目录

在 141、142、143 服务器上执行

  • whoami 表示当前登录用户
mkdir -p /data/zookeeper
chown -R `whoami` /data/zookeeper
  • 创建 myid 文件
# 141 服务器
echo "1" > /data/zookeeper/myid# 142 服务器
echo "2" > /data/zookeeper/myid# 143 服务器
echo "3" > /data/zookeeper/myid

5）集群启动

在 141、142、143 服务器上执行

  • 启动
cd /opt/zookeeper/apache-zookeeper-3.8.3
# 启动
bin/zkServer.sh start
# 停止
bin/zkServer.sh stop
  • 查看运行情况
bin/zkServer.sh status

6）测试

在 141 服务器上执行

  • 进入安装目录
cd /opt/zookeeper/apache-zookeeper-3.8.3
  • 连接 zk 客户端
bin/zkCli.sh -server 192.168.249.141:2181
  • 测试数据
# 创建数据
create /test mydata
# 获取数据
get /test
# 列出全部节点
ls /
# 更新数据
set /test newdata
# 删除数据
delete /test
# 退出客户端
quit

7）自启动

在 141、142、143 服务器上执行

  • 创建 zookeeper.service
cat > /etc/systemd/system/zookeeper.service <<EOF
[Unit]
Description=Apache ZooKeeper Server
Requires=network.target
After=network.target[Service]
Environment="JAVA_HOME=/opt/java/jdk-11.0.19"
Type=forking
WorkingDirectory=/opt/zookeeper/apache-zookeeper-3.8.3
ExecStart=/opt/zookeeper/apache-zookeeper-3.8.3/bin/zkServer.sh start
ExecStop=/opt/zookeeper/apache-zookeeper-3.8.3/bin/zkServer.sh stop
ExecReload=/opt/zookeeper/apache-zookeeper-3.8.3/bin/zkServer.sh restart
User=root[Install]
WantedBy=multi-user.target
EOF
  • 启动服务，并设置开机自启动
systemctl daemon-reload
systemctl start zookeeper.service
systemctl enable zookeeper.service
  • 查询进程状态
systemctl status zookeeper.service

5.图形化客户端

1）PrettyZoo

PrettyZoo-GitHub：https://github.com/vran-dev/PrettyZoo

PrettyZoo 是一个基于 Apache Curator 和 JavaFX 实现的 Zookeeper 图形化管理客户端。

2）ZooInspector

ZooInspector：https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip

Apache ZooKeeper 官方提供的一个简单的 GUI 工具，用于浏览和编辑存储在 ZooKeeper 中的数据。

6.ZK监控平台

Prometheus 官网：https://prometheus.io/

Prometheus 文档：https://prometheus.io/docs/introduction/overview/

Grafana 官网：https://grafana.com/oss/grafana/

Grafana 文档：https://grafana.com/docs/grafana/latest/?pg=oss-graf&plcmt=hero-btn-2

ZooKeeper Monitor：https://zookeeper.apache.org/doc/r3.6.4/zookeeperMonitor.html

  • Zookeeper 从 3.6.0 开始支持 Prometheus 和 Grafana 进行监控。

  • Prometheus 是一个开源系统监控和警报工具包。

  • Grafana 是一款多平台开源分析和交互式可视化网络应用程序。

1）修改ZK配置文件

在 141、142、143 服务器上执行

  • 修改 conf/zoo.cfg 配置文件
cat > /opt/zookeeper/apache-zookeeper-3.8.3/conf/zoo.cfg <<EOF
# ZooKeeper 基本时间单位，单位毫秒
tickTime=2000
# Follower 启动和连接到 Leader 的最长时间（数值乘以tickTime）
initLimit=10
# Follower 与 Leader 同步的最长时间（数值乘以tickTime）
syncLimit=5
# 存储快照和事务日志的路径
dataDir=/data/zookeeper
# 客户端连接端口
clientPort=2181
# 单个客户端与单个服务器之间的最大并发连接数
maxClientCnxns=1200
# 自动清理时保留的快照数量
autopurge.snapRetainCount=10
# 自动清理任务的执行间隔时间，单位小时
autopurge.purgeInterval=24# 集群配置
server.1=zk-cluster-01:2888:3888
server.2=zk-cluster-02:2888:3888
server.3=zk-cluster-03:2888:3888# 指标
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpHost=0.0.0.0
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
EOF
  • 重启 ZK 集群
systemctl stop zookeeper.service
systemctl daemon-reload
systemctl start zookeeper.service

2）安装 Prometheus

在 144 服务器上执行

（1）下载和安装
# 安装目录
mkdir /opt/prometheus
cd /opt/prometheus# 下载
wget https://github.com/prometheus/prometheus/releases/download/v2.48.1/prometheus-2.48.1.linux-amd64.tar.gz --no-check-certificate# 解压
tar xvfz prometheus-*.tar.gz# 修改文件夹名称
mv /opt/prometheus/prometheus-2.48.1.linux-amd64 /opt/prometheus/prometheus-2.48.1# 进入安装目录
cd /opt/prometheus/prometheus-2.48.1
（2）修改配置文件
vim prometheus.yml
  • 内容（scrape_configs: 下添加配置）
- job_name: "Zookeeper-QuarumPeermain"static_configs:- targets: ['zk-cluster-01:7000','zk-cluster-02:7000','zk-cluster-03:7000']
（3）启动
./prometheus --config.file=prometheus.yml
  • 浏览器访问：

  1. http://192.168.249.144:9090/status

  2. http://192.168.249.144:9090/targets

（4）自启动
  • 创建 prometheus.service
cat > /etc/systemd/system/prometheus.service <<EOF
[Unit]
Description=Prometheus
Wants=network-online.target
After=network-online.target[Service]
User=root
ExecStart=/opt/prometheus/prometheus-2.48.1/prometheus \--config.file=/opt/prometheus/prometheus-2.48.1/prometheus.yml \--storage.tsdb.path=/opt/prometheus/prometheus-2.48.1/data[Install]
WantedBy=default.target
EOF
  • 启动服务，并设置开机自启动
systemctl daemon-reload
systemctl start prometheus.service
systemctl enable prometheus.service
  • 查询进程状态
systemctl status prometheus.service

3）安装 Grafana

在 144 服务器上执行

（1）添加YUM仓库
tee /etc/yum.repos.d/grafana.repo <<EOF
[grafana]
name=Grafana
baseurl=https://packages.grafana.com/oss/rpm
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packages.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
EOF
（2）安装Grafana
yum install grafana
（3）启动
  • 启动服务，并设置开机自启动
systemctl start grafana-server
systemctl enable grafana-server.service
  • 查询进程状态
systemctl status grafana-server
  • 浏览器访问：http://192.168.249.144:3000
  • 首次登录：admin / admin

4）配置监控面板

（1）配置数据源
  • 左侧菜单 - Data Source

在这里插入图片描述

  • Add Data Source

在这里插入图片描述

  • 选择 Prometheus

在这里插入图片描述

  • 填写 Connection
  • 最下方点击【Save & test】按钮

在这里插入图片描述

（2）导入监控面板
  • 下载监控面板的 json 文件（也可以使用面板ID：10465）

zookeeper-by-prometheus：https://grafana.com/grafana/dashboards/10465-zookeeper-by-prometheus/

在这里插入图片描述

  • 导入面板

在这里插入图片描述

  • 选择文件，或者输入面板ID

在这里插入图片描述

  • 点击【Import】按钮

在这里插入图片描述

  • 导入完成

在这里插入图片描述

三、其它

1.常用命令

命令说明
systemctl daemon-reload重新加载服务配置
systemctl start zookeeper.service启动服务
systemctl enable zookeeper.service开机自启动服务
systemctl status zookeeper.service查询服务状态
systemctl stop zookeeper.service停止服务
systemctl restart zookeeper.service重启服务
systemctl disable zookeeper.service禁用开机自启动服务

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/310267.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

centos 7.9 升级系统默认的python2.7到python 2.7.18

centos 7.9 升级系统默认的python2.7到python 2.7.18

centos 7.9 升级系统默认的python2.7到python 2.7.18 备份旧版本 mv /usr/bin/python /usr/bin/python_2.7.5 下载新版本 Download Python | Python.org Python Release Python 2.7.18 | Python.org wget https://www.python.org/ftp/python/2.7.18/Python-2.7.18.tgz cd /…
阅读更多...
QT中的信号与槽的讲解

QT中的信号与槽的讲解

文章目录 信号及其特点槽及其特点代码演示标准信号与标准槽函数方式一方式二 自定义信号和槽connect()函数信号和槽函数存在函数重载的情况下Qt的信号槽机制注意事项 信号及其特点 信号&#xff1a;是一种特殊的函数&#xff0c;又称信号函数&#xff0c;俗称信号&#xff0c;…
阅读更多...
Peter算法小课堂—浮点数危机

Peter算法小课堂—浮点数危机

大家先想想下面这个代码运行结果&#xff1a; #include <bits/stdc.h> using namespace std; int main(){double x5.2;double y4.11.1;cout<<(x<y)<<endl;cout<<x-y<<endl;return 0; } 最终发现&#xff0c; &#xff1f;&#xff1f;&…
阅读更多...
力扣：63. 不同路径 II（动态规划）

力扣：63. 不同路径 II（动态规划）

题目&#xff1a; 一个机器人位于一个 m x n 网格的左上角 &#xff08;起始点在下图中标记为 “Start” &#xff09;。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角&#xff08;在下图中标记为 “Finish”&#xff09;。 现在考虑网格中有障碍物。那…
阅读更多...
Android 理解Context

Android 理解Context

文章目录 Android 理解ContextContext是什么Activity能直接new吗&#xff1f; Context结构和源码一个程序有几个ContextContext的作用Context作用域获取ContextgetApplication()和getApplicationContext()区别Context引起的内存泄露错误的单例模式View持有Activity应用正确使用…
阅读更多...
据报道，微软的下一代 Surface 笔记本电脑将是其首款真正的“人工智能 PC”

据报道，微软的下一代 Surface 笔记本电脑将是其首款真正的“人工智能 PC”

明年&#xff0c;微软计划推出 Surface Laptop 6和 Surface Pro 10&#xff0c;这两款设备将提供 Arm 和 Intel 两种处理器选项。不愿意透露姓名的不透露姓名人士透露&#xff0c;这些新设备将引入先进的人工智能功能&#xff0c;包括配备下一代神经处理单元 (NPU)。据悉&#…
阅读更多...
助力打造智慧数字课堂，基于YOLOv8全系列【n/s/m/l/x】不同参数量级模型开发构建教学课堂场景下学生课堂行为检测识别分析系统

助力打造智慧数字课堂，基于YOLOv8全系列【n/s/m/l/x】不同参数量级模型开发构建教学课堂场景下学生课堂行为检测识别分析系统

近年来&#xff0c;随着行为检测技术的发展&#xff0c;分析学生在课堂视频中的行为&#xff0c;以获取他们的课堂状态和学习表现信息已经成为可能。这项技术对学校的教师、管理人员、学生和家长都非常重要。使用深度学习方法自动检测学生的课堂行为是分析学生课堂表现和提高教…
阅读更多...
智能分析网关V4+太阳能供电模式，搭建鱼塘养殖远程视频监控方案

智能分析网关V4+太阳能供电模式，搭建鱼塘养殖远程视频监控方案

一、行业背景 传统的鱼塘养殖模式由于养殖区域面积大、管理难度高&#xff0c;经常会出现偷钓者、盗窃鱼苗、非法入侵等监管难题&#xff0c;给养殖户带来了不小的经济损失。为了解决这些问题&#xff0c;搭建鱼塘远程监控系统成为了必要之举。通过远程监控系统&#xff0c;管…
阅读更多...
C#语言发展历程（1-7）

C#语言发展历程（1-7）

一、类型发展 C#1中是没有泛型的 在C#2中在逐渐推出泛型。C#2还引入了可空类型。 示例&#xff1a;C#泛型&#xff08;详解&#xff09;-CSDN博客 1 C#3&#xff1a;引入了匿名类型、和隐式的局部变量&#xff08;var&#xff09; 匿名类型&#xff1a;我们主要是使用在LIN…
阅读更多...
PHP序列化总结3--反序列化的简单利用及案例分析

PHP序列化总结3--反序列化的简单利用及案例分析

反序列化中生成对象里面的值&#xff0c;是由反序列化里面的值决定&#xff0c;与原类中预定义的值的值无关&#xff0c;穷反序列化的对象可以使用类中的变量和方法 案例分析 反序列化中的值可以覆盖原类中的值 我们创建一个对象&#xff0c;对象创建的时候触发了construct方…
阅读更多...
中间人攻击是什么，会产生哪些危害，如何有效防止中间人攻击

中间人攻击是什么，会产生哪些危害，如何有效防止中间人攻击

简介 中间人攻击&#xff08;Man-in-the-Middle Attack&#xff0c;简称MITM攻击&#xff09;是一种网络攻击&#xff0c;其原理是攻击者通过各种技术手段将受攻击者控制的一台计算机虚拟放置在网络连接中的两台通信计算机之间&#xff0c;这台计算机称为“中间人”。在攻击过…
阅读更多...
Spark编程实验四：Spark Streaming编程

Spark编程实验四：Spark Streaming编程

目录 一、目的与要求 二、实验内容 三、实验步骤 1、利用Spark Streaming对三种类型的基本数据源的数据进行处理 2、利用Spark Streaming对Kafka高级数据源的数据进行处理 3、完成DStream的两种有状态转换操作 4、把DStream的数据输出保存到文本文件或MySQL数据库中 四…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023