大数据-Storm流式框架(三)--Storm搭建教程

一、两种搭建方式

1、storm单节点搭建

2、完全分布式搭建

二、storm单节点搭建

准备

下载地址:Index of /dist/storm

1、环境准备:

Java 6+

Python 2.6.6+

2、上传、解压安装包

3、在storm目录中创建logs目录

mkdir logs

启动

./storm help

4、启动Zookeeper

./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &

5、启动Nimbus

./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &

6、启动Storm UI

./bin/storm ui >> ./logs/ui.out 2>&1 &

7、启动Supervisor

./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &

8、启动Logviewer

./bin/storm logviewer &

查看进程信息

jps

ss-nel

访问UI

http://node1:8080

三、完全分布式搭建

killall  java 杀死所有java进程

准备

1、环境准备

java 6+

Python 2.6.6+

2、部署ZooKeeper

版本3.4.5+(高版本Zookeeper实现了对于自身持久化数据的定期删除功能)

(autopurge.purgeInterval; autopurge.snapRetainCount)

3、上传、解压安装包

tar -zxf apache-storm-0.10.0.tar.gz -C /opt

4、在Storm目录中创建logs目录

$ mkdir logs

5、修改配置文件

storm.yaml
Yet Another Markup Language (yaml)

6、配置文件内容

storm.zookeeper.servers:- "node2"- "node3"- "node4"
# storm.local.dir: "/tmp/storm"
nimbus.host: "node1"
supervisor.slots.ports:- 6700- 6701- 6702- 6703

7、分发storm

8、启动Zookeeper集群

zkServer.sh start

9、在node1上启动Nimbus

./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/stom  logviewer >> ./logs/logviewer.out  2>&1 &

10、在node2、node3上启动Supervisor和Logviewer

(按照配置每个Supervisor上启动4个slots)

./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
jps
./bin/stom  logviewer >> ./logs/logviewer.out  2>&1 &

STORM UI

启动Storm UI

./storm ui >> ./logs/ui.out 2>&1 &

通过http://node1:8080/访问

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/154637.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

原型和原型链的理解

记住一句话:万物皆对象 对于原型和原型链,我们要知道一下几个:函数对象,实例对象、原型对象 1)函数对象——就是平时称的对象; 2)实例对象——new出的对象或者{ }; 3)原型…

Jenkins项目部署

使用jenkins部署项目 简易版使用jenkins部署项目 将war包部署到tomcat中 将已有的war包部署到tomcat中(jenkins与tomcat在同一台主机) 点击Jenkins主页的新建任务 输入任务名称 选择构建一个自由风格的软件项目后点击确定 在构建内添加构建步骤,选择执行shell 输入…

【Android】Android Framework系列---CarPower电源管理

Android Framework系列—CarPower电源管理 智能座舱通常包括中控系统、仪表系统、IVI系统 、后排娱乐、HUD、车联网等。这些系统需要由汽车电源进行供电。由于汽车自身的特殊供电环境(相比手机方便的充电环境,汽车的蓄电池如果没有电是需要专业人士操作…

使用 node.js 简单搭建Web服务 使用node简单搭建后端服务 使用node搭建服务

使用 node.js 简单搭建Web服务 使用node简单搭建后端服务 使用node搭建服务 1、初始化项目2、安装 Express.js Web 服务框架3、创建 app.js 主入口文件, 并且实现 GET、POST请求4、启动服务5、请求测试 1、初始化项目 例如项目名为 node-server-demo mkdir node-server-demo进…

GEO生信数据挖掘(十一)STRING数据库PPI蛋白互作网络 Cytoscape个性化绘图【SCI 指日可待】

GEO生信数据挖掘(十)肺结核数据-差异分析-WGCNA分析(900行代码整理注释更新版本) 通过 前面十篇文章的学习,我们应该已经可以获取到一个”心仪的基因列表“了,相较于原始基因数量,这个列表的数…

数据结构与算法解析(C语言版)--搭建项目环境

本栏目致力于从0开始使用纯C语言将经典算法转换成能够直接上机运行的程序,以项目的形式详细描述数据存储结构、算法实现和程序运行过程。 参考书目如下: 《数据结构C语言版-严蔚敏》 《数据结构算法解析第2版-高一凡》 软件工具: dev-cpp 搭…

更新电脑显卡驱动的操作方法有哪些?

更新显卡驱动可以有效的提升我们电脑的性能,可以通过设备管理器、显卡驱动软件等方式进行检查驱动是否需要更新,并修复一些电脑上已知的显卡问题。 然而,对于一些不是很懂电脑技术的人员来说,更新电脑显卡驱动是一件比较复杂和混乱…

小红书内容运营包含哪些,内容种草攻略

在这个社交属性,强势泛滥的年代,兼具了社交和电商两大功能的小红书,已经成为品牌方的兵家必争之地。今天来为大家分享下小红书内容运营包含哪些,内容种草攻略! 1、确定账号定位 这是做好小红书内容运营的第一步。一个有…

调试AOSP源码的官方神器-Android Studio for Platform(ASfP)

文章目录 下载安装启动AOSP导入调试不足 欢迎关注微信公众号ZZH的Android 下载 下载地址平台版 Android Studio 由于该工具在调试源码时需要对AOSP进行编译,所以目前只有Ubuntu版本,后续应该也只会有Ubuntu版本。 Ubuntu环境下显示可下载 Windows系统…

linux套接字选项API

获取套接字的选项值(getsockopt) 【头文件】 #include <sys/types.h> #include <sys/socket.h> 【函数原型】 int getsockopt(int sockfd, int level, int optname,void *optval, socklen_t *optlen); 【函数功能】 用于获取一个套接字的选项 【参数含义】 […

聊聊统一认证中的四种安全认证协议(干货分享)

大家好&#xff0c;我是陈哈哈。单点登录SSO的出现是为了解决众多企业面临的痛点&#xff0c;场景即用户需要登录N个程序或系统&#xff0c;每个程序与系统都有不同的用户名和密码。在企业发展初期&#xff0c;可能仅仅有几个程序时&#xff0c;管理账户和密码不是一件难事。但…

最优值函数

一、最优状态值函数 解决强化学习任务大致上意味着找到一种政策&#xff0c;能够在长期内实现很多奖励。对于有限MDPs&#xff0c;我们可以精确地定义一种最优政策&#xff0c;其定义如下。值函数定义了政策的一种部分排序。如果一个政策的预期回报大于或等于另一个政策π0在所…