大数据项目实战(安装准备)

一,搭建大数据集群环境

1.1安装准备

1.1.1虚拟机安装与克隆

1.虚拟机的安装和设置以及启动虚拟机并安装操作系统(以下仅供参考)

安装一台虚拟机主机名为:hadoop01的虚拟机备用

VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维大脑的博客-CSDN博客https://blog.csdn.net/weixin_52799373/article/details/124324077?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169284581716800222858488%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=169284581716800222858488&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-3-124324077-null-null.142%5Ev93%5Econtrol&utm_term=%E8%99%9A%E6%8B%9F%E6%9C%BA%E7%9A%84%E5%AE%89%E8%A3%85%E5%92%8C%E8%AE%BE%E7%BD%AE&spm=1018.2226.3001.4187

 2.克隆虚拟机(以下仅供参考)

克隆两台虚拟机主机名分别为:hadoop02、hadoop03备用。

虚拟机克隆的两种方式_虚拟机怎么克隆_梦中挽歌的博客-CSDN博客https://blog.csdn.net/awd15771131554/article/details/123778655?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169284602516800213011597%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=169284602516800213011597&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-123778655-null-null.142%5Ev93%5Econtrol&utm_term=%E8%99%9A%E6%8B%9F%E6%9C%BA%E7%9A%84%E5%85%8B%E9%9A%86&spm=1018.2226.3001.4187

1.1.2虚拟机网络配置

1.主机名与ip映射配置

开启三台虚拟机

分别在hadoop01、hadoop02、hadoop03中输入root自己设置的root用户密码进入root用户 

(1)修改主机名(三台分别改为hadoop01、hadoop02、hadoop03)
vi /etc/sysconfig/network

(2)配置ip
查看当前虚拟机的ip(编辑--->虚拟网络编辑器)

每个人的ip可能都不一样,我的是192.168.80.0,自己做的时候需要修改为自己的ip

 修改ip:vi /etc/sysconfig/network-scripts/ifcfg-ens33 

hadoop01的IPADDR=192.168.80.131

hadoop02的IPADDR=192.168.80.132

hadoop03的IPADDR=192.168.80.133

其他的都一样

(3)ip 映射

vi /etc/hosts

三台都是一样的

192.168.80.131 hadoop01

192.168.80.132 hadoop02

192.168.80.133 hadoop03

(4)配置效果检验

1.1.3 SSH服务配置

1 SSH 远程登录功能配置

 为了方便操作和更美观,我使用finalshell远程操作虚拟机(以下仅供参考)

通过finalshell远程连接Windows中linux虚拟机_finalshell连接_徐一435的博客-CSDN博客icon-default.png?t=N6B9https://blog.csdn.net/weixin_46268244/article/details/129133690?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169285438316800197087430%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=169285438316800197087430&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-129133690-null-null.142^v93^control&utm_term=%E4%BD%BF%E7%94%A8finalshell%E8%BF%9C%E7%A8%8B%E6%93%8D%E4%BD%9C%E8%99%9A%E6%8B%9F%E6%9C%BA&spm=1018.2226.3001.4187

2 SSH免密登录功能配置

(1)在三台虚拟机中分别执行以下命令:

ssh-keygen -t rsa     一直输入回车即可

(2)在三台虚拟机中分别执行以下命令:

ssh-copy-id hadoop01   输入yes和密码即可

(3)在Hadoop01上将文件/root/.ssh/authorized_keys发送给Hadoop02和Hadoop03

 scp /root/.ssh/authorized_keys hadoop02:/root/.ssh

 scp /root/.ssh/authorized_keys hadoop03:/root/.ssh



 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/81668.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

突破电商单一垂直赛道:Chewy宠物用品如何飙升至美国市场50%以上

《美国商业资讯》2023年5月31日报道,宠物品牌Chewy的最新市值为 143 亿美元,毛利率同比增长90个基点,在美国的宠物电商市场,实现超过50%的市场占有率。 Chewy是一个涵盖各类宠物用品与宠物医疗的新兴品牌,后疫情时代迎…

创邻科技张晨:图数据库,激活数据要素的新基建

“数据经济时代,数据要素产业链的各细分领域均蕴含机遇,图技术作为网络协同和数据智能的底层发动机,将深度掘金数字中国价值潜能”。 8月22日,在2023中国(南京)国际软件产品和信息服务交易博览会的信息技术…

echarts 之 科技感进度条

1.图片展示 2.代码实现 /* ng qty 进度条 */ <template><div class"ngqty-progress"><div class"ngqty-info"><span>X4</span><span>50%</span></div><div :id"barNgQtyProgress index" c…

4.网络设计与redis、memcached、nginx组件(一)

网络组件系列文章目录 第四章 网络设计与redis、memcached、nginx组件 文章目录 网络组件系列文章目录文章的思维导图前言一、网络相关的问题&#xff0c;网络开发中要处理那些问题&#xff1f;网络操作IO连接建立连接断开消息到达消息发送网络操作IO特性 二、网络中IO检测IO函…

win10下IDEA搭建web项目脚手架

参考 IDEA运行Maven项目配置全过程&#xff08;菜鸟专属&#xff09;_idea配置maven_Hi梅的博客-CSDN博客 下载 IDEA 下载JDK 1.8 https://pan.baidu.com/s/1lj2na9omGwhPrCKYNz1qSQ 提取码&#xff1a;izkj 点击exe一步步next 添加环境变量&#xff1a; JAVA_HOME 对于…

数据库表结构导出为word、html、markdown【转载,已解决,已验证,开源】

注&#xff1a;本文为gitcode代码验证&#xff0c;转载gitcode gitcode&#xff1a;https://gitcode.net/mirrors/pingfangushi/screw?utm_sourcecsdn_github_accelerator 整理数据库文档&#xff1a;https://mp.weixin.qq.com/s/Bo_U5_cl82hfQ6GmRs2vtA <!--数据库文档核…

centos7搭建apache作为文件站后,其他人无法访问解决办法

在公司内网的一个虚拟机上搭建了httpsd服务&#xff0c;准备作为内部小伙伴们的文件站&#xff0c;但是搭建好之后发现别的小伙伴是无法访问我机器的。 于是寻找一下原因&#xff0c;排查步骤如下&#xff1a; 1.netstat -lnp 和 ps aux 先看下端口和 服务情况 发现均正常 2.…

数组-C语言(初阶)

目录 一、一维数组的创建和初始化 1.1 数组的创建 1.2 数组的初始化 1.3 一维数组的使用 二、二维数组的创建和初始化 2.1 二维数组的创建 2.2 二维数组的初始化 2.3 二维数组的使用 2.4 二维数组在内存中的存储 三、数组越界 四、数组作为函数参数 4.1 数组名 4.2 冒泡排序…

FreeSWITCH 1.10.10 简单图形化界面1 - docker/脚本/ISO镜像安装

FreeSWITCH 1.10.10 简单图形化界面1 - docker/脚本/ISO镜像安装 0. 界面预览1. Docker安装1.1 下载docker镜像1.2 启动docker镜像1.3 登录 2. 脚本安装2.1 下载2.2 安装2.3 登录2.4 卸载程序 3. 镜像安装3.1 下载镜像3.2 安装镜像3.3 登录 0. 界面预览 http://myfs.f3322.net…

SpringCloud学习笔记(六)_Ribbon服务调用

Ribbon介绍 Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具 Ribbon是Netflix发布的开源项目&#xff0c;主要功能是提供客户端的软件负载均衡算法和服务调用。Ribbon客户端组件提供一系列完善的配置项如连接超时、重试等。简单的说&#xff0c;就是…

HTML基础知识点

目录 ​编辑一、使用 vscode 二、研究代码的特点 三、HTML 常见标签 注释标签 标题标签 段落标签 换行标签 格式化标签 图片标签 超链接标签 表格标签 列表标签 表单标签&#xff1a; form 标签 input标签&#xff1a; select textarea标签&#xff1a; 无语…