怎么利用hadoop搭建自己的云计算

news/2025/1/15 17:33:45/文章来源:https://www.cnblogs.com/cuay/p/18501094

我们为了能够更加方便来识别主机,我们使用主机名而不是使用IP地址,以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名(hostname)分别更改为master、node1、node2。

一、怎么利用hadoop搭建自己的云计算

(1) 我们为了能够更加方便来识别主机,我们使用主机名而不是使用IP地址,以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名(hostname)分别更改为master、node1、node2。

命令如下:

cd /etc/   // 进入配置目录

vi hostname  // 编程hostname 配置文件

先点击 Esc : wq 保存

在另外两个节点上进行相同的操作

(2) 开启主机的DHCP模式,自动获取ip地址。方法如下:

cd /etc/sysconfig/network-scripts/           //进入网卡编辑目录

vi ifcfg-enp16777736                         //编辑网卡enp0s3的配置文件

重启网卡 service network restart

(3) 配置hosts

配置 hosts 主要是为了让机器能够相互识别主机

注:hosts文件是域名解析文件,在hosts文件内配置了 ip地址和主机名的对应关系,配置之后,通过主机名,电脑就可以定位到相应的ip地址 。

vi /etc/hosts

在hosts配置文件内容输入如下内容:使用同样的方式更改node1和node2的网卡配置。

(4) ssh 免密登录

ssh  一路回车

 ssh-keygen

使用如下命令将公钥复制要node1和node2节点中:

ssh-copy-id root@node1

ssh-copy-id root@localhost

ssh-copy-id root@node2

使用 ssh node1 实验是否能免密登录

注意:ssh免密设置后会在如下目录生成四个文件

(5) JDK环境安装(环境配置好后, 拷贝带其他节点)

在 master 中新建目录 /opt/bigdata/, 此目录下存放 hadoop 大数据所需要的环境包.

把下载好的JDK包和hadoop上传至master主机中,JDK是安装Hadoop的基础环境,所以需要优先安装好JDK环境(较好把包考到opt目录下下)

        连接好后将文件拖到opt目录下即可

解压 JDK 并配置环境变量

tar -zxvf jdk-8u181-linux-x64.tar.gz

 mv jdk1.8.0_181/ bigdata/

然后我们配置环境变量

vi /etc/profile

source /etc/profile  

java -version       #验证环境是否配置成功

(6)Hadoop 安装(环境配置好后, 拷贝带其他节点)

把 hadoop 的压缩包解压在当前文件夹然后移动到 bigdata 目录下

tar -zxvf hadoop-3.1.1.tar.gz

mv hadoop-3.1.1 bigdata/

配置 hadoop 环境变量

注:环境变量是让系统变量,在环境变量配置的命令目录后,该目录的命令将可以在任何位置都可以使用。

source profile

hadoop verison

配置 hadoop

cd /opt/bigdata/hadoop-3.1.1/etc/hadoop/

我们需要对   core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml进行配置

(1) 配置 hadoop-env.sh

编辑hadoop-env.sh文件。

命令如下:

vi hadopp-env.sh

查找JAVA_HOME 配置的位置

:/export JAVA_HOME

输入JAVA_HOME的绝对路径。

export JAVA_HOME=/opt/bigdata/jdk1.8.0_181     (要把前面的注释#去掉)

延伸阅读:

二、什么是数据库和数据库管理系统

数据库的应用非常广泛,举个例子,我们平时在浏览器上搜索内容,就要用到数据库去检索我们的关键字。以前我们可能会用数组、集合、文件等来存储数据,但是接下来我们就会面临一个问题,当存储的数据或内容过多的时候,我们如何去精准的找到我们需要的东西,这时候数据库管理系统就派上了用场。除此之外,数据库管理系统还能永久的储存我们的数据。

为了便于大家理解,这里先给大家讲解几个概念

DB数据库(database):存储数据的“仓库”。它保存了一系列有组织的数据。

DBMS数据库管理系统(Database Management System):数据库是通过DBMS创建和操作的容器。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/824875.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

28 计算机网络

两台机器连接就构成的网络 计算机近距离构成的网络叫做局域网,lan;一根电缆连接几台电脑,相互之间通过电缆传输信息。最著名是以太网技术。 一台上传,其余都可以在电缆里收到。为了避免接受无意义信息,每台电脑前加一个

Phonegap和Titanium用作移动开发,各有哪些优缺点

Phonegap和Titanium都是流行的移动开发框架,各自具有独特的优缺点。1、Phonegap:优点包括易学习、跨平台兼容、社区支持丰富;缺点有性能限制、原生功能限制。2、Titanium:优点涵盖了原生体验、强大的性能、大量的自定义选项;缺点则是学习曲线较陡、社区支持有限。例如,Ph…

DBeaver如何插入一行新数据或者复制一行新数据,真方便

前言 我们在使用DBeaver时,经常是需要操作数据库表的,比如新加一行数据等。DBeaver给我们提供了快速的操作方法,今天就来介绍下。 如何插入新数据 首先,我们选中要插入数据的那个位置,就是要选中一行数据。然后,我们点击下面的这两个按钮,其中一个按钮是新增一行,一个按…

二叉树的递归遍历

二叉树的递归遍历(前、中、后序)二叉树的递归遍历 题目链接: 前序遍历: LeetCode 144 中序遍历: LeetCode 94 后序遍历: LeetCode 145 描述 给你二叉树的根节点 root ,返回它节点值的 前序 、 中序 、 后序 遍历。示例1:前序遍历输入:root = [1,null,2,3] 输出:[1,2,3]示…

靈機 AI 解夢:傳統周公解夢的現代升級

# 靈機AI解夢:傳統周公解夢的現代升級在人類文化的長河中,夢一直是一個充滿神秘色彩的領域。人們對夢的解讀和探索從未停止,從古老的周公解夢到現代的各種解夢理論和方法,都反映了人類對潛意識世界的好奇與渴望。靈機AI解夢平台的出現,為解夢領域帶來了新的活力和可能,與…

20222418 2024-2025-1 《网络与系统攻防技术》实验三实验报告

1.实验内容 实验内容 (1)正确使用msf编码器,veil-evasion,自己利用shellcode编程等免杀工具或技巧正确使用msf编码器,使用msfvenom生成如jar之类的其他文件 veil,加壳工具 使用C + shellcode编程(2)通过组合应用各种技术实现恶意代码免杀 如果成功实现了免杀的,简单语言描…

Android添加OpenCV支持,一步一步添加。

首先下载OpenCV的SDK 推荐在官网下载。 官网地址:https://opencv.org/releases/ 也可以在OpenCV的GitHub上现在 GitHUb链接:https://github.com/opencv/opencv/releases 官网下载:GitHub下载下载完成后,解压压缩包,会得到以下目录其中SDK文件夹是我们要导入的目标。在进行…

有哪些好用的互联网项目远程协作工具

好用的互联网项目远程协作工具有:一、Slack;二、Microsoft Teams;三、Trello;四、Asana;五、Google Workspace。其中,Slack具有强大的聊天和通知功能,它允许用户创建不同的频道来组织讨论,并支持与其他工具的集成。一、Slack Slack是一款流行的实时沟通工具,以其强大的…

xshell终端识别http ftp 链接 ctrl点击打开链接

前言全局说明xshell终端识别http ftp 链接 ctrl点击打开链接一、说明终端链接可以直接点击,比复制一下方便很多二、开启,中断连接识别 2.1 点工具--选项2.2 点 键盘鼠标 -- 鼠标 按图片勾选免责声明:本号所涉及内容仅供安全研究与教学使用,如出现其他风险,后果自负。参考、…

麒麟系统(arm64/aarch64)docker部署prometheus系统

备注:1.不推荐yum或者源码安装,安装包跟系统架构不兼容,推荐docker方式部署,这样就可以忽略系统不兼容的问题。2.准备工作:开通端口映射,即公网的ip加grafana的默认端口9090到内网部署grafana服务的服务器的9090端口的映射,就可以通过外网访问。 一、目标:收集所有节点…

你的第一个Solana SPL

简介 TFT 你的第一个SPL The first token技术栈和库Rust Anchor框架 Typescript(测试)开发环境和其它网络地址DevNet: https://api.devnet.solana.com TestNet: https://api.testnet.solana.com MainNet: https://api.mainnet-beta.solana开发环境设置 1.本教程使用的时 DevNet…

27 3D图形

3d转2d,用3d投影的数学思想;直线角度,正交投影,投透视投射;一般是三角形,三点可以确定i个平面;从投影角度来绘制多面体结构; 前后采取扫描线渲染 阴暗,通过三角形界面法线方向与光源角度偏移度,平面着色 纹理通过扫面线