大数据与人工智能-平台搭建准备之VM虚拟机与centos网络配置

news/2024/9/21 2:39:08/文章来源:https://www.cnblogs.com/gechangmao/p/18423523


一.前提(前提可以不看):

准备好需要的JDK,HADOOP,HIVE……等一些列组建安装包。

rpm -ivh –nodeps xxxx.rpm 可以强制安装本地xxxx软件包

为了提高虚拟机运行速度,可以关闭Cent os7的图形化界面:
查看默认的target,执行:
systemctl get-default
开机以命令模式启动,执行:
systemctl set-default multi-user.target
开机以图形界面启动,执行:
systemctl set-default graphical.target

关机 (系统的关机、重启以及登出 ) :
shutdown -h now 关闭系统
init 0 关闭系统
telinit 0 关闭系统
shutdown -h hours:minutes & 按预定时间关闭系统
shutdown -c 取消按预定时间关闭系统
shutdown -r now 重启
reboot 重启
logout 注销

linux下的使用复制命令cp,不让出现“overwrite”(文件覆盖)提示的方法
第一种解决办法:
在cp前加上一个"\"符号就不使用别名运行了,如下:
# \cp -f sourcefile targetdir
第二种解决办法:
编辑文件,注释掉别名。
# vi ~/.bashrc
在alias cp='cp -i'前加上“#”注释掉这行,wq!保存推出,然后重新登陆就可以了。

 

二、、VM虚拟机软件设置

1.VM虚拟机只保留NAT连接模式,其他的全部移除

2.NAT具体设置如下:

VM虚拟机子网IP:10.7.64.0
VM虚拟机子网掩码:255.255.255.0


3.在主界面设置好后,点击“NAT设置”:

网关IP(G):10.7.64.2


4.网关设置好后点击 “DNS设置”:

首选DNS服务器(P):10.7.64.1

 

5.为了使得本次搭建比较有序本次统一使用固定IP,hostname,固定安装位置等等(现在不要弄,文章最下面等最后会有hostname与hosts详细配置,这里只是解释搭建布局与思路)。
一号机:hostname设置为:hadoop101,ip地址为:10.7.64.101
二号机:hostname设置为:hadoop102,ip地址为:10.7.64.102
三号机:hostname设置为:hadoop103,ip地址为:10.7.64.103
四号机:hostname设置为:hadoop104,ip地址为:10.7.64.104

6.具体图片

 

 

三、修改Cent OS 网络配置
1.前言:

我们要在一号机上搭建伪分布式hadoop平台,而其他三台用来搭建完全分布式平台,因为大数据平台必须是奇数。
安装位置:/usr/local/src/
更改IP地址(同样的方法修改其他ip地址),nmtui图形化命令也可以修改ip,hostname。
nmtui命令能在nmtui图形界面更改IP,但是不建议那么做,那么可以在/etc/sysconfig/network-scripts/目录下,修改你的网卡信息并配置你的IP。

2.关闭防火墙

虚拟机下关闭机器的防火墙骤:

安装好Cent OS 7 后打开终端,直接输入命令:su

输入好,再输入密码后就进入了管理员模式啦,想怎么配置就怎么配置,爽啊。

然后依次输入三条命令,每条命令输入后请回车:

systemctl stop firewalld 

systemctl disable firewalld 

systemctl status firewalld 

 

下面是这三条命令的解释:

systemctl stop firewalld 临时关闭防火墙

systemctl disable firewalld  永久关闭防火墙
systemctl status firewalld 查看防火墙状态

windows下的防火墙与杀毒软件也要关闭,不然遇到各种玄学情况本人概不负责。。。。。

2.修改Cent OS网络配置

(1)查看网卡

输入命令并回车: ls /etc/sysconfig/network-scripts/

可以看到如图,ens33就是我们的网卡

 

(2)修改ens33的配置

输入命令命令并回车:vi /etc/sysconfig/network-scripts/ifcfg-ens33

那么就进入ens33文本了,按i键进入编辑模式,只需要修改网卡配置文件的如下几项,其他的默认就好了。

BOOTPROTO=static
ONBOOT=yes
IPADDR=10.7.64.101
NETMASK=255.255.255.0
GATEWAY=10.7.64.2
DNS1=10.7.64.1

 

修改完后按Esc键,然后输入wq,即可退出vi编辑界面


其中BOOTPROTO=static为设置静态网络,ONBOOT=yes为自动激活网卡,NETMASK为子网掩码,GATEWAY为网关IP,DNS1为默认NDS
以上内容一定要根据实际的配置来,如果VM虚拟机里的设置和我一样就可以按照我的来。
修改完成之后,执行重启网卡命令:service network restart

 

四、测试当前机器并修改其他机器 

1.Windows使用CMD命令ping这台机器的ip,Cent OS 下载终端里ping你的实体Windows主机,如果互ping通,在一号机上使用Xftp传入大数据所需要的安装包,比如,传入到:/usr/local/games/

接下来还要设置hostname与hosts,这样更方便以后几台机器互传文件互ping

2.hostname修改(其他几台同是重复此步骤,只需要修改对应hostname):

输入命令并回车:vi /etc/hostname
内容如下:
hadoop101


3.hosts文件的修改(其他几台同是重复此步骤):

输入命令并回车:vi /etc/hosts
内容如下:
10.7.64.101 hadoop101
10.7.64.102 hadoop102
10.7.64.103 hadoop103
10.7.64.104 hadoop104
五、克隆另外三台虚拟机

克隆三台虚拟机后需要修改ens33的配置,其实对linux熟悉的话,直接更改对应的ip就好了

1.克隆的2号机器配置

输入命令命令并回车:vi /etc/sysconfig/network-scripts/ifcfg-ens33

那么就进入ens33文本了,按i键进入编辑模式,只需要修改网卡配置文件的如下几项,其他的默认就好了。

BOOTPROTO=static
ONBOOT=yes
IPADDR=10.7.64.102
NETMASK=255.255.255.0
GATEWAY=10.7.64.2
DNS1=10.7.64.1

1.克隆的2号机器配置

输入命令命令并回车:vi /etc/sysconfig/network-scripts/ifcfg-ens33

那么就进入ens33文本了,按i键进入编辑模式,只需要修改网卡配置文件的如下几项,其他的默认就好了。

BOOTPROTO=static
ONBOOT=yes
IPADDR=10.7.64.102
NETMASK=255.255.255.0
GATEWAY=10.7.64.2
DNS1=10.7.64.1

2.克隆的3号机器配置

输入命令命令并回车:vi /etc/sysconfig/network-scripts/ifcfg-ens33

那么就进入ens33文本了,按i键进入编辑模式,只需要修改网卡配置文件的如下几项,其他的默认就好了。

BOOTPROTO=static
ONBOOT=yes
IPADDR=10.7.64.103
NETMASK=255.255.255.0
GATEWAY=10.7.64.2
DNS1=10.7.64.1

3.克隆的4号机器配置

输入命令命令并回车:vi /etc/sysconfig/network-scripts/ifcfg-ens33

那么就进入ens33文本了,按i键进入编辑模式,只需要修改网卡配置文件的如下几项,其他的默认就好了。

BOOTPROTO=static
ONBOOT=yes
IPADDR=10.7.64.104
NETMASK=255.255.255.0
GATEWAY=10.7.64.2
DNS1=10.7.64.1

 

以上布置完成后VM虚拟机下的这四台机器互ping 只需要ping hosname,因为前面设置了hostname与hosts:

例如:ping hadoop101或者ping hadoop102……等等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/800834.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

游戏技术

目录显示相关的术语每个帧的像素:分辨率多个帧的刷新:刷新率、帧率每个像素的颜色编码码率显卡渲染技术DLSS2 牺牲画质 提高帧率DLSS3 进一步提高帧率 刷新更流畅 显示相关的术语 每个帧的像素:分辨率 分辨率 = 水平宽度的像素数(列数) x 垂直高度的像素数(行数)速记 分辨率…

痞子衡嵌入式:如果i.MXRT离线无法启动,试着分析ROM启动日志

大家好,我是痞子衡,是正经搞技术的痞子。今天痞子衡给大家介绍的是恩智浦i.MXRT系列MCU的ROM启动日志。关于 i.MX RT 启动问题解决的文章,痞子衡写过非常多,其中大部分都是具体到某一类启动设备下的具体问题分析,比较依赖经验,这些经验当然是非常有用的。此外也有一篇 《…

基于A律压缩的PCM脉冲编码调制通信系统simulink建模与仿真

1.算法运行效果图预览 (完整程序运行后无水印) 2.算法运行软件版本 matlab2022a3.部分核心程序 (完整版代码包含详细中文注释和操作步骤视频)4.算法理论概述脉冲编码调制(Pulse Code Modulation, PCM)是一种将模拟信号转换为数字信号的通信技术,广泛应用于电话通信、音频…

室内导航的界面该如何设计

室内导航的界面该如何设计?发点例子你看看

【笔记】机器学习算法在异常网络流量监测中的应用

这段时间在找方向,又看不懂文章,只能先从一些相对简单的综述类看起,顺便学学怎么写摘要相关工作的。机器学习算法在异常网络流量监测中的应用 原文:Detecting Network Anomalies in NetFlow Traffic with Machine Learning Algorithms 原文链接:Detecting Network Anomali…

画5.0

chino 最近摆烂过头了,博客都没有好好更新。 这位想必人尽皆知。

opencascade Bnd_OBB源码学习 OBB包围盒

opencascade Bnd_OBB OBB包围盒前言 类描述了定向包围盒(OBB),比轴对齐包围盒(AABB)更紧密地包围形状的体积。OBB由盒子的中心、轴以及三个维度的一半定义。与AABB相比,OBB在作为非干扰物体的排斥机制时可以更有效地使用。 方法 1. 空构造函数 //! 空构造函数 Bnd_OBB() …

Scala安装与环境配置详解教程

本文参考来源: http://mengmianren.com/zhihuishu2020/641069.htmlScala运行在java的JVM之上,因此需要先安装Java运行环境 一、JDK8的下载和安装及环境变量配置 使用的jdk版本是:jdk-8u191-windows-i586.exe https://pan.baidu.com/s/1RNNb7lcqKHC_2h0iiTlqFg?pwd=9t5e 提取…

day2-2

今天进行了一次小测验,仍与基础的增删改查有关。 题目的要求是通过Java写出一个建议系统,能够历遍输出各个数据,能够添加,删除,修改数据,能够根据编号查找到对应的数据。程序如下该程序能够完成这些要求,也具有一定的健全性。

大学C++程序设计课程开发指南——开发环境搭建

前言 由于某些大学程序设计课程仍然在使用VC6.0这一上古工具,不太适合学生与现代开发生产接轨,并且也有可能出现兼容问题等,故编写此文,仅供参考。 使用 Visual Studio 在介绍Visual Studio(此后简称VS)前,先给大家介绍这一工具的发展。 其前身正是VC6.0(全称Visual C++…

LLM DATASET

大模型的能力来源 https://arxiv.org/pdf/2402.18041 大模型合规来源 https://arxiv.org/html/2402.12193v2 大模型的罪恶检测来源 https://www.kaggle.com/datasets/odins0n/ucf-crime-dataset/data code math https://github.com/mlabonne/llm-datasetsMath & LogicLLMs …