Hadoop

阅读前请看一下:我是一个热衷于记录的人,每次写博客会反复研读,尽量不断提升博客质量。文章设置为仅粉丝可见,是因为写博客确实花了不少精力。希望互相进步谢谢!!

文章目录

  • 阅读前请看一下:我是一个热衷于记录的人,每次写博客会反复研读,尽量不断提升博客质量。文章设置为仅粉丝可见,是因为写博客确实花了不少精力。希望互相进步谢谢!!
  • 1、课程简介
  • 2、概论
    • 2.1、大数据的概念
    • 2.2、大数据的特点
    • 2.3、大数据的应用场景
    • 2.4、大数据的发展场景
    • 2.5、大数据的未来工作内容
  • 3、知识体系(框架)
  • 4、概念
    • 4.1、Hadoop是什么
    • 4.2、Hadoop发展历史
    • 4.3、Hadoop三大发行版本
    • 4.4、Hadoop的优势
    • 4.5、Hadoop的组成(==面试重点!!!==)
      • 4.5.1、HDFS概述
      • 4.5.2、YARN概述
      • 4.5.3、MapReduce概述
      • 4.5.4、HDFS、YARN、MapReduce关系
    • 4.6、大数据技术生态体系
    • 4.7、推荐系统案例
  • 5、Hadoop环境准备
    • 5.1 、模板虚拟机准备
      • 5.1.1、VMware安装
      • 5.1.2、Centos7.5软硬件安装
      • 5.1.3、IP和主机名配置
      • 5.1.4、Xshell远程访问工具
      • 5.1.5、模板虚拟机准备完成
    • 5.2 、克隆
    • 5.3 、按照JDK、Hadoop
  • 6、Hadoop生产集群搭建
  • 、总结

提示:以下是本篇文章正文内容

1、课程简介

在这里插入图片描述



2、概论

2.1、大数据的概念

在这里插入图片描述


2.2、大数据的特点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


2.3、大数据的应用场景


2.4、大数据的发展场景


2.5、大数据的未来工作内容

在这里插入图片描述
在这里插入图片描述



3、知识体系(框架)

在这里插入图片描述



4、概念

4.1、Hadoop是什么

在这里插入图片描述


4.2、Hadoop发展历史

在这里插入图片描述
在这里插入图片描述


4.3、Hadoop三大发行版本

在这里插入图片描述


4.4、Hadoop的优势

在这里插入图片描述
在这里插入图片描述


4.5、Hadoop的组成(面试重点!!!

在这里插入图片描述

4.5.1、HDFS概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

在这里插入图片描述
在这里插入图片描述

4.5.2、YARN概述

Yet Another Resource Negotiation,另一种资源协调者,是Hadoop的资源管理器。

在这里插入图片描述

4.5.3、MapReduce概述

在这里插入图片描述

4.5.4、HDFS、YARN、MapReduce关系

在这里插入图片描述


4.6、大数据技术生态体系

在这里插入图片描述


4.7、推荐系统案例

在这里插入图片描述



5、Hadoop环境准备

5.1 、模板虚拟机准备

5.1.1、VMware安装

在这里插入图片描述

5.1.2、Centos7.5软硬件安装

在这里插入图片描述
1、安装硬件:虚拟机;
2、安装软件:操作系统;

  • 1、“/boot”:刚启动电脑时分配多少资源,1g;

  • 2、“/swap”:电脑内存不够用时,硬盘虚拟成内存;

  • 3、“/”:根目录;

  • kdump:崩溃时自动备份,学习时可禁用。
    2、IP
    3、名称

5.1.3、IP和主机名配置

要配置三个IP:
在这里插入图片描述

  • 1、hadoop100
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述

  • 2、Vmware
    在这里插入图片描述
    在这里插入图片描述

  • 3、Win10
    在这里插入图片描述

修改主机名称+映射主机名称
vim /etc/hostname
vim /etc/hosts
在这里插入图片描述
在这里插入图片描述

5.1.4、Xshell远程访问工具

5.1.5、模板虚拟机准备完成

5.2 、克隆

5.3 、按照JDK、Hadoop



6、Hadoop生产集群搭建

  1. 、本地模式
  2. 、完全分布式集群(开发和面试的重点)


、总结


码字不易,谢谢点赞!!!
码字不易,谢谢点赞!!!
码字不易,谢谢点赞!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/90661.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【python爬虫】5.爬虫实操(歌词爬取)

文章目录 前言项目:寻找周杰伦分析过程代码实现重新分析过程什么是NetworkNetwork怎么用什么是XHR?XHR怎么请求?json是什么?json数据如何解析?实操:完成代码实现 一个总结一个复习 前言 这关让我们一起来寻…

ceph架构及 IO流程

CEPH是由多个节点构成的集群,它具有良好的可扩展性和可靠性。节点之间相互通信以达到: 存储和检索数据 数据复制 监控集群的健康状况 保证数据的完整性 检测故障并恢复 基本架构如下图: 分布式对象存储系统RADOS是CEPH最为关键的技术&a…

java八股文面试[数据库]——数据库三范式

什么是范式? 范式是数据库设计时遵循的一种规范,不同的规范要求遵循不同的范式。 最常用的三大范式 第一范式(1NF):属性不可分割,即每个属性都是不可分割的原子项。(实体的属性即表中的列) 理解:一个列不能包含两个数…

Java eight 解读流(Stream)、文件(File)、IO和异常处理的使用方法

目录 Java 流(Stream)、文件(File)和IO读取控制台输入读写文件FileInputStreamFileOutputStream Java目录 Java 异常处理 Java 流(Stream)、文件(File)和IO java.io 包几乎包含了所有操作输入、输出需要的类。所有这些流类代表了输入源和输出目标。 Java.io 包中的流支持很多种…

取数组中每个元素的最高位

1 题目 /*程序将一维数组a中N个元素的最高位取出,保存在一维数组b的对应位置。 程序运行结果为: a:82 756 71629 5 2034 b: 8 7 7 5 2 */ 2 思考 简单来说就是取一个数据的最高位。 一开始的笨方法没有办法判断数据的长度,后来…

el-select 使用

案例&#xff1a; /* * label : 界面上展示的是哪个字段,我这里需要展示名称 * value : 绑定的字段&#xff0c;一般是id */<el-selectv-model"Form.BillNumber"placeholder"请选择"change"changeValue($event)"><el-optionv-for"…

43、基于 springboot 自动配置的 spring mvc 错误处理,就是演示项目报错后,跳转到自定义的错误页面

Spring MVC 的错误处理&#xff1a;基于 SpringBoot 自动配置之后的 Spring MVC 错误处理。 就是访问方法时出错&#xff0c;然后弄个自定义的错误页面进行显示。 ★ 两种错误处理方式 方式一&#xff1a; 基于Spring Boot自动配置的错误处理方式&#xff0c;只要通过属性文件…

我是如何成为一名全栈工程师的?

经历了将近一年的时间&#xff0c;我终于阶段性地完成了从iOS开发到后端开发的角色转变。 现在我可以自豪地说&#xff0c;我已经接近一名全栈工程师了&#xff0c;已经熟悉了后端开发的各种工具、环境和一些后端工作的方式。 接下来&#xff0c;我将继续熟悉框架、工具、语言…

Pytorch学习:神经网络模块torch.nn.Module和torch.nn.Sequential

文章目录 1. torch.nn.Module1.1 add_module&#xff08;name&#xff0c;module&#xff09;1.2 apply(fn)1.3 cpu()1.4 cuda(deviceNone)1.5 train()1.6 eval()1.7 state_dict() 2. torch.nn.Sequential2.1 append 3. torch.nn.functional.conv2d 1. torch.nn.Module 官方文档…

MySQL 特殊语法时间格式以及Greadb连接

一、时间语法 DATE_FORMAT和to_char() select to_char(now(),%Y-%m-%d %H:%i:%s) from dual; select DATE_FORMAT(now(),%Y-%m-%d %H:%i:%s) from dual; 2.to_date() 和STR_TO_DATE(#{date},%Y-%m-%d ) select to_date(now(),yyyy-mm-dd hh24:mi:ss) from dual;

Shell 脚本入门

目录 一、Shell是什么 1.1 我们为什么要学习Shell和使用Shell&#xff1f; 1.2 Shell的分类有哪些&#xff1f; 二、Shell脚本入门知识 2.1 Shell文件命名规范 2.2 Shell解析器 2.3 用Shell 编写hello World 三、Shell的四种变量类型 3.1 系统预定义变量 3.2 自定义变…

CNN(六):ResNeXt-50实战

&#x1f368; 本文为&#x1f517;365天深度学习训练营中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊|接辅导、项目定制 ResNeXt是有何凯明团队在2017年CVPR会议上提出来的新型图像分类网络。它是ResNet的升级版&#xff0c;在ResNet的基础上&#xff0c;引入了ca…