大数据学习第十二天（hadoop概念）-编程知识

大数据学习第十二天（hadoop概念）

1、服务器之间数据文件传递

1）服务器之间传递数据，依赖ssh协议

2）http协议是web网站之间的通讯协议，用户可已通过http网址访问到对应网站数据

3）ssh协议是服务器之间，或windos和服务器之间传递的数据的协议。支持shell指令的传输

4）在linux中默认自带ssh客户端，可以使用ssh指令进行服务器连接

ssh 用户@ip地址或域名

ssh免密登录

每次登录不需要再输入密码

分别在node1、node2、node3上执行如下命令

1）生成密钥

ssh-keygen

2）分别拷贝密钥

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

3）基于ssh协议进行服务器之间的文件或者目录的传输

使用指令scp

scp -r 本机文件或目录路径目标服务器名：目标服务器路径

2、解压和压缩

tar xvf 压缩包文件

x 代表解压

v 显示解压详情

f 代表解压文件

1）压缩

tar cvf 压缩包名.tar.gz 文件或者目录

3、数据导论[了解]

日常生活中不断产生各类数据，通过对各类数据的分析，得到用户的行为习惯，发现用户的数据价值

4、大数据诞生[了解]

随着用户数据增多传统数据处理方式无法满足海量数据处理的需求，此时引入分布式技术

将海量数据进行分布式的存储，计算，资源调度

可以统一管理多台服务器进行存储和计算，把多台服务器当成一个整体

使用hadoop实现分布式存储，计算和资源调度

5、大数据概述[了解]

大数据主要解决海量数据的存储和计算

海量数据

excel KB MB 1MB=1024KB

mysql GB TB 1GB =1024 MB 1TB =1024GB

大数据 PB,EB（海量数据） 1PB=1024TB

KB < MB < GB < TB < PB < EB < ZB < YB

6、大数据的特点

数据量大
数据种类多
- 结构化数据
  - 表
- 半结构化数据
  - xml
  - json
- 非结构数据
  - 文本数据
数据低价值密度
- 分析用户的消费习惯
  - 用户注册基本信息姓名，性别，年龄 1个
  - 用户的购买信息订单数据手机，2023-10-22 100个
  - 用户浏览信息浏览哪些商品 100个
  - 用户访问信息访问网站时间，地点，设备 100000条
  - 1000201条数有价值的数据200条
增长速度快
- 每天都会产生大量数据
数据结果质量高
- 对海量数据结果更接近真实情况

7、大数据软件生态[了解]

存储：Apache Hadoop HDFS、Apache HBase、Apache Kudu、云平台

计算：Apache Hadoop MapReduce、Apache Spark、Apache Flink

传输：Apache Kafka、Apache Pulsar、Apache Flume、Apache Sqoop

8、Apache Hadoop概述[了解]

1）Hadoop的功能组件

HDFS分布式文件存储系统: 负责海量数据的存储工作

MapReduce分布式计算框架: 负责海量数据的计算工作

Yarn分布式资源调度工具: 负责分布式集群的资源调度工作

2）Hadoop发展

创始人: 道格·卡丁

Hadoop发行时间: 2008年

hadoop的发展受谷歌的三篇论文影响, 后被称为大数据发展的三驾马车

3）Hadoop版本

社区版: 开源免费

优点: 更新速度快,技术新

缺点: 兼容性差不稳定

商业版: CDH 将所有大数据相关组件都重写了一遍并进行了精细测试解决了兼容性问题和稳定性问题

优点: 兼容稳定性好

确定: 技术旧,收费

注意: 在企业级开发中我们使用的大多是商业版hadoop, CDH版本Hadoop在6.2.4版本之前是不收费的.