数据仓库项目---Day01

文章目录

  • 框架的安装包
  • 数据仓库概念
  • 项目需求及架构设计
    • 项目需求分析
    • 项目框架
      • 技术选型
      • 系统数据流程设计
      • 框架版本选型
      • 集群资源规划设计
  • 数据生成模块
    • 数据埋点
      • 主流埋点方式
      • 埋点数据上报时机
    • 服务器和JDK准备
      • 搭建三台Linux虚拟机(VMWare)
      • 编写集群分发脚本xsync
      • SSH无密登录配置
      • JDK准备
      • 模拟数据
        • 集群日志生成脚本

框架的安装包

链接：https://pan.baidu.com/s/18-WmBBgoTwOyucs-0Rmfew?pwd=4wf9
提取码：4wf9

数据仓库概念

数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。

数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等

  • 业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。

  • 用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。

  • 爬虫数据：通常事通过技术手段获取其他公司网站的数据。
    在这里插入图片描述

项目需求及架构设计

项目需求分析

在这里插入图片描述

项目框架

技术选型

技术选型主要考虑因素:数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算

  • 数据采集传输:Flume，Kafka，Sqoop，Logstash，DataX
  • 数据存储:MySQL，HDFS，HBase，Redis，MongoDB
  • 数据计算:Hive，Tez，Spark, Flink， Storm
  • 数据查询:Presto，Kylin，Impala，Druid，ClickHouse，Doris
  • 数据可视化:Echarts，Superset，QuickBI，DataV
  • 任务调度:Azkaban，Oozie，DolphinScheduler，Airflow
  • 集群监控:Zabbix，Prometheus
  • 元数据管理:Atlas
  • 权限管理:Ranger，Sentry

系统数据流程设计

在这里插入图片描述

框架版本选型

1)如何选择Apache/CDH/HDP版本?

(l)Apache:运维麻烦，组件间兼容性需要自己调研。(一般大厂使用，技术实力雄厚，有专业的运维人员)(建议使用)

(2)CDH:国内使用最多的版本，但CM不开源，今年开始收费，一个节点1万美金/年。

(3) HDP:开源，可以进行二次开发，但是没有CDH稳定，国内使用较少

2)云服务选择

(1)阿里云的EMR、MaxCompute、DataWorks

(2)亚马逊云EMR

(3)腾讯云EMR

(4)华为云EMR

Apache框架版本
在这里插入图片描述

集群资源规划设计

通常会搭建一套生产集群和一套测试集群。生产集群运行生产任务，测试集群用于上线前代码编写和测试。

生产集群

  • 消耗内存的分开
  • 数据传输数据比较紧密的放在一起（Kafka 、Zookeeper）
  • 客户端尽量放在一到两台服务器上，方便外部访问
  • 有依赖关系的尽量放到同一台服务器（例如：Hive和Azkaban Executor）

在这里插入图片描述

测试集群服务器规划

服务名称子服务hadoop102hadoop103hadoop104
HDFSNameNode√
HDFSDataNode√√√
HDFSSecondaryNameNode√
YarnNodeManager√√√
YarnResourcemanager√
ZookeeperZookeeper Server√√√
Flume（采集日志）Flume√√
KafkaKafka√√√
Flume（消费Kafka）Flume√
HiveHive√
MySQLMySQL√
SqoopSqoop√
PrestoCoordinator√
PrestoWorker√√
AzkabanAzkabanWebServer√
AzkabanAzkabanExecutorServer√
Spark√
Kylin√
HBaseHMaster√
HBaseHRegionServer√√√
Superset√
Atlas√
SolrJar√
服务数总计1988

数据生成模块

数据埋点

主流埋点方式

目前主流的埋点方式，有代码埋点（前端/后端）、可视化埋点、全埋点三种。

代码埋点是通过调用埋点SDK函数，在需要埋点的业务逻辑功能位置调用接口，上报埋点数据。例如，我们对页面中的某个按钮埋点后，当这个按钮被点击时，可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口，来发送数据。

可视化埋点只需要研发人员集成采集 SDK，不需要写埋点代码，业务人员就可以通过访问分析平台的“圈选”功能，来“圈”出需要对用户行为进行捕捉的控件，并对该事件进行命名。圈选完毕后，这些配置会同步到各个用户的终端上，由采集 SDK 按照圈选的配置自动进行用户行为数据的采集和发送。

全埋点是通过在产品中嵌入SDK，前端自动采集页面上的全部用户行为事件，上报埋点数据，相当于做了一个统一的埋点。然后再通过界面配置哪些数据需要在系统里面进行分析。

埋点数据上报时机

埋点数据上报时机包括两种方式。

方式一，在离开该页面时，上传在这个页面产生的所有数据（页面、事件、曝光、错误等）。优点，批处理，减少了服务器接收数据压力。缺点，不是特别及时。

方式二，每个事件、动作、错误等，产生后，立即发送。优点，响应及时。缺点，对服务器接收数据压力比较大。

服务器和JDK准备

搭建三台Linux虚拟机(VMWare)

搭建教程

编写集群分发脚本xsync

1）xsync集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）需求分析

①rsync命令原始拷贝：
rsync -av /opt/module root@hadoop103:/opt/

②期望脚本：
xsync要同步的文件名称

③说明：在/home/atguigu/bin这个目录下存放的脚本，yudan用户可以在系统任何地方直接执行。
（3）脚本实现

①在用的家目录/home/yudan下创建bin文件夹

[yudan@hadoop102 ~]$ mkdir bin

②在/home/yudan/bin目录下创建xsync文件，以便全局调用

[yudan@hadoop102 ~]$ cd /home/yudan/bin
[yudan@hadoop102 ~]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho ====================  $host  ====================#3. 遍历所有目录，挨个发送for file in $@do#4 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done

③修改脚本xsync具有执行权限
[yudan@hadoop102 bin]$ chmod +x xsync
④测试脚本
[yudan@hadoop102 bin]$ xsync xsync

SSH无密登录配置

（1）hadoop102上生成公钥和私钥：

[yudan@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（2）将hadoop102公钥拷贝到要免密登录的目标机器上

[yudan@hadoop102 .ssh]$ ssh-copy-id hadoop102
[yudan@hadoop102 .ssh]$ ssh-copy-id hadoop103
[yudan@hadoop102 .ssh]$ ssh-copy-id hadoop104

（3）hadoop103上生成公钥和私钥：

[yudan@hadoop103 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（4）将hadoop103公钥拷贝到要免密登录的目标机器上

[yudan@hadoop103 .ssh]$ ssh-copy-id hadoop102
[yudan@hadoop103 .ssh]$ ssh-copy-id hadoop103
[yudan@hadoop103 .ssh]$ ssh-copy-id hadoop104

JDK准备

1）卸载现有JDK（3台节点）

[yudan@hadoop102 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps[yudan@hadoop103 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps[yudan@hadoop104 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

（1）rpm -qa：表示查询所有已经安装的软件包
（2）grep -i：表示过滤时不区分大小写
（3）xargs -n1：表示一次获取上次执行结果的一个值
（4）rpm -e --nodeps：表示卸载软件

2）解压JDK到/opt/module目录下

[yudan@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3）配置JDK环境变量
（1）新建/etc/profile.d/my_env.sh文件

[yudan@hadoop102 module]# sudo vim /etc/profile.d/my_env.sh

添加如下内容，然后保存（:wq）退出

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

（2）让环境变量生效

[yudan@hadoop102 software]$ source /etc/profile.d/my_env.sh

4）测试JDK是否安装成功

[yudan@hadoop102 module]# java -version

如果能看到以下结果、则Java正常安装
java version “1.8.0_212”
5）分发JDK

[yudan@hadoop102 module]$ xsync /opt/module/jdk1.8.0_212/

6）分发环境变量配置文件

[yudan@hadoop102 module]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

7）分别在hadoop103、hadoop104上执行source

[yudan@hadoop103 module]$ source /etc/profile.d/my_env.sh
[yudan@hadoop104 module]$ source /etc/profile.d/my_env.sh

模拟数据

1）将application.yml、gmall2020-mock-log-2021-01-22.jar、path.json、logback.xml上传到hadoop102的/opt/module/applog目录下

（1）创建applog路径

[yudan@hadoop102 module]$ mkdir /opt/module/applog

（2）上传文件application.yml到/opt/module/applog目录

2）生成日志
（1）进入到/opt/module/applog路径，执行以下命令

[yudan@hadoop102 applog]$ java -jar gmall2020-mock-log-2021-01-22.jar

（2）在/opt/module/applog/log目录下查看生成日志

[yudan@hadoop102 log]$ ll
集群日志生成脚本

在hadoop102的/home/atguigu目录下创建bin目录，这样脚本可以在服务器的任何目录执行。

[yudan@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atguigu/.local/bin:/home/yudan/bin

（1）在/home/atguigu/bin目录下创建脚本lg.sh

[yudan@hadoop102 bin]$ vim lg.sh

（2）在脚本中编写如下内容

#!/bin/bash
for i in hadoop102 hadoop103; doecho "========== $i =========="ssh $i "cd /opt/module/applog/; java -jar gmall2020-mock-log-2021-01-22.jar >/dev/null 2>&1 &"
done

注：
①/opt/module/applog/为jar包及配置文件所在路径
②/dev/null代表Linux的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。
标准输入0：从键盘获得输入 /proc/self/fd/0
标准输出1：输出到屏幕（即控制台） /proc/self/fd/1
错误输出2：输出到屏幕（即控制台） /proc/self/fd/2

（3）修改脚本执行权限

[yudan@hadoop102 bin]$ chmod u+x lg.sh

（4）将jar包及配置文件上传至hadoop103的/opt/module/applog/路径

（5）启动脚本

[yudan@hadoop102 module]$ lg.sh

（6）分别在hadoop102、hadoop103的/opt/module/applog/log目录上查看生成的数据

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/674608.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C++之类与对象

C++之类与对象

1、类声明 2、共有、私有、保护成员。（就比如说你一个变量是private的，然后在main函数中，就调用不了，只能在这个类.cpp中调用） 3、数据抽象和封装 4、内联函数 内存体积会增大，以空间换时间：编…
阅读更多...
Linux实现Flappy bird项目

Linux实现Flappy bird项目

目录 1、项目介绍 2、功能总结 3、前期准备 3.1 Ncurses库 3.2 信号机制 3.2.1 设置信号响应方式 3.2.2 设置定时器 4、代码实现 4.1 头文件引用及变量、函数定义 4.2 主函数 4.3 curses初始化 4.4 设置定时器 4.5 定时器响应函数 4.6 小鸟控制相关函数 4…
阅读更多...
如何复制本地docker镜像到其他主机

如何复制本地docker镜像到其他主机

（1）打包镜像 比如我要复制的镜像是grafana的镜像 docker images 这里我把打包的镜像放在了根~目录下，如截图所示： docker save grafana/grafana:latest -o ~/grafana.jar （2）移动镜像 scp命令拷贝镜像到目标…
阅读更多...
【机器学习系统的构建】从模型开发的过程讲清楚K-Fold 交叉验证 (Cross-Validation)的原理和应用

【机器学习系统的构建】从模型开发的过程讲清楚K-Fold 交叉验证 (Cross-Validation)的原理和应用

0、前言 最近在学习集成学习的时候了解到了k折交叉验证，其实在之前学习吴恩达老师的课程中也学过交叉验证，但是当时也不是很明白。这次借着自己的疑问以及网上搜找资料，终于把交叉验证给弄明白了。 在弄清楚前，我有这样几个疑问…
阅读更多...
【数据分享】2022年中国1km分辨率的河网密度数据（免费获取）

【数据分享】2022年中国1km分辨率的河网密度数据（免费获取）

水系数据是我们在各项研究中经常使用的数据！之前我们分享过一份来源于Open Street Map的2024年全国水系数据（可查看之前的文章获悉详情）！ 本次我们分享一份来源于Science Data Bank平台上的2022年中国1km分辨率的河网密度数据&am…
阅读更多...
Amazon Q Business现已正式上市！利用生成式人工智能协助提高员工生产力

Amazon Q Business现已正式上市！利用生成式人工智能协助提高员工生产力

在 2023 年度 AWS re:Invent 大会上，我们预览了 Amazon Q Business，这是一款基于生成式人工智能的助手，可以根据企业系统中的数据和信息回答问题、提供摘要、生成内容额安全地完成任务。 借助 Amazon Q Business，您可以部署安全、…
阅读更多...
Skywalking数据持久化与自定义链路追踪

Skywalking数据持久化与自定义链路追踪

学习本篇文章之前首先要了解一下Sky walking的基础知识 分布式链路追踪工具Skywalking详解 一，Sky walking数据持久化 Sky walking提供了es，MySQL等数据持久化方案，默认使用h2基于内存的数据库，重启之后数据即会丢失。 在实际工…
阅读更多...
纹理映射技术在AI去衣应用中的关键作用

纹理映射技术在AI去衣应用中的关键作用

引言： 随着人工智能技术的飞速发展，其在图像处理领域中的应用也日益广泛。AI去衣，作为一种颇具争议的技术应用，指的是利用深度学习算法自动移除或替换图片中的衣物。在这一过程中，纹理映射技术扮演了不可或缺的角色。本…
阅读更多...
python环境下labelImg图片标注工具的使用

python环境下labelImg图片标注工具的使用

labelimg GitHub地址 python环境下labelImg图片标注工具的使用 1. 写在开头2. 如何使用2.1安装2.2 启动2.2.1 先启动后设置标注的目录2.2.2 指定标注的目录和预设置的标签 2.3 设置自动保存和显示类别。2.4 保存文件类型2.5 [快捷键](https://github.com/HumanSignal/labelImg…
阅读更多...
我独自升级崛起下载方法分享 下载教程

我独自升级崛起下载方法分享 下载教程

《我独自升级：崛起》这款精彩绝伦的动作角色扮演游戏，灵感来源于大热网络漫画，让玩家亲自踏上主角程肖宇的征途，从觉醒初阶到实力飞跃，每一步成长都扣人心弦。值得注意的是，尽管全球正式发布日期定在了五月…
阅读更多...
每天五分钟计算机视觉：通过交并比判断对象检测算法的性能

每天五分钟计算机视觉：通过交并比判断对象检测算法的性能

本文重点 在对象检测领域，交并比（Intersection over Union，简称IoU）是衡量算法性能的重要指标之一。它不仅直观地反映了预测框与真实框之间的重叠程度，还是判断算法是否“运行良好”的关键依据。 那个定位是好的？ 对象检测任务中，我们希望不仅检测到对象，同时我们还希…
阅读更多...
重学SpringBoot3-SPI机制

重学SpringBoot3-SPI机制

更多SpringBoot3内容请关注我的专栏：《SpringBoot3》 期待您的点赞👍收藏⭐评论✍ 重学SpringBoot3-SPI机制 什么是 SPI？Spring Boot 中的 SPI 机制spring.factories 文件自动配置的实现启动流程中的作用 SPI实际应用步骤 1: 新建模块步骤 2:…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023