1、数据仓库概念

数据仓库（Data Warehouse）是为企业提供数据支持，用以协助企业制定决策、改进业务流程和提高产品质量等方面的工具。它可以接收多种类型的输入数据，如业务数据、日志数据和爬虫数据等。然而，在本项目中，我们只对日志数据进行统计和分析。

具体而言，我们将主要关注汽车行驶过程中传感器数据这一特定类型的日志数据，它记录了汽车在运行过程中各个传感器的使用情况以及相关数据。这些数据对于我们改进汽车性能、诊断问题以及分析驾驶行为等都非常重要。

2、项目需求及架构设计

项目需求：

技术选型：

核心架构：

标记车辆的维度信息（定点DataX全量同步），先将数据上传到HFDS，用Hive创建表格映射；汽车行驶日志，用Flume上传至数仓，ODS对数据进行保存，在DWS中完成公共子查询，最后将ADS导出到Mysql，进行机器学习。

框架版本选型

本项目使用的Apache框架版本：

服务器选型

集群规模

3、集群资源规划设计

在企业中通常会搭建一套生产集群和一套测试集群。生产集群运行生产任务，测试集群用于上线前代码编写和测试。

生产集群

参考腾讯云EMR官方推荐部署

Master节点：管理节点，保证集群的调度正常进行；主要部署NameNode、ResourceManager、HMaster等进程；非HA模式下数量为1，HA模式下数量为2。
Core节点：为计算及存储节点，您在HDFS中的数据全部存储于core节点中，因此为了保证数据安全，扩容core节点后不允许缩容；主要部署DataNode、NodeManager、RegionServer等进程。非HA模式下数量≥2，HA模式下数量≥3。
Common节点：为HA集群Master节点提供数据共享同步以及高可用容错服务；主要部署分布式协调器组件，如ZooKeeper、JournalNode等节点。非HA模式数量为0，HA模式下数量≥3。

消耗内存的分开部署。

数据传输数据比较紧密的放在一起（Kafka、clickhouse）。

客户端尽量放在一到两台服务器上，方便外部访问。

有依赖关系的尽量放到同一台服务器（例如：Ds-worker和hive/spark）。

Master	Master	core	core	core	common	common	common
nn	nn	dn	dn	dn	JournalNode	JournalNode	JournalNode
rm	rm	nm	nm	nm
					zk	zk	zk
hive	hive	hive	hive	hive
		kafka	kafka	kafka
spark	spark	spark	spark	spark
datax	datax	datax	datax	datax
Ds-master	Ds-master	Ds-worker	Ds-worker	Ds-worker
mysql	mysql
flume	flume	flume

测试集群服务器规划

服务名称	子服务	服务器 hadoop102	服务器 hadoop103	服务器 hadoop104
HDFS	NameNode	√
	DataNode	√	√	√
	SecondaryNameNode			√
Yarn	NodeManager	√	√	√
Yarn	Resourcemanager		√
Zookeeper	Zookeeper Server	√	√	√
Flume（采集日志）	Flume	√	√
Kafka	Kafka	√	√	√
Flume （消费Kafka日志）	Flume			√
Hive		√	√	√
MySQL	MySQL	√
DataX		√	√	√
Spark		√	√	√
DolphinScheduler	ApiApplicationServer	√
	AlertServer	√
	MasterServer	√
	WorkerServer	√	√	√
	LoggerServer	√	√	√
服务数总计		15	11	11

4、车辆日志字段说明

本次处理的数据全部为车辆日志数据，即车辆在行驶过程中每30秒发送的车辆自身状态的记录。除了日志数据之外，我们还需要处理车辆维度数据，这些数据存储在数据库中。

车辆日志数据对于我们分析和预测车辆性能、维护需求和问题诊断等方面至关重要。而车辆维度数据则提供了有关车辆的其他信息，如生产日期、品牌和型号等，这些信息可以帮助我们更好地理解车辆的性能和特性。在本次数据处理中，我们将同时处理这两类数据。

车辆日志数据

车辆日志数据为Json格式的文本文件。每行为一个完整的Json串，其中字段含义如下：

字段名	字段类型
vin	车辆唯一编码
timestamp	日志采集时间
car_status	车辆状态
charg_status	充电状态
execution_mode	运行模式
velocity	车速
mileage	里程
voltage	总电压
electric_current	总电流
soc	SOC
dc_status	DC-DC状态
gear	挡位
insulation_resistance	绝缘电阻
motor_count	驱动电机个数
motor_list	驱动电机列表
fuel_cell_voltage	燃料电池电压
fuel_cell_current	燃料电池电流
fuel_cell_consume_rate	燃料消耗率
fuel_cell_temperature_probe_count	燃料电池温度探针总数
fuel_cell_temperature	燃料电池温度值
fuel_cell_max_temperature	氢系统中最高温度
fuel_cell_max_temperature_probe_id	氢系统中最高温度探针号
fuel_cell_max_hydrogen_consistency	氢气最高浓度
fuel_cell_max_hydrogen_consistency_probe_id	氢气最高浓度传感器代号
fuel_cell_max_hydrogen_pressure	氢气最高压力
fuel_cell_max_hydrogen_pressure_probe_id	氢气最高压力传感器代号
fuel_cell_dc_status	高压DC-DC状态
engine_status	发动机状态
crankshaft_speed	曲轴转速
fuel_consume_rate	燃料消耗率
max_voltage_battery_pack_id	最高电压电池子系统号
max_voltage_battery_id	最高电压电池单体代号
max_voltage	电池单体电压最高值
min_temperature_subsystem_id	最低电压电池子系统号
min_voltage_battery_id	最低电压电池单体代号
min_voltage	电池单体电压最低值
max_temperature_subsystem_id	最高温度子系统号
max_temperature_probe_id	最高温度探针号
max_temperature	最高温度值
min_voltage_battery_pack_id	最低温度子系统号
min_temperature_probe_id	最低温度探针号
min_temperature	最低温度值
alarm_level	最高报警等级
alarm_sign	通用报警标志
custom_battery_alarm_count	可充电储能装置故障总数N1
custom_battery_alarm_list	可充电储能装置故障代码列表
custom_motor_alarm_count	驱动电机故障总数N2
custom_motor_alarm_list	驱动电机故障代码列表
custom_engine_alarm_count	发动机故障总数N3
custom_engine_alarm_list	发动机故障代码列表
other_alarm_count	其他故障总数N4
other_alarm_list	其他故障代码列表
battery_count	单体电池总数
battery_pack_count	单体电池包总数
battery_voltages	单体电池电压值列表
battery_temperature_probe_count	单体电池温度探针总数
battery_pack_temperature_count	单体电池包总数
battery_temperatures	单体电池温度值列表

其中电机列表为嵌套字段，其含义如下：

字段名	字段说明
id	驱动电机序号
status	驱动电机状态
controller_temperature	驱动电机控制器温度
rev	驱动电机转速
torque	驱动电机转矩
temperature	驱动电机温度
voltage	电机控制器输入电压
electric_current	电机控制器直流母线电流

车辆维度数据

字段名	字段说明
id	车辆唯一编码
type_id	车型ID
type	车型
sale_type	销售车型
trademark	品牌
company	厂商
seating_capacity	准载人数
power_type	车辆动力类型
charge_type	车辆支持充电类型
category	车辆分类
weight_kg	总质量（kg）
warranty	整车质保期（年/万公里）