大数据学习从 Python 基础起步，历经多技术栈、项目实战，掌握数据处理能力

Python基础编程

• 主要内容：涵盖Python基础语法、数据处理、函数、文件读写、异常处理、模块和包等方面。
• 核心能力：掌握Python开发环境配置，运算符、表达式等基础使用，字符串操作，初步建立面向对象编程思维，熟悉异常捕获及类和对象的基本使用。

Python编程进阶

• 主要内容：包含面向对象、网络编程、多任务编程、高级语法以及Python编程综合项目。
• 核心能力：掌握网络编程实现通讯，了解通讯协议原理，掌握多任务编程实现方式及多进程多线程原理。

SQL基础

• 主要内容：涉及MySQL与SQL、Kettle与BI工具、Pymysql。
• 核心能力：掌握MySQL数据库使用、SQL语法、Kettle数据迁移工具使用，熟练运用BI可视化工具，对数据开发有认知并具备BI工程师基本技能。

ETL实战

• 主要内容：包含ETL概念与工具、Python ETL实战、BI。
• 核心能力：掌握ETL相关概念，能用Python完成ETL任务开发实战，锻炼Python编程能力，掌握BI数据分析实战。

Hadoop技术栈

• 主要内容：涵盖Linux、大数据基础和硬件介绍、Zookeeper、HDFS、MapReduce、YARN、Hive基础、Hive高阶。
• 核心能力：掌握Linux常用命令，理解并运用Hadoop生态体系相关机制，具备Hadoop开发、离线数据仓库开发能力，能搭建Hadoop高可用集群及进行Hive调优。

千亿级离线数仓项目

• 主要内容：涉及大数据部署运维、分析决策需求、数据采集、数据分析等多方面内容。
• 核心能力：掌握零售行业离线数仓分层与建模及完整项目流程，了解海量数据场景下的优化配置，掌握拉链表应用及数据抽取分析等，提供相关数据存储分析与服务监控方案。

千亿级离线数仓项目实战

• 主要内容：与千亿级离线数仓项目类似，在数据分析等环节有部分不同工具运用。
• 核心能力：掌握教育行业离线数仓分层与建模及完整项目流程，涉及真实业务逻辑多主题指标，提升教育行业核心竞争力，掌握Hive函数应用及相关部署配置功能。

Spark技术栈

• 主要内容：包含Pandas基础、数据处理实战、Spark基础、Spark Core、Spark SQL及案例。
• 核心能力：掌握Spark设计思想、SparkSQL结构化数据处理及实时数据处理，具备Spark全栈开发能力。

PB级内存计算项目

• 主要内容：涵盖项目核心架构、Hive数仓建模、数据同步开发、任务调度、函数运用等多方面内容。
• 核心能力：快速搭建保险行业大数据平台，基于Hive+Spark SQL搭建离线数据仓库，应对复杂迭代计算，完成保险行业大数据项目开发及相关数据处理与展示。

NoSQL&消息中心

• 主要内容：涉及万亿级NoSQL海量数据存储、多种实时数据采集及处理平台等内容。
• 核心能力：掌握Redis、HBase等多种NoSQL相关原理、架构、命令操作及优化查询等，掌握ELK、Kafka等开发相关内容。

用户画像解决方案

• 主要内容：包含SparkSQL整合ES自定义数据源、DS任务界面化调度、用户画像标签构建相关内容。
• 核心能力：掌握上述提到的用户画像相关构建及调度整合能力。

Flink技术栈

• 主要内容：涵盖Flink Core、DataStream、SQL、Runtime、高级内容及电商案例实战。
• 核心能力：掌握基于Flink的实时和离线数据处理、多流并行处理以及高速实时采集技术。

亚秒级实时计算项目

• 主要内容：包含Hive、HBase等多种数据存储、传输、处理工具及负载均衡高可用相关内容。
• 核心能力：掌握基于Flink全栈的OLAP分析、实时高性能数据分析存储、HBase调优以及数据报表分析和实时大屏场景实现。