文章目录

• • @[toc]
  • • 海量数据分流技术
    • • 传统Hash
      • 一致性Hash（Consistent Hashing）
    • MapReduce执行流程
    • • InputFormat
      • Shuffle
      • • Partitioner
        • Spill
        • Combiner
    • MapReduce两个重要的进程
    • • JobTracker
      • TaskTracker
    • MapReduce物理配置
    • • 查看系统资源限制
      • 设置合适的slot
    • Hadoop Streaming
    • • Streaming选项

个人主页：丷从心·

系列专栏：大数据

---

海量数据分流技术

传统Hash

• Hash(key) % max

一致性Hash（Consistent Hashing）

• 将哈希值映射到一个哈希环上
• 每个节点通过哈希函数映射到这个环上一个或多个点
• 数据项也通过哈希函数映射到环上的某个点，然后按照顺时针方向查找到第一个节点，这个节点就是该数据项存储的地方

---

MapReduce执行流程

InputFormat

• $MapReduce$框架基础类之一，进行$DataSplit$数据分割和$RecordRead$记录读取
• $Block$是底层的文件块，$Map$无法直接读取，需要将$Block$转换为内部可以识别的$Record$
• '\n'保证每条记录在数据切割时不被切散，实际上每个$Split$包含后一个$Block$中开头部分的数据，解决$Record$跨$Block$问题
• $RecordReader$每读取一条$Record$，就调用一次$Map$函数

Shuffle

• $Map$任务的输出到$Reduce$任务的输入之间的过程

Partitioner

• 决定数据由哪个$Reduce$处理，从而分区
• $Partition$在一个环形内存缓冲区中进行，每个缓冲区大小默认$100M$，溢写阈值为$100M\times 80\%=80M$，缓冲区中的数据为$(partition,key,value)$三元组

Spill

• 在内存缓冲区达到阈值时，$Spill$溢写线程会锁住$80M$的缓冲区，开始将数据写到本地磁盘上，然后释放内存
• 每次溢写都生成一个数据文件
• 数据溢写前会对$key$进行快速排序以及$Combine$

Combiner

• 将相同的$key$的数据的$value$进行合并
• 减少数据量，提高数据传输效率

MapReduce两个重要的进程

JobTracker

• 主进程，负责接收$Client$作业提交，调度任务到从节点上运行
• 监控工作节点状态及任务进度
• 利用一个线程池来同时处理心跳和用户请求

TaskTracker

• 由$JobTracker$指派任务，实例化用户程序，在本地执行任务
• 通过周期性的心跳来通知$JobTracker$其当前的健康状态，每$3$秒心跳一次，每一次心跳包含了可用的$Map$和$Reduce$任务数目、占用的数目以及运行中的任务详细信息

---

MapReduce物理配置

查看系统资源限制

ulimit -a

设置合适的slot

• mapred.tasktracker.map.tasks.maximum默认值为$2$
• mapred.tasktracker.reduce.tasks.maximum默认值为$2$

---

Hadoop Streaming

• $Map$和$Reduce$只需要从$stdin$读和写到$stdout$
• $Streaming$默认只能处理文本数据，如果对二进制数据进行处理，比较好的方法是将二进制的$key$和$value$进行$base64$的编码转换，得到文本

Streaming选项

• -cacheFile选项指定一个文件，需要上传到$HDFS$
• -cacheArchive选项指定一个目录结构，需要上传到$HDFS$
• -file选项将本地文件分发到计算节点上
• -jobconf选项
• • mapred.job.priority表示作业优先级
• • mapred.job.map.capacity表示最多同时运行的$Map$任务数
• • mapred.job.reduce.capacity表示最多同时运行的$Reduce$任务数
• • mapred.task.timeout表示任务未响应的最大时间

---