何为一致性哈希？一致性哈希和哈希有什么区别？一文深入理解一致性哈希-编程知识

一、前言

在学到分布式负载均衡时，负载均衡的方式有很多种，其中一致性哈希与哈希的区别？开一篇文章记录一下一致性哈希的原理。

二、哈希

对于哈希，日常开发中在很多场景都会用到，比如：

md5 之类的哈希函数
分库、分表时，使用某个字段的 hash 值对固定数值取模，来确定对应库表
一个大量数据的集合，根据某个字段作为拆分键，对数据进行打散处理
PHP的 HashTable、Go的 map、Python 的 dict 等数据结构实现
Redis 分片时使用 crc16 对key进行哈希，然后对 16384 取模来确定分片
等等 …
除上面场景，还有很多地方会用到 hash，而他们都是哈希的一种实现方式。

哈希与一致性哈希

在这里插入图片描述

2.1、哈希碰撞

无限个原始数据在经过Hash函数运算之后，得到的哈希结果会有一定的概率相同。那么，这些不同的原始数据得到相同哈希值的情况，就是哈希碰撞。

例如下图所示：c、d在经过某个哈希函数计算之后得到相同的哈希值10，那么c、d 就发生了哈希碰撞。

在这里插入图片描述

需要了解的：

哈希碰撞无法避免 (因为哈希结果值域是有限的，原始数据是无限的)

哈希值域越大，碰撞概率一般越低

好的哈希函数除了运算速度外，还需要尽量小的哈希碰撞概率

2.2、针对哈希碰撞的两种方案

在出现哈希碰撞情况下常用的方案有：

开放地址法
拉链法

开放地址法一般不常使用，读者可以自行查阅相关资料。

拉链法则在很多场景、甚至开源系统都会用到。

例如：PHP的 HashTable(PHP5使用双向链表、PHP7使用数组)、以及Go的map底层实现。

在这里插入图片描述
如图所示，c、d的哈希结果都为10，在存储的时候使用尾插法来把他们串在一起(就像拉了一条锁链一样)。

其中，bucket 为在某一时刻大小固定的数组，下标为哈希值对固定数值取模之后得到。bucket 的大小一般会在某种临界状态下进行自动的扩容、缩容。

查找的时候，根据计算的哈希值先定位到bucket对应位置，然后再遍历链表查找对应数据。

注意：

原始数据经过Hash计算一般会得到比较大的哈希值，此时需用哈希值对bucket大小取模来确定数据存储位置

理想情况下，不会有哈希碰撞，数值落在bucket的不同位置，查找时间复杂度为 O(1)

糟糕情况下，数据全部哈希碰撞，数值都落在bucket同一个位置，查找时间复杂度为 O(n)

2.3、为什么用哈希

例如一个项目，每天数据量2亿多条，这些数据需要落盘。建表的话，如果存在一张表里面，那将会是一个灾难。如果建10张表，使用用户uid对10取模来确定当前数据落在哪一张表里面。

在这里插入图片描述
其中，uid%10 相当于hash算法，这样的话就把2亿多条的数量分拆在不同的表里面，减少了单表数据量，好处的话：可以提升查询速度、数据在同步时效率提升等等。

在这种情况之下，使用哈希对大量数据进行拆分再合适不过了。

2.4、普通哈希的缺点

优点说了一堆，那么接下来说一下不好的地方。

假设有这样一种场景：原来使用了10张表存储数据，完全没有问题。突然有一天，业务要求现在使用20张表或者5张表存储数据，那该怎么办?

由于表的个数发生变化，此时的hash函数 uid%10 就应该变为 uid%20 或者 uid%5。

此时老的数据就需要进行处理，怎么办?rehash!

对全量数据进行rehash，使用新的hash函数重新计算所有数据，再把这些数据存储在新的表中。

实际开发中出现 rehash 的场景会非常多，所以就需要提前做一些预案。

如果数据量非常大的话，一般有两种方案：

停服维护，在维护期间进行数据 rehash 迁移
异步迁移，写数据的时候，使用新的哈希函数确认落在哪一张表里面。查询的时候，如果发现数据没有迁移完成，则需要同时使用多个hash函数，从多张表中读取数据(假设还牵扯分页，则会更加麻烦)。在提供服务的同时，对老数据进行rehash迁移。
方案1需要停服，这就要看产品、公司业务是否允许。允许的情况之下，是最优方案。

方案2不停服进行迁移，相当于边开飞机边换轮胎。风险高、逻辑处理复杂。

还有就是，对于数据量大的情况之下，rehash可能会是个漫长的过程

那么，有没有其他好的解决办法呢?

办法是有，解决问题的角度从迁移全量数据变成了迁移部分数据。它就是：一致性哈希。