哈希算法
前面介绍了哈希表的工作原理和哈希冲突的处理方法。然而无论是开放寻址还是链式地址,它们只能保证可以在发生冲突时正常工作,而无法减少哈希冲突的发生。
如果哈希冲突过于频繁,哈希表的性能则会急剧劣化。如下图所示,对于链式哈希表,理想情况下键值对均匀分布在各个桶中,达到最佳查询效率;最差情况所有键值对都存储到同一个桶中,时间复杂度退化至 O(n) 。
键值对的分布情况由哈希函数决定。在前面的哈希表实现中,哈希函数是直接对键取数组长度的模:
/*哈希函数*/int hashFunc(int key){int index = key % capacity;return index;}
index = hash(key) % capacity
观察以上公式,当哈希表容量capacity
固定时,哈希算法hash()
决定了输出值,进而决定了键值对在哈希表中的分布情况。
为降低哈希冲突发生的概率,我们应当将注意力集中在哈希算法hash()
的设计上 。
哈希算法的目标
为了实现“既快又稳”的哈希表数据结构,哈希算法应该具备以下特点:
- 确定性: 对于相同的输入,哈希算法应始终产生相同的输出。这样才能确保哈希表时可靠的。
- 效率高: 计算哈希值的过程应该足够快。计算开销越小,哈希表的实用性越高。
- 均匀分布: 哈希算法应使得键值对均匀分布在哈希表中。分布越均匀,哈希冲突的概率就越低。
实际上哈希算法除了可以用于实现哈希表,还广泛应用于其他领域中。
- 密码存储:为了保护用户密码的安全,系统通常不会直接存储用户的明文密码,而是存储密码的哈希值。当用户输入密码时,系统会对输入的密码计算哈希值,然后与存储的哈希值进行比较。如果两者匹配,那么密码就被视为正确。
- 数据完整性检查:数据发送方可以计算数据的哈希值并将其一同发送;接收方可以重新计算接收到的数据的哈希值,并与接收到的哈希值进行比较。如果两者匹配,那么数据就被视为完整。
对于密码学的相关应用,为了防止从哈希值推导出原始密码登逆向工程,哈希算法需要具备更高等级的安全特性。
- 单向性:无法通过哈希值反推出关于输入数据的任何信息。
- 抗碰撞性:应当极难找到两个不同的输入,使得它们的哈希值相同。
- 雪崩效应:输入的微小变化应当导致输出的显著且不可预测的变化。
注意:“均匀分布”与“抗碰撞性”是两个独立的概念,满足均匀分布不一定满足抗碰撞性。例如,在随机输入key
下,哈希函数key % 100
可以产生均匀分布的输出,但该哈希算法过于简单,所有后两位相等的key
的输出都相同,因此我们可以很容易地从哈希值反推出可用的key
,从而破解密码。
哈希算法的设计
哈希算法的设计是需要考虑多项因素的复杂问题。然而对于某些要求不高的场景,我们也能设计一些简单的哈希算法。
- 加法哈希:对输入的每个字符的ASCII码进行相加,将得到的总和作为哈希值。
- 乘法哈希:利用乘法的不相关性,每轮乘一个常数,将各字符的ASCII码积累到哈希值中。
- 异或哈希:将输入的每个元素通过异或操作累积到一个哈希值中。
- 旋转哈希:将每个字符的ASCII码累积到一个哈希值中,每次累积之前都会对哈希值进行旋转操作。
/*加法哈希*/
int addHash(string key){long long hash = 0;/*1000000007 是一个质数,使用质数作为模数可以减少哈希冲突的概率*//*避免内存溢出,保证结果在int整数范围内*/const int MODULE = 1000000007;/*使用unsigned char保证字符转换后都为正数,避免了减法的发生*/for (unsigned char ch : key){hash = (hash + (int)ch) % MODULE;}return (int)hash;
}
/*乘法哈希*/
int mulHash(string key){long long hash = 0;const int MODULE = 1000000007;for (unsigned char ch : key){hash = (31 * hash + (int)ch) % MODULE;}return (int)hash;
}
/*异或哈希*/
int xorHash(string key){long long hash = 0;const int MODULE = 1000000007;for (unsigned char ch : key){hash ^= (int)ch;}return (int)hash;
}
/*旋转哈希*/
int rotHash(string key){long long hash = 0;const int MODULE = 1000000007;for (unsigned char ch : key){hash = ((hash << 4)^(hash >> 28) ^ (int)ch) % MODULE;}return (int)hash;
}
观察发现每一种哈希算法的最后一步都是对大质数1000000007取模,以确保哈希值在合适的范围内。
原因:使用大质数作为模数,可以最大化地保证哈希值均匀分布。因为质数不与其他数字存在公约数,可以减少因取模操作而产生的周期性模式,从而避免哈希冲突。
举个例子,假设我们选择合数9作为模数,它可以被3整除,那么所有可以被3整除的key
都会被映射到0、3、6这三个哈希值。
如果输入key
恰好满足这种等差数列的数据分布,那么哈希值就会出现聚堆,从而加重哈希冲突。现在,假设将module
替换为质数13,由于key
和module
之间不存在公约数,因此输出的哈希值的均匀性会明显提升。
说明:如果能保证key是随机均匀分布的,那么选择质数或者合数作为模数都是可以的,它们都能输出均匀分布的哈希值。而当key
的分布存在某种周期性时,对合数取模更容易出现聚集现象。
总而言之,我们通常选取质数作为模数,并且这个质数最好足够大,以尽可能消除周期模式,提升哈希算法的稳健性。