Hash 哈希表和算法思路详解

2022-12-25,,,,

概述

哈希表是一种可以满足快速查找数据结构,时间复杂度接近O(1)。
哈希函数是无限集到有限集的映射。
处理数据量大,查找效率要求高时推荐使用hash容器。
问题:
什么情况下考虑使用哈希容器?
常用的哈希思路有哪些?
评判哈希算法标准有哪些?
哈希冲突是如何产生的?如何解决?
如何构造一个hash算法?应注意哪些问题?

评判哈希算法标准

效率高。
映射分布均匀。

基础hash思路

直接寻址法:

取关键字key,使用线性函数 Hash(key) = a * key + b。

数字分析法:

在一个班级里,同龄学生很多。在取学生年龄作为key时,应避免以年份作为key组成部分。

平方取中法:

key取平方,截取中间的几位作为新的key。数学计算的性质乘积中间几位和乘数每一位都有关,充分混合key每一位对生成的哈希值的影响,使映射分布更均匀。

取余法:

Hash(key) = key % m

相乘取整法:

Hash(key) = floor(frac(key * A), m), 0<A<1

floor 取整,frac 取小数
此法避免像除余法中结果对m过于依赖。

随机数法

Hash(key) = rand(key)

据我所知C#的object采用此方法,使用元数据中的几位存hash值。

折叠法:

将关键字按固定长度分成几段然后相加。

如:Hash(1234,m = 2) = 46。
关键字较长时可以考虑使用此方法。

哈希冲突

产生原因

由于哈希函数是无限集到有限集的映射,换而言之,有限集的元素对应n个无限集的元素,哈希碰撞是不可避免的。

解决办法

开放地址法

当关键字key的哈希地址p=H(key)出现冲突时,递归调用p = Hi(p)直到没有冲突。

Hi=(H(key)+di)Hi=(H(key)+di) % m   i=1,2,,3....,ni=1,2,,3....,n

H(key) 为哈希函数
m 为表长
di 为增量序列


根据增量序列di的不同,又分为:

线性探测:di = 1,2,3,......
二次探测: di = ±1^2, ±2^2,.......
随机探测: di = random(di,seed)
random 为 无状态的伪随机发生函数(所谓无状态,即无论多少次调用,random(a) = b不变)
seed 一个确定不变的随机数种子

链式地址法

结构示意

pos1

pos2 -> val -> val

pos3 -> val

pos4

...

无限集映射到有限集,有限集的每个元素对应一个链表,链表存储无限集映射到有限集的n个元素。

再哈希法

Hi=RHi(key)i=1,2,…,k

递归调用哈希函数序列中的函数,直到没有冲突。

建立公共溢出区法

建立溢出链表,如发生哈希碰撞,则使用溢出链表。

哈希冲突解决方法优缺点分析

开放散列:链式地址法(桶链法)

优点:

添加删除方便,避免动态调整开销
桶链表内存动态分配,减少内存浪费
当哈希表size很大时,指针的性能消耗可以忽略
缺点:
动态分配内存,内存不紧凑,随机访问性差,序列化性能差。
对于预先知道所有元素,可以实现没有冲突的完美hash函数,此时效率会远低于封闭散列。

封闭散列:开放地址法,再哈希法 ...

优点:

内存紧凑,随机访问性能好,序列化性能好。
预先知道所有元素e,可以实现完美hash函数,此时效率远高于开放散列。
缺点:
所有条目数量不能超过数组的长度,扩容/收紧频繁,性能消耗大。
碰撞探测消耗性能。
当数组长度很大时,有内存浪费。

哈希算法进阶实例分析

这是取自lua5.4的

-- lua 5.4

unsigned int luaS_hash (const char *str, size_t l, unsigned int seed,
size_t step) {
unsigned int h = seed ^ cast_uint(l);
for (; l >= step; l -= step)
h ^= ((h<<5) + (h>>2) + cast_byte(str[l - 1]));
return h;
} #define lmod(s,size) \
(check_exp((size&(size-1))==0, (cast_int((s) & ((size)-1)))))

(h << 5) + (h >> 2)

= (((h << 5) << 2) + ((h >> 2) << 2) >> 2)

= ((h << 7) + h) >> 2

= (129 * h) >> 2

和伪随机数生成算法一样,要让生成的数尽量随机--二进制数的每一个位取0或1的概率都是50%。

移位,异或运算充分混合每一位的影响,而加法运算引起多个位的反转,使hash值的每一个位更加不可预测,以接近不可逆的单向函数。

(h << 5) + (h >> 2) = (129 * h) >> 2。 乘法可以被拆分为加法和移位的组合(即(h << 7)+h ),以混合哈希值。不过(h << 7 - h) = 127h 会更好些,127是梅森素数(2^n -1)。与线性同余算法(LCG)生成伪随机数一样,梅森素数127,只需一次移位运算和一次加法运算,且不会被分解,随机数分布更加均匀。

非素数会被分解成更小的素数的乘积,参与运算时容易被分解,上例中a和c可以提取公因数d,周期 = n = c/d。

a%b = a&(b-1) 当 b = 2^n 时等式成立,lua哈希表的长度保证符合等式成立的条件,lmod使用位运算代替取余运算,效率更高。

算法实际应用详情请参考我的文章

跳转链接 Lua5.4源码剖析:二. 详解String数据结构及操作算法

进阶哈希算法

下面是一些进阶哈希算法的思路,需要花费一些时间学习。

进阶哈希算法跳转链接

Hash 哈希表和算法思路详解的相关教程结束。

《Hash 哈希表和算法思路详解.doc》

下载本文的Word格式文档,以方便收藏与打印。