程序员人生 网站导航

Hash一致性算法详解

栏目:框架设计时间:2016-04-08 09:07:04

1致性哈希算法在1997年由麻省理工学院提出的1种散布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热门(Hot spot)问题,初衷和CARP10分类似。1致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得散布式哈希(DHT)可以在P2P环境中真正得到利用。
1致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的4个定义:
1、平衡性(Balance):平衡性是指哈希的结果能够尽量散布到所有的缓冲中去,这样可使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这1条件。
2、单调性(Monotonicity):单调性是指如果已有1些内容通过哈希分派到了相应的缓冲中,又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映照到原本的或新的缓冲中去,而不会被映照到旧的缓冲集合中的其他缓冲区。
3、分散性(Spread):在散布式环境中,终端有可能看不到所有的缓冲,而是只能看到其中的1部份。当终端希望通过哈希进程将内容映照到缓冲上时,由于不同终端所见的缓冲范围有可能不同,从而致使哈希的结果不1致,终究的结果是相同的内容被不同的终端映照到不同的缓冲区中。这类情况明显是应当避免的,由于它致使相同内容被存储到不同缓冲中去,下降了系统存储的效力。分散性的定义就是上述情况产生的严重程度。好的哈希算法应能够尽可能避免不1致的情况产生,也就是尽可能下降分散性。
4、负载(Load):负载问题实际上是从另外一个角度看待分散性问题。既然不同的终端可能将相同的内容映照到不同的缓冲区中,那末对1个特定的缓冲区而言,也可能被不同的用户映照为不同 的内容。与分散性1样,这类情况也是应当避免的,因此好的哈希算法应能够尽可能下降缓冲的负荷。

在散布式集群中,对机器的添加删除,或机器故障后自动脱离集群这些操作是散布式集群管理最基本的功能。如果采取经常使用的hash(object)%N算法,那末在有机器添加或删除后,很多原本的数据就没法找到了,这样严重的违背了单调性原则。接下来主要讲授1下1致性哈希算法是如何设计的:

环形Hash空间
依照经常使用的hash算法来将对应的key哈希到1个具有2^32次方个桶的空间中,即0~(2^32)⑴的数字空间中。现在我们可以将这些数字头尾相连,想象成1个闭合的环形。以下图

这里写图片描述

把数据通过1定的hash算法处理后映照到环上
现在我们将object1、object2、object3、object44个对象通过特定的Hash函数计算出对应的key值,然后散列到Hash环上。以下图:

Hash(object1) = key1; Hash(object2) = key2; Hash(object3) = key3; Hash(object4) = key4;

这里写图片描述

将机器通过hash算法映照到环上
在采取1致性哈希算法的散布式集群中将新的机器加入,其原理是通过使用与对象存储1样的Hash算法将机器也映照到环中(1般情况下对机器的hash计算是采取机器的IP或机器唯1的别名作为输入值),然后以顺时针的方向计算,将所有对象存储到离自己最近的机器中。
假定现在有NODE1,NODE2,NODE33台机器,通过Hash算法得到对应的KEY值,映照到环中,其示意图以下:

Hash(NODE1) = KEY1; Hash(NODE2) = KEY2; Hash(NODE3) = KEY3;

这里写图片描述

通过上图可以看出对象与机器处于同1哈希空间中,这样按顺时针转动object1存储到了NODE1中,object3存储到了NODE2中,object2、object4存储到了NODE3中。在这样的部署环境中,hash环是不会变更的,因此,通过算出对象的hash值就可以快速的定位到对应的机器中,这样就可以找到对象真实的存储位置了。
机器的删除与添加
普通hash求余算法最为不妥的地方就是在有机器的添加或删除以后会照成大量的对象存储位置失效,这样就大大的不满足单调性了。下面来分析1下1致性哈希算法是如何处理的。
1. 节点(机器)的删除
以上面的散布为例,如果NODE2出现故障被删除,那末依照顺时针迁移的方法,object3将会被迁移到NODE3中,这样仅仅是object3的映照位置产生了变化,其它的对象没有任何的改动。以下图:
这里写图片描述

2. 节点(机器)的添加
如果往集群中添加1个新的节点NODE4,通过对应的哈希算法得到KEY4,并映照到环中,以下图:
这里写图片描述

通过按顺时针迁移的规则,那末object2被迁移到了NODE4中,其它对象还保持这原本的存储位置。通过对节点的添加和删除的分析,1致性哈希算法在保持了单调性的同时,还是数据的迁移到达了最小,这样的算法对散布式集群来讲是非常适合的,避免了大量数据迁移,减小了服务器的的压力。

平衡性
根据上面的图解分析,1致性哈希算法满足了单调性和负载均衡的特性和1般hash算法的分散性,但这还其实不能当作其被广泛利用的缘由,由于还缺少了平衡性。下面将分析1致性哈希算法是如何满足平衡性的。hash算法是不保证平衡的,如上面只部署了NODE1和NODE3的情况(NODE2被删除的图),object1存储到了NODE1中,而object2、object3、object4都存储到了NODE3中,这样就照成了非常不平衡的状态。在1致性哈希算法中,为了尽量的满足平衡性,其引入了虚拟节点。
“虚拟节点”( virtual node )是实际节点(机器)在 hash 空间的复制品( replica ),1实际个节点(机器)对应了若干个“虚拟节点”,这个对应个数同样成为“复制个数”,“虚拟节点”在 hash 空间中以hash值排列。
以上面只部署了NODE1和NODE3的情况(NODE2被删除的图)为例,之前的对象在机器上的散布很不均衡,现在我们以2个副本(复制个数)为例,这样全部hash环中就存在了4个虚拟节点,最后对象映照的关系图以下:

这里写图片描述

根据上图可知对象的映照关系:object1->NODE1⑴,object2->NODE1⑵,object3->NODE3⑵,object4->NODE3⑴。通过虚拟节点的引入,对象的散布就比较均衡了。那末在实际操作中,正真的对象查询是如何工作的呢?对象从hash到虚拟节点到实际节点的转换以下图:
这里写图片描述

“虚拟节点”的hash计算可以采取对应节点的IP地址加数字后缀的方式。例如假定NODE1的IP地址为192.168.1.100。引入“虚拟节点”前,计算 cache A 的 hash 值:

Hash(“192.168.1.100”);

引入“虚拟节点”后,计算“虚拟节”点NODE1⑴和NODE1⑵的hash值:

Hash(“192.168.1.100#1”); // NODE1⑴ Hash(“192.168.1.100#2”); // NODE1⑵

版权声明:本文为博主原创文章,未经博主允许不得转载。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐