CityHash 与 MurmurHash 哈希算法

CityHash 与 MurmurHash 哈希算法

MurMurHash
     MurMurHash由Austin Appleby在2008年发明,与其它流行的哈希函数相比,对于规律性较强的key,MurMurHash的随机分布特征表现更良好,Redis,Memcached,Cassandra,HBase,Lucene中都使用到了这种hash算法。另外,Guava工具包提供了MurMurHash算法实现,Guava中的BloomFilter实现也用到了MurMurHash算法,Redis的java客户端Jedis中也使用到了此算法。MurmurHash是一种经过广泛测试且速度很快的非加密哈希函数。存在多种变体,名字来自两个基本运算,即multiply和rotate(尽管该算法实际上使用shift和xor而不是rotate)。
     MurmurHash3可以产生32位或128位哈希,旧版本MurmurHash2产生32位或64位值,MurmurHash2A变体添加了Merkel-Damgard构造,以便可以逐步调用它。MurmurHash64A针对64位处理器进行了优化,针对32位处理器进行MurmurHash64B优化。MurmurHash2-160生成160位哈希,而MurmurHash1已过时,实现规范的实现是用C++实现的,但是有多种流行语言的有效移植,已被很多开源项目采用。
     具有良好的分布性,适用于机器学习用例,例如特征哈希和随机投影,布隆过滤器中也有应用。MurMurHash3 128 位版本的速度是 MD5 的十倍。MurMurHash3 生成 32 位哈希的用时比生成 128 位哈希的用时要长。原因在于生成 128 位哈希的实现受益于现代处理器的特性。32 位哈希值发生碰撞的可能性就比 128 位的要高得多,当数据量达到十万时,就很有可能发生碰撞。
     
CityHash
    CityHash算法由Google公司于2013年公布,有两种算法:CityHash64 与 CityHash128。它们分别根据字串计算64和128位的散列值。这些算法不适用于加密,但适合用在散列表等处。
    Google一直在根据其数据中心常用的CPU对算法进行优化,结果发现对大多数个人计算机与笔记本同样有效益。尤其是在64位寄存器、指令集级的并行,以及快速非对其内存存取方面。    该算法的开发受到了前人在散列算法方面的巨大启发,尤其是Austin Appleby的MurmurHash。

    CityHash的主要优点是大部分步骤包含了至少两步独立的数学运算,现代CPU通常能从这种代码获得最佳性能。
    CityHash缺点:代码较同类流行算法复杂。Google希望为速度而不是为了简单而优化,因此没有照顾较短输入的特例。
总体而言,CityHash64与CityHash128是解决经典问题的全新算法。在实际应用中,Google预计CityHash64在速度方面至少能提高 30%,并有望提高多达两倍。此外,这些算法的统计特性也很完备。

MurmurHash3 VS CityHash

     CityHash是Google发布的字符串散列算法,和murmurhash一样,属于非加密型hash算法。CityHash算法的开发是受到MurmurHash的启发。优点是大部分步骤包含了至少两步独立的数学运算。缺点是代码较同类流行算法复杂。 Google 希望为速度而不是为了简单而优化,因此没有照顾较短输入的特例 。
     他们使用都比较简单,主流语言基本都有实现,在速度方面 cityhash和murmurhash相比,速度略快。hash值位数方面murmurhash支持32、64、128bit, cityhash支持64、128、256bit。

 

代码参考

  1、https://github.com/google/cityhash

  2、https://github.com/spaolacci/murmur3

  3、https://en.wikipedia.org/wiki/MurmurHash

联系我们

联系电话

4000-640-466

联系邮箱

service@f-li.cn

办公地址

上海黄浦区外滩源1号

谢谢,您的信息已成功发送。
请填写信息。