加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

做发布准备时,又增加了一个优化

(2011-04-13 10:29:38)
标签:

杂谈

    那个优化我还是耿耿于怀,还是做了,这样优化后122886114个key-value,只需31831936字节。如果语料的大小不超过4G还可以再小,但考虑通用性就到处为止了,这样每个key-value对的索引消耗为2.07个bit,比此前2.33bit又降低了11%,如果语料大小保证不超过4G,索引的消耗肯定低于2bit。

    不过这个优化对query稍稍有影响,因为不能保证每个key的位置都对齐,但在大数据量检索上,这个代价可以忽略。

    

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有