加好友 发纸条
写留言 加关注
那个优化我还是耿耿于怀,还是做了,这样优化后122886114个key-value,只需31831936字节。如果语料的大小不超过4G还可以再小,但考虑通用性就到处为止了,这样每个key-value对的索引消耗为2.07个bit,比此前2.33bit又降低了11%,如果语料大小保证不超过4G,索引的消耗肯定低于2bit。
不过这个优化对query稍稍有影响,因为不能保证每个key的位置都对齐,但在大数据量检索上,这个代价可以忽略。
喜欢
0
赠金笔