孤云的BLOG

转自：http://news.csdn.net/a/20120120/311036.html

2011年互联网领域发生了那些重大变化？全世界范围内有多少电子邮箱账户？有多少网站？最贵的域名值多少钱？有多少照片在Facebook上发布？在Youtube播放的视频有多少……

以下是2011年互联网领域一些重要数据的大杂烩大汇总，有的十分有意思：

转自：http://www.cnblogs.com/shapherd/archive/2011/03/16/crawler_cmp.html

爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表：

      还有其他的一些比如Ubicrawler、FAST Crawler、天网蜘蛛等等没有添加进来。

     之后主要研究下larbin爬虫，如果有可能会给它添加一个删除功能，因为其排重部分用的是bloom filter算法，这个算法的有点很明显，对大规模数据的处理很快，性能很好，而且内存占用很小，但是什么事都没有尽善尽美的，该算法的直接缺点就是不能删除，还会出现误判情况。关于bl

就搜索功能来说，在Google里面随便输入一个tag，然后点“打开百宝箱”，你会发现有很多筛选与显示的华丽选项，特别是，如果你选“最新结果”，搜索页面会在不用刷新页面的情况下自动加入新结果，几乎与twitter同步 
 

http://www.cnblogs.com/mitnickzhou/archive/2011/11/06/2238084.html

虽然简单，但是讲究还不少

1.http://blog.csdn.net/sparkliang/article/details/5279393

2.http://www.cnblogs.com/leoo2sk/archive/2011/08/11/consistent-hashing-intro.html

不是很复杂