http://blog.sina.com.cn/u/1249533702[订阅]
博文
| 分类：搜索引擎三把刀 |
数学之美系列五 -- 简单之美：布尔代数和搜索引擎的索引
[建立一个搜索引擎大致需要做这样几件事：自动下载尽可能多的网页；建立快速有效的索引；根据相关性对网页进行公平准确的排序。我们在介绍 Google Page Rank (网页排名) 时已经谈到了一些排序的问题，这里我们谈谈索引问题，以后我们还会谈如何度量网页的相关性，和进行网页自动下载。］
世界上不可能有比二进制更简单的计数方法了，也不可能有比布尔运算更简单的运算了。尽管今天每个搜索引擎都宣称自己如何聪明、多么智能化，其实从根本上讲都没有逃出布尔运算的框框。
布尔（George Boole)
| 分类：搜索引擎三把刀 |
spider
只负责抓取页面并直接保存页面及url地址（可多个spider，每个spider有编号）
spider manager 负责管理spider状态，并负责为spider提供任务URL列表
PageAnalyzer manager
负责管理页面分析器状态，提供关键词对应HASH的保存位置查询
PageAnalyzer 页面分析器，负责分析URL和分析关键词
分析出的url传递给相应spider manager的任务队列 分析出的关键词建立索引 找到保存位置存在相关关键词索引中
如果该关键词没建立过索引 则由该PageAnalyzer建立对应索引 并提供关键词HASH给PageAnalyzer manager
向spider manager投递的任务必须保证已经是检测过 最近没爬行的url
IndexAnalyzer 关键词分析器
IndexAnalyzer
IndexWrite 索引建立程序
DateBasePool 数据池，建立数据库内存映射
目前主要考虑到的功能模块,正在研究模块通讯的方式和架构瓶径,希望进一步细化整个搜索引擎的功能.考虑做成个开源项目,希望有兴趣,有时间的朋友与我联系,合作开发.
| 分类：搜索引擎三把刀 |
新浪的BLOG似乎没法上传文件,代码只好放GAMERES了
| 分类：搜索引擎三把刀 |
| 分类：搜索引擎三把刀 |
目前设计spider demo的思路:
1以Queue建立工作队列,保存正在爬行的url地址
2以Hashtable建立全局对象,保存已经爬行过的url地址
3创建工作线程类,进行网页抓取和分析工作,在分析中发现新的url,检测没爬行过后,直接向工作队列投递
4 主线程中直接建立固定多的并行线程,可避免线程的管理工作(如果实际商业化应用,还是采用ThreadPool进行线程管理,才能在减少线程开销的情况下,提高效率)
5 整体工作流程为:
由主线程启动所有并发线程进行爬取
每条线程爬取任务通过接口函数向主线程的Queue取的任务url并移除Queue里的任务url,保持先进先出,每次取第一个元素.
同时在任务过程中爬取到新的url,也向主线程Queue投递,其过程中必须lock
Queue,防止不同线程同时对Queue访问造成错误.
取得任务并完成后向Hashtable写入url,其过程也必须lock
1以Queue建立工作队列,保存正在爬行的url地址
2以Hashtable建立全局对象,保存已经爬行过的url地址
3创建工作线程类,进行网页抓取和分析工作,在分析中发现新的url,检测没爬行过后,直接向工作队列投递
4 主线程中直接建立固定多的并行线程,可避免线程的管理工作(如果实际商业化应用,还是采用ThreadPool进行线程管理,才能在减少线程开销的情况下,提高效率)
5 整体工作流程为:
由主线程启动所有并发线程进行爬取
每条线程爬取任务通过接口函数向主线程的Queue取的任务url并移除Queue里的任务url,保持先进先出,每次取第一个元素.
同时在任务过程中爬取到新的url,也向主线程Queue投递,其过程中必须lock
Queue,防止不同线程同时对Queue访问造成错误.
取得任务并完成后向Hashtable写入url,其过程也必须lock
每次抓区的页面以url的MD5码为文件名进行保存
经过测试
