页面抓取的两种方式： 深度 广度爬行。 多进程爬行。 吸引蜘蛛： 网站页面的质量度，确保网站唯一性（页面原创度，浏览）。 网站更新频率。 多发优质的外链。（通过优质的文章来获取优质的外链；具有高度相关性） 网站的权重或pr值越高，蜘蛛的爬行越频繁。 搜索引擎还容许用户自己提交网站 页面抓取原理： 页面分析（预处理>爬行存储） 页面分析流程：