加载中…PHP Snoopy网页抓取工具
(2011-11-18 20:54:43)
标签：
phpsnoopy网页抓取类工具it |
分类： 程序相关 |
snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。
下面是它的一些特征：
1、方便抓取网页的内容
2、方便抓取网页的文字（去掉HTML代码）
3、方便抓取网页的链接
4、支持代理主机
5、支持基本的用户/密码认证模式
6、支持自定义用户agent,referer,cookies和header内容
7、支持浏览器转向，并能控制转向深度
8、能把网页中的链接扩展成高质量的url（默认）
9、方便提交数据并且获取返回值
10、支持跟踪HTML框架（v0.92增加）
11、支持再转向的时候传递cookies
下面是简单的例子，比如说我们抓取我的blog的文字
include
$snoopy= new
$snoopy->fetchtext("http://www.phpobject.net/blog");
echo
$snoopy
$snoopy->fetchtext("http://www.phpobject.net/blog");
echo
^_^，不错把，在比如抓取链接
include
$snoopy= new
$snoopy->fetchlinks("http://www.phpobject.net/blog");
print_r($snoopy->results);
$snoopy
$snoopy->fetchlinks("http://www.phpobject.net/blog");
print_r($snoopy->results);
使用snoopy提交数据实现登陆
模拟登陆可以用curl或者socket来实现，当curl需要服务器相应的启用curl module，自己socket实现相对比较麻烦，使用snoopy就简单了很多啦。
在这里，我们使用喜悦国际村做为例子。（^_^，纯属研究）
首先，我们要获取到登陆需要发送什么字段，目标地址是什么。这里我们使用snoopy的fetchform来实现。
include
$snoopy= new
$snoopy->fetchform("http://www.phpx.com/happy/logging.php?action=login");
print
$snoopy
$snoopy->fetchform("http://www.phpx.com/happy/logging.php?action=login");
当然你也可以直接查看http://www.phpx.com/happy/…的源代码来实现，不过这样更加方便把。这里，我们获取到目标和提交的数据，下一步就可以实现模拟登陆了。
代码如下：
include
$snoopy= new
$submit_url= "http://www.phpx.com/happy/logging.php?action=login";
= "normal";
$submit_vars["styleid"]= "1";
$submit_vars["cookietime"]= "315360000";
$submit_vars["loginfield"]= "username";
$submit_vars["username"]= "********";
$submit_vars["password"]= "*******";
$submit_vars["questionid"]= "0";
$submit_vars["answer"]= "";
$submit_vars["loginsubmit"]= "提
交 ";
$snoopy->submit($submit_url,$submit_vars);
print
$snoopy
$submit_url
$submit_vars["styleid"]
$submit_vars["cookietime"]
$submit_vars["loginfield"]
$submit_vars["username"]
$submit_vars["password"]
$submit_vars["questionid"]
$submit_vars["answer"]
$submit_vars["loginsubmit"]
$snoopy->submit($submit_url,$submit_vars);
喜欢
0
赠金笔
前一篇：mysql 表合并 数据导入