好下载软件园：打造绿色软件,免费软件下载,手机游戏下载,安卓游戏,手机软件下载基地！

最近更新网站地图

资讯首页软件教程手游攻略安卓教程苹果教程游戏攻略智能科技娱乐热点排行榜

首页 > 软件教程 > 使用教程 > 实战：火车头采集post分页数据方法详解

实战：火车头采集post分页数据方法详解

作者：佚名来源：好下载软件园更新：2017-08-11 阅读：次

用手机看

今天96KaiFa源码开始做仿VR界（购买链接：www.haoxiazai.com/code/49.html）这个网站，采集VR界内容的时候看到VR界列表页加载采用的是ajax方式加载的，直接上去采集。最后发现采用的是post的方法获取到的内容，96KaiFa做过很多ajax列表网站的采集规则，但是分页大部分都是get方式获取内容的，可以直接修改分页参数就行。这次VR界采用post方式加载，对于没有写过post方式加载内容的我来说，确实有些难度。碰到问题先百度搜了下，了解了大概思路。下面直接写我采集VR界的时候的操作方法吧。

因为是ajax的方式加载，先要抓包到加载的post的内容。要抓包的网址是：http://www.vrjie.com/infocenter/

抓包到如下内容：

------------------------------------------------------------------------------------------------

POST /e/action/getajax.php HTTP/1.1

Host: www.vrjie.com

Proxy-Connection: keep-alive

Content-Length: 92

Accept: text/html, */*; q=0.01

Origin: http://www.vrjie.com

X-Requested-With: XMLHttpRequest

User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36

Content-Type: application/x-www-form-urlencoded; charset=UTF-8

Referer: http://www.vrjie.com/infocenter/

Accept-Encoding: gzip, deflate

Accept-Language: zh-CN,zh;q=0.8,en;q=0.6

Cookie: bdshare_firstime=1489560531369; uohdocheckregkey=1489560941%2Cfd1282aa2e74cb9b1c7e73a86c2c25a3%2C8fe253f1034239f52b5f9a8f2f7e64d7

next=1&table=news&action=getmorenews&limit=8&small_length=130&classid=20%2C21%2C22%2C23%2C57

------------------------------------------------------------------------------------------------

下面我们看一下火车头post的采集列表规则怎么写，如下截图

从上图可以看出，填网址的时候组合下就行了，Host + POST就行了。

注意：如果POST的php后有参数，则只保留php文件部分。

上图是采集列表的规则要填的，首先就是网站编码，VR界是utf-8的编码，我就手动选择UTF-8编码即可，发送的数据里填写post发送的数据，就是下面这段：

next=1&table=news&action=getmorenews&limit=8&small_length=130&classid=20%2C21%2C22%2C23%2C57

我加载了几遍，next后面的参数就是页码，所以post发送的数据直接把1的位置替换成[分页]，分页里从0到3的意思，就是获取0-3也的文章列表。

上面就是具体方法，测试后获取到如下图的文章链接：

从上图可以看出，已经成功获取到列表页每页的文章链接。如果还有不懂的可以加QQ：21617372。



图文推荐

熊猫tv大手笔签约EXID

韩三大胸器主播齐聚大陆

全民TV卡卡水胸部夹笔真会玩

七城女神争夺十大校花

2017电竞网游大作盘点

斗鱼tv日本美女主播

Uzi爆炸输出带队晋级八强



相关文章



热点推荐



网友跟帖吐槽

分类列表

业界资讯操作系统办公应用使用教程美图制作网络安全硬件相关编程开发

推荐应用换一换

本类推荐
本类排行

热门软件
热门标签

返回顶部