声明
本文章中所有内容仅供学习交流,抓包内容、敏感网址、数据接口均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关,若有侵权,请联系我立即删除!
列表页分析
根据关键字搜索
通过抓包分析可知
下一页所请求的参数如下
上图标红的代表所需参数
所以其实我们真正需要的也就是SearchSql
但是你多观察即可知 这个SearchSql在第一页访问的时候就传给了
所以也就是
爬取第一页获取第二页的请求参数——爬取第二页获取第三页的请求参数
详情页分析
详情页链接在列表页给你的链接是错误的
真是的链接如下图所示
由此图可知我们需要很多参数才能完成爬取
但是列表页给我们的链接也不是毫无用处
我们用正则提取中间所需要的参数即可完成爬取