0
点赞
收藏
分享

微信扫一扫

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)

李雨喵 2023-01-06 阅读 54

准备工作

  • 启动fiddler

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_ico

本机ip 192.168.1.122

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_02

  • 夜神模拟器设置

桥接

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_03

wifi设置

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_04

刚才windows系统查询出来的ip

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_05

  • app安装(XX美食)

找个比较容易抓取的开始上手吧,在夜神模拟器市场中搜:豆果,下载图片中的app

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_06

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_07

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_08

抓取目标

点击图片中的分类

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_09

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_10

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_11

  • 分析app的数据

正常的app,请求的连接都是域名的方式,并且跟自己的app的名称相关。
例如:豆果美食,app的请求连接也都是有dougou。

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_12

进入fiddler里面,ctrl+f,输入dougou

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_13

找到一个请求,发现返回是Unicode编码,需要进行一些解码

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_14

复制返回结果Unicode编码到json.cn查看

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_15

分类发现跟app一致,任何app想进行动态的开发,都是通过请求获取的。

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_16

查看详情

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_数据_17

下拉类别下牛肉的发现一个规律,原来每页15条,哈哈url里面有规律

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)_docker_18

PS:本次通过fiddler监控和发现app请求的规则。下次开始写python脚本进行爬取数据。

举报

相关推荐

0 条评论