welcome to my blog
今天在写小米有品爬虫, 对某个商品进行抓包分析时发现post请求发送的不是form data, 而是 request payload, 所以请求页面时失败了
post请求中的form data
post请求中的request payload
错误的做法
错误的做法: 使用requests.post(url=url, data=data, headers=headers, verify=False)发送post请求, 因为data是个字典, 而request payload接收json, 所以只需要将dict转换成json即可
正确的做法
正确的做法requests.post(url=url, data=json.dumps(data), headers=headers, verify=False)
form data和request payload的区别
- 如果请求的Content-Type设置为application/x-www-form-urlencoded，那么这个Post请求会被认为是Http Post表单请求，那么请求主体将以一个标准的键值对和&的querystring形式出现。这种方式是HTML表单的默认设置，所以在过去这种方式更加常见
- 其他形式的POST请求，是放到 Request payload 中（现在是为了方便阅读，使用了Json这样的数据格式），请求的Content-Type设置为application/json;charset=UTF-8或者不指定。
详情可参考python爬虫如何POST request payload形式的请求
