0
点赞
收藏
分享

微信扫一扫

Python爬虫学习笔记_DAY_14_Python爬虫之urllib库的使用(下)【Python爬虫】

zhoulujun 2022-01-30 阅读 139

p.s.高产量博主,点个关注💓不迷路!

目录

I.POST请求的处理

II.GET请求与POST请求处理的区别


I.POST请求的处理

urllib库基础部分的下篇主要介绍对POST请求的处理,下面是urllib库处理POST请求的示例代码:

# post请求:百度翻译
import urllib.request
url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}

data = {
    'kw':'spider'
}


import urllib.parse

# post请求的参数 必须 进行编码
data = urllib.parse.urlencode(data).encode('utf-8')

# post请求的参数是不会拼接在url 的后面的,而是需要放置在请求对象定制的地方
request = urllib.request.Request(url = url,data = data,headers = headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 获取响应的数据
content = response.read().decode('utf-8')

import json
# 字符串 - - - > json 对象
obj = json.loads(content)
print(obj)

通过上面的示例代码,我们联系之前的GET请求的处理,可以考虑一下二者处理上的区别。示例代码最后部分转换json对象的原因是获取的数据格式是json字符串,我们通过转为json对象能够具体的对获取的数据进行进一步的分析


II.GET请求与POST请求处理的区别

下面总结一下urllib处理GET请求与POST请求的区别:

1️⃣ post请求的参数必须编码+转码,也即编码之后,必须调用encode方法:

data = urllib.parse.urlencode(data).encode('utf-8')

get请求的参数只需要进行编码即可,也即:

data = urllib.parse.urlencode(data)

2️⃣ post请求的参数放在请求对象的定制过程中,而不是拼接字符串

request = urllib.request.Request(url = url,data = data,headers = headers)
response = urllib.request.urlopen(request)

但get请求的参数使用字符串拼接在url上:

url = base_url + uni_data
request = urllib.request.Request(url = url,headers = headers)
response = urllib.request.urlopen(request)

下一篇笔记会进行urllib库的爬虫实战,感谢观看本篇!🌟🌟🌟

举报

相关推荐

0 条评论