urllib.requests:是urllib库中的请求模块,用于发起网络请求,操作cookie,添加hearders,使用代理,默认发送GET请求,传入data参数时发起POST请求,可以设置请求超时时间.
基础操作:
response=requests.urlopen(url=url,data=data,timeout=time):使用GET(POST)请求指定URL所获取的数据.
response.read():获取响应返回的数据,只能读取一次.
response.readline():读取response中的一行.
response.info():获取响应头信息.
response.geturl():获取response访问的URL.
response.getcode():获取返回状态码.
请求头添加示例:(data添加也是一样的操作)
设置请求头:headers={'User-Agent':'....................'}
设置请求头:req=requests.Requests(url="www.4399.com",headers=headers)
发送请求:response=requests.urlopen(req)
操作cookie示例:from http import cookiejar
创建一个cookie对象:cookie=cookiejar.Cookiejar()
创建一个cookie处理器:cookies=requests.HTTPCookieProcessor(cookie)
创建一个openner对象:opener=requests.build_opener(cookies)
发送请求:res=opener.open("www.4399.com")
输出结果:print(cookie.cookiejar)
设置代理示例:from urllib import requests
url='www.4399.com'
填写代理地址:proxy={'http':"............."}
代理处理器:proxies=requests.ProxyHandler(proxy)
创建opener对象:opener=requests.build_opener(proxies)
发送请求:res=opener.open(url)
