0
点赞
收藏
分享

微信扫一扫

Python代码简单几步完成爬虫

进入互联网时代,网络上充斥着各种各样的信息,鱼龙混杂,要是人工分辨工作效率又非常低,那么如何才能实现快速检索我们需要的信息呢 ?例如如何通过爬虫实现美图批量下载,如何通过多线程实现快速爬虫 ?下面我们一起来了解下吧。

之前我只是利用单线程爬取的项目,那种太多单一,而且工作效率太慢,只得考虑多线程。

知识点:认识和了解爬虫、爬虫思路、urllib.parse、jsonpath库

环境:windows、pycharm、python3

第三方库:

requests、jsonpath

导入模块

import urllib.parse
import json
import requests
import jsonpath

确定目标网址

url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}'

分析网站,确定爬取目标

label = '美女'
label = urllib.parse.quote(label)

发送请求,提取数据

num = 0
for index in range(0,2400,24):
u = url.format(label,index)
we_data = requests.get(u).text

类型转换

html = json.loads(we_data)
photo = jsonpath.jsonpath(html,"$..path")

保存数据

for i in photo:
a = requests.get(i)
with open(r'C:\Users\Administrator\Desktop\tupian\{}.jpg'.format(num),'wb') as f:
f.write(a.content) # 二进制
num += 1

运行代码,效果如下图:

Python代码简单几步完成爬虫_工作效率

举报

相关推荐

0 条评论