0
点赞
收藏
分享

微信扫一扫

Python 协程并发下载斗鱼美女图片

炽凤亮尧 2022-07-27 阅读 56


仅用学习参考,转载请注明出处

爬虫技术第一步

作为爬虫技术第一步,就是可以使用爬取下载图片作为示例。
那么爬取图片,我们肯定去爬取美女图片作为第一步操作示例呀。
那么下面一个最重要的工作。
什么是最重要的工作?





Python 协程并发下载斗鱼美女图片_python


当然是去寻找美女图片呀


去斗鱼找美女图片

来点击​​这里​​访问颜值直播间:

这里跳过爬取页面,使用正则获取图片的url地址的步骤,直接找几张图片的url地址进行并发下载测试。

打开chrome浏览器的F12淡定点击图片,就可以看到里面的图片url地址啦。

复制一个​​图片地址​​,使用浏览器打开看看。

好啦,多操作几个图片的url地址,我准备如下:

  • ​​https://rpic.douyucdn.cn/live-cover/appCovers/2018/12/04/1853869_20181204200344_small.jpg​​
  • ​​https://rpic.douyucdn.cn/live-cover/appCovers/2018/11/03/3933251_20181103191841_small.jpg​​
  • ​​https://rpic.douyucdn.cn/live-cover/roomCover/2018/11/06/572d6afd241adb4740ce0dfba086f09e_big.jpg​​
  • ​​https://rpic.douyucdn.cn/live-cover/appCovers/2018/11/19/3318573_20181119225716_small.jpg​​
  • ​​https://rpic.douyucdn.cn/live-cover/appCovers/2018/12/01/4566947_20181201145747_small.jpg​​
  • ​​https://rpic.douyucdn.cn/live-cover/appCovers/2018/12/11/2348814_20181211031627_small.jpg​​ 好了,准备了那么多张图片的url地址啦。



  • Python 协程并发下载斗鱼美女图片_java_02


  • 不要心急打开


使用urllib库下载第一张图片

首先在ipython3测试一下urllib库:

In [1]: import urllib.request   

In [3]: req = urllib.request.urlopen("https://www.baidu.com")

In [4]:

In [4]: req.read()
Out[4]: b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

In [5]:

从上面已经可以看出爬取了浏览器打开百度的页面内容了。

下面就来写个下载图片的示例:

[root@server01 download_image]# cat download_image.py 
#coding=utf-8
import urllib.request

# 根据url地址打开图片内容
req = urllib.request.urlopen("https://rpic.douyucdn.cn/live-cover/appCovers/2018/12/11/2348814_20181211031627_small.jpg")

img_content = req.read() # 将图片内容进行读取

with open("meinv.jpg","wb") as f:
f.write(img_content)

执行下载如下:

[root@server01 download_image]# ls
download_image.py
[root@server01 download_image]#
[root@server01 download_image]# python3 download_image.py
[root@server01 download_image]#
[root@server01 download_image]# ls
download_image.py meinv.jpg
[root@server01 download_image]#

此时可以看到多了一个​​meinv.jpg​​文件,放到桌面来查看一下。

好了,下载第一张图片的示例已经有了,那么下面大家应该都懂了。

那么是将其写成方法,然后同时并发执行下载。

使用gevent并发下载美女图片

[root@server01 download_image]# cat test.py 
#coding=utf-8
import urllib.request
import gevent
from gevent import monkey
import time

monkey.patch_all() # 将程序中用到的耗时操作代码,换为gevent中自己实现的模块

def download_image(image_name,image_url):
# 根据url地址打开图片内容
req = urllib.request.urlopen(image_url)

img_content = req.read() # 将图片内容进行读取

with open(image_name,"wb") as f:
f.write(img_content)

time.sleep(0.5)
print("download %s",image_name)

def main():

gevent.joinall([
gevent.spawn(download_image,"1.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2018/12/11/2348814_20181211031627_small.jpg"),
gevent.spawn(download_image,"2.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2018/11/03/3933251_20181103191841_small.jpg"),
gevent.spawn(download_image,"3.jpg","https://rpic.douyucdn.cn/live-cover/roomCover/2018/11/06/572d6afd241adb4740ce0dfba086f09e_big.jpg"),
gevent.spawn(download_image,"4.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2018/11/19/3318573_20181119225716_small.jpg"),
gevent.spawn(download_image,"5.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2018/12/01/4566947_20181201145747_small.jpg"),
gevent.spawn(download_image,"6.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2018/12/11/2348814_20181211031627_small.jpg"),
])


if __name__ == "__main__":
main()
[root@server01 download_image]#

执行如下:

[root@server01 download_image]# python3 test.py 
download %s 4.jpg
download %s 6.jpg
download %s 2.jpg
download %s 1.jpg
download %s 5.jpg
download %s 3.jpg
[root@server01 download_image]# ls
1.jpg 2.jpg 3.jpg 4.jpg 5.jpg 6.jpg test.py

好了,这样就下载完图片了,放到桌面淡定看看。


淡定成功。




Python 协程并发下载斗鱼美女图片_python_03


关注微信公众号,回复【资料】、Python、PHP、JAVA、web,则可获得Python、PHP、JAVA、前端等视频资料。

举报

相关推荐

0 条评论