0
点赞
收藏
分享

微信扫一扫

# yyds干货盘点 # 盘点一个使用playwright实现网络爬虫的实战案例

大家好,我是皮皮。

一、前言

前几天在Python白银交流群【空翼】问了一个​​Pyhton​​网络爬虫的问题,这里拿出来给大家分享下。

# yyds干货盘点 # 盘点一个使用playwright实现网络爬虫的实战案例_json

二、实现过程

【喜靓仔】提出用​​playwright​​实现,后来他自己给出了代码,如下图所示:

# yyds干货盘点 # 盘点一个使用playwright实现网络爬虫的实战案例_Python_02

代码如下:

from playwright.sync_api import sync_playwright
def on_response(response):
if '/app/baseinfo' in response.url and response.status == 200:
print(response.json())
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page()
page.on('response', on_response)
page.goto('https://www.qimai.cn/app/baseinfo/appid/361285480/country/cn')
page.wait_for_load_state('networkidle')
browser.close()

代码运行之后,有个问题,会报错。后来发现是地址片段写的有问题。

# yyds干货盘点 # 盘点一个使用playwright实现网络爬虫的实战案例_网络爬虫_03

顺利地解决了问题。

# yyds干货盘点 # 盘点一个使用playwright实现网络爬虫的实战案例_代码实现_04

​playwright​​功能还是很强大的,可以自己生成代码。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个​​Pyhton​​网络爬虫的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【空翼】提问,感谢【喜靓仔】给出的思路和代码解析,感谢【Python狗】等人参与学习交流。

举报

相关推荐

0 条评论