0
点赞
收藏
分享

微信扫一扫

Python Scrapy爬虫中文乱码问题“鎴愬姛”

灵魂跑者 2022-02-25 阅读 56

在爬取某个网站时,爬取第一个页面能正常获取,爬取第二个页面,获取文章内容时,返回的数据为中文乱码,乱码如下:

{"rptCode":200,"msg":"鎴愬姛","data":{"docId":989402,"docTitle":"閾惰淇濋櫓鏈烘瀯鎭㈠鍜屽缃鍒掑疄鏂芥殏琛屽姙娉�"}

尝试解决:

查找办法让在setting.py文件中添加设置编码格式的代码:

FEED_EXPORT_ENCODING = 'utf-8'

添加后依旧不可以。

使用其他的格式编码:

reponse.body.decode('gbk')

会报错,某个字段不能被转换。

继续查找其他方法,此方法可以解决:

首先安装 chardet 库,使用以下代码,可以正常解决乱码问题,

import chardet
gbkContent = response.body.decode(chardet.detect(response.body)['encoding'])
print(gbkContent)

成功结果如下

{"rptCode":200,"msg":"成功","data":{"docId":989402,"docTitle":"恢复和处置计划实施暂行办法"}

举报

相关推荐

0 条评论