0
点赞
收藏
分享

微信扫一扫

python网页爬虫开局通用示例

ZSACH 2022-11-19 阅读 106

万事开头难,好的开始是成功的一半。

步骤:

1、导入requests模块,2、get方法(url,timeout,headers等)3、状态判断,4、考虑编码,5、try方法判断异常。

import requests


# import time


def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() # 如果状态不是200,产生HTTPError异常
# print(r.status_code)
r.encoding = r.apparent_encoding
return r.text
except:
print(r.status_code)
return "产生异常"


if __name__ == '__main__':
url = "http://www.doubai.com"
print(getHTMLText(url))

封装函数,方便调用。



举报

相关推荐

0 条评论