0
点赞
收藏
分享

微信扫一扫

【python数据分析】获取网页

kolibreath 2022-03-10 阅读 30

获取网页

下载普通网页

获取网页内容

打开VS Code,选择文件,打开文件夹。然后按CTRL+P,调出命令菜单,输入>jup。选择create new blank notebook。

在这里插入图片描述按CTRL+S,保存文件为.ipynb模式。(要记得pip install urllib3)

#导入urllib3模块的所有类和对象
import urllib3
#将要下载的网址,保存在url变量中
url = "http://jandan.net/p/110355"
#创建一个poolmanager对象
http = urllib3.PoolManager()
#调用http对象的request方法,第一个参数传一个字符串"GET",第二个参数是要下载的网址
#request方法会返回一个HTTPResponse类的对象,命名为response
response = http.request("GET", url)
#获取response对象的data属性
response_data = response.data
#调用data对象的decode方法
html_content =response_data.decode()
#打印出来
print(html_content)

将网页保存到文件

把字符串保存成一个文件。

#调用open函数,三个参数均为字符串类型
#第一个参数表示要操作的文件名
#第二个参数表示模式,w表示写入文件,r表示读取文件
#第三个参数表示编码格式,一般有中文认准的utf-8
fo = open("jiandan.html", "w", encoding="utf-8")
#调用文件对象的write方法
fo.write(html_content)
#关闭
fo.close()

在这里插入图片描述

写成一个整体函数

#第一个函数可以用来下载网页,返回网页内容
#参数url代表所要下载的网页地址
def download_content(url):
    http = urllib3.PoolManager()
    response = http.request("GET", url)
    response_data = response.data
    html_content = response_data.decode()
    return html_content

#第二个函数,将字符串内容保存到文件中
#第一个参数为所要保存的文件名,第二个参数为要保存的字符串内容的变量
def save_to_file(filename, content):
    fo = open(filename, "w", encoding= "utf-8")
    fo.write(content)
    fo.close()

url = "http://jandan.net/"
html_content = download_content(url)
save_to_file("jiandan.html", html_content)

下载动态网页

首先安装selenium。

在这里插入图片描述在这里插入图片描述安装完毕。
(写的时候,又出错了orz。所以又在cmd中pip了以下)
在这里插入图片描述

存储动态网页

url = "http://movie.douban.com/tv"
#从selenium库中导入webdriver类
from selenium import webdriver
#创建一个chrome浏览器对象
brow = webdriver.Chrome()
#使用Chrome对象打开url
brow.get(url)
#访问chrome对象的page_source属性
html_content = brow.page_source
#调用函数
save_to_file("douban_tv.html", html_content)

分页存储

for i in range(5):
    url = "http://jiandan.net"
    if i > 1:
        url = url + "/page/" + str(i)
html_content = download_content(url)
save_to_file("jiandian_"+ str(i) + ".html", html_content)
举报

相关推荐

0 条评论