0
点赞
收藏
分享

微信扫一扫

python正则表达式--爬取百度文库内容

黎轩的闲暇时光 2022-05-23 阅读 106
Python字符串正则表达式3d编程语言

python 正则表达式

正则表达式是用来简洁表达一组字符串地表达式，是通用的字符串表达框架

正则表达式由字符和操作符组成：

操作符

说明

.

表示任何单个字符(除了换行)

[ ]

字符集，对单个字符给出取值范围，[abc]表示a、b、c中任一个，[a-z]表示a到z的单个字符

[^]

非字符集，对单个字符给出排除范围，[^abc]表示除了a、b、c之外的的单个字符

*

前一个字符0次或多次扩展 abc* 表示：ab、abc 、abc 、abcccc等

+

前一个字符1次或多次扩展

？

前一个字符0次或者1次扩展

|

左右表达式任意一个 abc|def 表示abc 或者def

{m}

扩展前一个字符m次

{m,n}

扩展前面的一个字符m至n次(含n)

^

匹配字符串开头 ^abc表示一个字符串的开头为abc

$

匹配字符串结尾 abc$ 表示一个字符串的结尾为abc

( )

分组标记，内部只能使用|操作符 (abc)表示abc ,(abc|def) 表示abc或者def

\d

十进制数字 ,介于[0-9]

\D

匹配任何非数据字符，等价于[^0-9]

\s

匹配任何空白字符；等价于[\f\n\r\t\v]

\S

匹配任何非空白字符

\w

单词字符，等价于[A-Za-z0-9 _ ]增加 A-Z,a-z,0-9和下划线_

\W

匹配任何非单词字符

\b

匹配单词的开始或结束

\B

匹配不是单词的开头或者结束的位置

\1...\9

匹配第n个分组的内容。 分组是()

{:n}

拓展一个字符0-n次，包含n

^[A-Za-z]+$  由26个字母组成的字符串
^[A-Za-z0-9]+$  由26个字母和数字组成的字符串

re库

标准库，用于字符串匹配

re库采用raw string 类型表示正则表达式，格式: r'text'

raw string 类型是原生字符串类型，不包含转义符的字符串

re库主要功能函数

  1. re.search()

在一个字符串中搜索匹配的正则表达式的第一个位置，返回match对象

  1. re.match()

从一个字符串的开始位置起匹配正则表达式，返回match对象

  1. re.findall()

搜索字符串，以列表类型返回全部能匹配的子串

  1. re.split()

将一个字符串按照正则表达式匹配的结果进行分隔，返回列表

  1. re.finditer()

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

  1. re.sub()
    在一个字符串中替换所有匹配的正则表达式的子串，返回替换后的字符串

函数的使用方法

  1. re.search(pattern,string,flags=0)
    pattern: 正则表达式的匹配字符串
    string: 待匹配的字符串
    flags: 正则表达式使用时的控制标记
    常用标记：

缩写

全写

说明

re.I

re.IGNORECASE

忽略正则表达式的大小写 [A-Z]可以匹配小写

re.M

re.MULTILINE

正则表达式中^操作符能够将给定字符串的每行当作匹配开始

re.S

re.DOTALL

正则表达式中的.操作符能够匹配所有字符。默认.操作符匹配除换行符外的所有字符

  1. re.match(pattern,string,flags=0)
  2. re.findall(pattern,string,flags=0)
    返回列表类型
  3. re.split(pattern,string,maxsplit=0,flags=0)
    maxsplit:最大分割数，剩余部分作为最后一个元素输出
    将匹配的部分会去掉，其他的部分作为分隔的部分
  4. re.finditer(pattern,string,flags=0)
  5. re.sub(pattern,replace,string,count=0;flags=0)
    replace:替换匹配字符串的字符串
    count: 匹配的最大替换次数

re库的使用

函数式用法

一次性操作

rst.re.search(r'[1-9]\d{5}',"BIT 100081")

面向对象用法

编译后的多次操作

pat=re.compile(r'[1-9]\d{5}') 编译

rst=pat.search("BIT 100081")

regex=re.compile(pattern,flags=0)
将正则表达式的字符串形式编译成正则表达式对象

re的match对象

match对象的属性

属性

说明

.string

待匹配的文本

.re

匹配时使用的pattern对象(正则表达式)

.pos

正则表达式搜索文本的开始位置

.endpos

正则表达式搜索文本的结束位置

match对象的方法

方法

说明

.group(n)

获得匹配后的第n个元素

.start()

匹配字符串在原始字符串的开始位置

.end()

匹配字符串在原始字符串中的结束位置

.span()

返回(.start(),.end()) 元组类型

贪婪匹配

re库默认采用贪婪匹配，即输出匹配的最长的子串

​​r'py.*N'​​

最小匹配

输出匹配的最小的子串

​​r'py.*?N'​​ (加一个问号?)

*？ 前一个字符0次或多次,最小匹配

+？ 前一个字符1次或多次,最小匹配

?? 前一个字符0次或1次,最小匹配

{m,n}? 扩展前一个字符m至n次(含n)，最小匹配

Re在线网站


实例- -爬取百度文库内容

爬取百度文库的内容： ​​wenku.baidu.com/view/51d0d3…​​

python正则表达式--爬取百度文库内容_Python

F12查看网页源代码

python正则表达式--爬取百度文库内容_3d_02

该网页是动态加载的：

python正则表达式--爬取百度文库内容_3d_03

可以手动点击，使之加载完成

每一个<div id=pageNo-n .... 块都包含了一张需要的内容

python正则表达式--爬取百度文库内容_Python_04

可以复制出包含所有的这些块的html代码，用正则表达式提取出其中的图片的url

python正则表达式--爬取百度文库内容_正则表达式_05

找到几个目标URL分析共同点:

https://wkbjcloudbos.bdimg.com/v1/docconvert5999/wk/84d37f07f0d6bb5035745541741807d7/0.png?r
esponseContentType=image%2Fpng&responseCacheControl=max-age%3D3888000&responseExpires=Sun%2C
%2011%20Jul%202021%2012%3A46%3A31%20%2B0800&authorization=bce-auth-v1%2Ffa1126e91489401fa7cc
85045ce7179e%2F2021-05-27T04%3A46%3A31Z%2F3600%2Fhost%2Fd314acbd7e3945d671b38fd3291b12fa6230
93b0a416c6644e2ab3d796978a5c&x-bce-range=1433702-1465976&token=eyJ0eXAiOiJKSVQiLCJ2ZXIiOiIxL
jAiLCJhbGciOiJIUzI1NiIsImV4cCI6MTYyMjA5NDM5MSwidXJpIjp0cnVlLCJwYXJhbXMiOlsicmVzcG9uc2VDb250Z
W50VHlwZSIsInJlc3BvbnNlQ2FjaGVDb250cm9sIiwicmVzcG9uc2VFeHBpcmVzIiwieC1iY2UtcmFuZ2UiXX0%3D.KEB
4MWf6qyaZe1bU4D0eWwe0w683s73aBrl8LGJVyO4%3D.1622094391


https://wkbjcloudbos.bdimg.com/v1/docconvert5999/wk/84d37f07f0d6bb5035745541741807d7/0.png?r
esponseContentType=image%2Fpng&responseCacheControl=max-age%3D3888000&responseExpires=Sun%2C
%2011%20Jul%202021%2012%3A46%3A31%20%2B0800&authorization=bce-auth-v1%2Ffa1126e91489401fa7cc
85045ce7179e%2F2021-05-27T04%3A46%3A31Z%2F3600%2Fhost%2Fd314acbd7e3945d671b38fd3291b12fa6230
93b0a416c6644e2ab3d796978a5c&x-bce-range=1465977-1510087&token=eyJ0eXAiOiJKSVQiLCJ2ZXIiOiIxL
jAiLCJhbGciOiJIUzI1NiIsImV4cCI6MTYyMjA5NDM5MSwidXJpIjp0cnVlLCJwYXJhbXMiOlsicmVzcG9uc2VDb250Z
W50VHlwZSIsInJlc3BvbnNlQ2FjaGVDb250cm9sIiwicmVzcG9uc2VFeHBpcmVzIiwieC1iY2UtcmFuZ2UiXX0%3D.Et
YsvSe0rcUPqcR607Zag87P6A47wiWkPZwvICTz%2FAw%3D.1622094391
匹配字符串可以为：
pattern=r'https://wkbjcloudbos.bdimg.com/.*?%3D\.\d{10}'

python提取目的URL地址:

import re
html='''

复制出来的html代码片段
.....
'''
#用于初步提取出URL
pattern=r'https://wkbjcloudbos.bdimg.com/.*?%3D\.\d{10}'
#在html中& 是用'&' 来表示的，所以要将'&’替换为'&'
pattern_amp=r'&'
regex=re.compile(pattern)
regex_amp=re.compile(pattern_amp)

links=regex.finditer(html)
# 判断获取的URL的数量
#print(sum(1 for _ in links))
for i in links:
    #获得URL
    link=regex_amp.sub("&",i.group())
    print(link)

python根据提取的URL下载保存图片：

import re
import requests

html='''

复制出来的html代码片段
.....
'''

#用于初步提取出URL
pattern=r'https://wkbjcloudbos.bdimg.com/.*?%3D\.\d{10}'
#在html中& 是用'&' 来表示的，所以要将'&’替换为'&'
pattern_amp=r'&'
regex=re.compile(pattern)
regex_amp=re.compile(pattern_amp)

links=regex.finditer(html)
# 判断获取的URL的数量
#print(sum(1 for _ in links))
number=0
for i in links:
    #获得URL
    link=regex_amp.sub("&",i.group())
    #print(link)
    response=requests.get(link)

    #这里的状态码不是200，是206
    if(200<=response.status_code<300):
        #在当前路径下必须要有photo文件夹
        f=open("photo/%d.png"%number,'wb')
        f.write(response.content)
        f.close()
    else:
        print(response.status_code)
        print("第%d张图片出错了"%number)
    number+=1

结果：

python正则表达式--爬取百度文库内容_Python_06

举报

相关推荐

python爬虫模板之正则表达式re爬取百度图片

python爬虫正则表达式

复制百度文库内容

html右键系统/运维

java正则表达式取括号内容

正则表达式javaJava后端开发

【正则表达式练习】爬取城市编码

正则表达式python

Python爬虫项目(1)---re正则表达式爬取

python爬虫正则表达式

python 爬虫 正则表达式爬取17k小说

python爬虫正则表达式爬取17k小说实战Python后端开发

python正则表达式如何匹配内容

正则表达式正则字符串Python后端开发

【爬虫系列】爬取糗事百科--正则表达式（超详细）

python正则表达式爬虫字符串搜索Linux系统/运维

正则表达式—基础正则表达式

字符串正则表达式元字符Linux运维

Python 正则表达式

动态规划算法python
0 条评论