【爬虫系列】爬取糗事百科--正则表达式（超详细）-CFANZ编程社区

参考：路飞学院Python爬虫教学

前言：现在写的爬虫系列比较简单，不做太详细解释。重要解析会在代码中标注！

【爬虫系列】爬取糗事百科--正则表达式（超详细）_字符串

糗事百科糗图爬取

1、常用正则表达式回顾
2、爬取单页面数据
3、爬取多页面数据
4、贪婪模式和非贪婪模式

1、常用正则表达式回顾

【爬虫系列】爬取糗事百科--正则表达式（超详细）_字符串_02

2、爬取单页面数据

import requests
import re
import os

#如果目录不存在，那么创建目录，反之不创建
if not os.path.exists('./qiutuLibs'):
    os.mkdir('./qiutuLibs')

url = 'https://www.qiushibaike.com/imgrank/'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}

#解析页面以二进制的形式
page_text = requests.get(url=url,headers=headers).text

#利用正则定位出图片url地址，以便于下载
ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_src_list = re.findall(ex,page_text,re.S)

for src in img_src_list:
    #拼接出一个完整的链接
    src = 'https:'+src
    #请求到图片的二进制数据
    img_data = requests.get(url=src,headers=headers).content
    #给你的图片命名
    img_name = src.split('/')[-1]
    #图片路径设置
    imgPath = './qiutuLibs/'+img_name
    #下载图片
    with open(imgPath,'wb') as fp:
        fp.write(img_data)
        print(img_name,'SUCCESSFUL!!!!!!!!!!!!!!')

3、爬取多页面数据

import requests
import re
import os

if not os.path.exists('./qiutuLibs'):
    os.mkdir('./qiutuLibs')

#设置一个通用的url模板即可实现多页爬取
url = 'https://www.qiushibaike.com/imgrank/page/%d'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
}

#利用for循环，循环出页码，针对每页进行解析下载
#类似于打印乘法口诀那样
for pageNum in range(1,3):
    new_url = format(url%pageNum)
    page_text = requests.get(url=new_url,headers=headers).text

    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    img_src_list = re.findall(ex,page_text,re.S)
    # print(img_src_list)

    for src in img_src_list:
        #拼接出一个完整的链接
        src = 'https:'+src
        #请求到图片的二进制数据
        img_data = requests.get(url=src,headers=headers).content
        img_name = src.split('/')[-1]
        imgPath = './qiutuLibs/'+img_name
        with open(imgPath,'wb') as fp:
            fp.write(img_data)
            print(img_name,'SUCCESSFUL!!!!!!!!!!!!!!')

4、贪婪模式和非贪婪模式

.*?
?跟在*或者+后边用时，表示懒惰模式。也称非贪婪模式。就是匹配尽可能少的字符。就意味着匹配任意数量的重复，但是在能使整个匹配成功的前提下使用最少的重复。
a.*?b匹配最短的，以a开始，以b结束的字符串。如果把它应用于aabab的话，它会匹配aab（第一到第三个字符）和ab（第四到第五个字符）。
又比如模式 src=`.*?`，它将会匹配 src=` 开始，以 ` 结束的尽可能短的字符串。且开始和结束中间可以没有字符，因为*表示零到多个。用它来搜索 <img src=``test.jpg` width=`60px` height=`80px`/> 时，将会返回 src=``。


 .*
. 表示 匹配除换行符 \n 之外的任何单字符，*表示零次或多次。所以.*在一起就表示任意字符出现零次或多次。没有?表示贪婪模式。比如a.*b，它将会匹配最长的以a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。这被称为贪婪匹配。
又比如模式src=`.*`， 它将会匹配最长的以 src=` 开始，以`结束的最长的字符串。用它来搜索 <img src=``test.jpg` width=`60px` height=`80px`/> 时，将会返回 src=``test.jpg` width=`60px` height=`80px`

 .+?
同上，?跟在*或者+后边用时，表示懒惰模式。也称非贪婪模式。就意味着匹配任意数量的重复，但是在能使整个匹配成功的前提下使用最少的重复。
a.+?b匹配最短的，以a开始，以b结束的字符串，但a和b中间至少要有一个字符。如果把它应用于ababccaab的话，它会匹配abab（第一到第四个字符）和aab（第七到第九个字符）。注意此时匹配结果不是ab,ab和aab。因为a和b中间至少要有一个字符。
又比如模式 src=`.+?`，它将会匹配 src=` 开始，以 ` 结束的尽可能短的字符串。且开始和结束中间必须有字符，因为+表示1到多个。用它来搜索 <img src=``test.jpg` width=`60px` height=`80px`/> 时，将会返回 src=``test.jpg`。注意与.*?时的区别，此时不会匹配src=``，因为src=` 和 ` 之间至少有一个字符。

aahbkhjkhjb

a.*b
aaahbkhjkhjb

a.*?b
aaahb

字符串:ababccaab
正则表达式:a.+b
结果:abab,aab