Python网络爬虫《六》

正则表达式：字符和操作符构成

正则表达式是一个特殊的字符序列，检查一个字符串是否与某种模式匹配。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。

操作符：

实例：

1. ^[A-Za-z0-9]+$#由26个字母和数字组成的字符串
2. ^-?\d+$#整数形式的字符串
3. ^[0-9]*[1-9][0-9]*$#正整数形式的字符串
4. [1-9]\d{5}#中国境内邮政编码，6位
5. [\u4e00-\u9fa5]     #匹配中文字符
6. \d{3}‐\d{8}|\d{4}‐\d{7}      #国内电话号码，010-68913536

实例：IP地址字符串形式的正则表达式（IP地址分4段，每段0‐255）

精确写法：  (([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5]).){3}([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5])

0‐99： [1‐9]?\d            100‐199: 1\d{2}           200‐249: 2[0‐4]\d                250‐255: 25[0‐5]

Re库的使用：

Re库是Python的标准库，主要用于字符串匹配。

re库采用raw string类型表示正则表达式，表示为：r'text'。例如：r'[1‐9]\d{5}'

raw string是不包含对转义符再次转义的字符串。但是字符串中出现转义符时用raw string。

主要功能函数：

功能函数：

正则表达式修饰符 - 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：

Re库的两种用法

函数式用法：一次性操作

rst = re.search(r'[1‐9]\d{5}', 'BIT 100081')

面向对象用法：编译后的多次操作

编译：将符合正则表达式语法的字符串转换成正则表达式特征。

pat = re.compile(r'[1‐9]\d{5}')

rst = pat.search('BIT 100081')

Re库的Match对象

Match对象是一次匹配的结果，包含匹配的很多信息。

Match对象的属性和方法

Re库的贪婪匹配和最小匹配

• 贪婪匹配（默认）

实例：Re库默认采用贪婪匹配，即输出匹配最长的子串。

match = re.search(r'PY.*N', 'PYANBNCNDN') match.group(0) #'PYANBNCNDN'

• 最小匹配

实例：

只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配。

match = re.search(r'PY.*?N', 'PYANBNCNDN') match.group(0) #'PYAN'

代码实例：

#/usr/bin/env.python
# -*- coding:utf-8 -*-
import re
#方法一：
print "re.seach只匹配整个字符串"
matchSearch = re.search(r'[1‐9]\d{5}','TEX100864 RXT765215',re.M|re.I)
if matchSearch:
    print matchSearch.group(0)
else:
    print "Search None"

print "re.match只匹配字符串开头"
matchMatch = re.match(r'[1‐9]\d{5}','100864TEX RXT765214')
if matchMatch:
    print matchMatch.group(0)
else:
    print "No Match!"
print "re.findall以列表的形式返回全能匹配的子串"
list=[]
list = re.findall(r'[1‐9]\d{5}','100864TEX RXT765214')
print list
print "re.split:以正则表达式的匹配结果进行分割，返回列表类型"
print re.split(r'[1‐9]\d{5}','TEX100864 RXT765214')  #会先去掉第一个匹配的自创
print "re.finditer:返回一个匹配结果的迭代类型，每个迭代元素match对象"
matchfinditer =re.finditer(r'[1‐9]\d{5}','TEX100864 RXT765214')
print matchfinditer
print "re.sub:替换匹配字符串，返回字符串"
stringnew = re.sub(r'：.*$', "无", "我的电话号码：2004-899-338",count=1)
print stringnew
#方法二：
regex = re.compile(r'[1‐9]\d{5}')
matchregex = regex.search('TEX100886 RXT76521')
if matchregex:
    print matchregex.group()
else:
    print "No Search"