python爬虫学习三:python正则表达式
自己写的一个爬虫:https://github.com/qester/wordpres_Crawler
1、正则表达式基础
a、正则表达式的大致匹配过程:
1、依次拿出表达式和文本中的字符比较
2、如果每一个字符都能匹配,则匹配成功;一旦有匹配不成功的字符则匹配失败。
3、如果表达式中有量词或边界,这个过程会稍微有些不同。
b、正则表达式语法学习(参考网页吧)
2、re模块
python通过模块提供正则表达式的支持。使用re的一般步骤是:
s1、先将正则表达式的字符串形式编译成Pattern实例;
s2、然后使用Pattern实例处理文本并获得匹配结果(一个Match实例);
s3、最后使用Match实例获取信息,进行其他操作。
a、Compile
re.Compile(strPattern[,flag]):
这个方法是Pattern类的工厂方法,用于将字符串形式的正则表达式编译为Pattern对象。
flag参数是匹配模式,取值可以使用按位或运算符"|"表示同时生效,比如re.re.M.
flag的可选值有:
re.I:忽略大小写
re.M:多行模式
re.S:点任意匹配模式
re.L:
re.U:
re.X:详细模式
b、Match
Match对象是一次匹配的结果,包含了很多关于此次匹配的信息,可以使用Match提供的可读
属性或方法来获取这些信息。
属性:
string:匹配时使用的文本。
re:匹配时使用的Pattern对象。
pos:文本中正则表达式开始搜索的索引。
endpoe:结束搜索的索引
lastindex:最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组,将为None。
lastgroup:最后一个被捕获的分组的别名。如没有,则为None。
方法:
group([group1,....]):
获得一个或多个分组截获的字符串;指定多个参数时将以元组的形式返回。不写参数时返回group(0).
groups([default]):
以元组的形式返回全部分组截获的字符串。
groupdict([default]):
返回以有别名的组的别名为键、以该组截获的子串为值得字典,没有别名的组不包含在内。
start([group]):
返回指定的组截获的子串在string中的起始索引(子串第一个字符的索引)。
end([group]):
返回指定的组截获的子串在string中的结束索引(子串最后一个字符的索引+1)。
span([group]):
返回(stat(group),end(group))。
expand(template):
将匹配到的分组代入template中然后返回。
c、Pattern
Pattern对象是一个编译好的正则表达式,通过Pattern提供的一系列方法可以对文本进行匹配查找。
Pattern不能直接实例化,必须使用re.compile()进行构造,也就是re.compile()返回的对象。
Pattern提供了几个可读属性用于获取表达式的相关信息:
pattern:编译时用的表达式字符串
flags:编译时用的匹配模式,数字形式。
groups:表达式中分组的数量。
groupindex:以表达式中有别名的组的别名为键、以该组对应的编号为值,没有别的别名的组不包含在内。
3、一些Pattern的实例方法:
a、match方法:返回一个match对象
b、search方法:返回一个match对象
c、spilt方法:按照能够匹配的子串将string进行分割后返回列表。
d、findall方法:以列表返回全部能够匹配的子串。
e、finditer方法:返回一个顺序方位每一个匹配结果的迭代器。
f、sub方法:sub(repl,string):使用repl替换string的每一个匹配的子串后返回替换后的字符串。