肝了三天三夜，一文道尽 Python的 Xpath 解析！

同样的，我们来举一些例子：

# 第三个li标签 
print(page.xpath('//ul/li[3]')) 
# 最后一个li标签 
print(page.xpath('//ul/li[last()]')) 
# 倒数第二个li标签 
print(page.xpath('//ul/li[last()-1]')) 
# 序号小于3的li标签 
print(page.xpath('//ul/li[position()<3]')) 
# 有class属性的li标签 
print(page.xpath('//li[@class]')) 
# class属性为item-inactive的li标签 
print(page.xpath("//li[@class='item-inactive']")) 

获取文本

text()

我们用text()获取某个节点下的文本：

print(page.xpath('//ul/li/a/text()')) 
 
// ['first item', 'second item', 'third item', 'fourth item', 'fifth item'] 

string()

我们用string()获取某个节点下所有的文本：

print(page.xpath('string(//ul)')) 

输出内容为：

first item 
second item 
third item 
fourth item 
fifth item # 注意，此处缺少一个  闭合标签 

fifth item # 注意，此处缺少一个 闭合标签

通配符

• * 任意元素
• @* 任意属性

* 表示匹配任何元素节点：

print(page.xpath('//li/*')) 
 
// [at 0x208931f0f00>, at 0x208931f0f40>, at 0x208931f0c40>, at 0x208931f0d80>, at 0x208931ff080>] 

@* 表示匹配任何属性节点：

print(page.xpath('//li/@*')) 
 
// ['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0'] 

或运算

通过在路径表达式中使用"|"运算符，可以实现选取若干个路径。

# 选取所有的li和a节点 
print(page.xpath("//li|//a")) 
 
// [at 0x29bb7190ac0>, at 0x29bb7190b00>, at 0x29bb7190f00>, at 0x29bb7190dc0>, at 0x29bb7190fc0>, at 0x29bb7190e00>, at 0x29bb7190f80>, at 0x29bb71b1080>, at 0x29bb71b1040>, at 0x29bb7190cc0>] 

函数

xpath内置很多函数。更多函数查看https://www.w3school.com.cn/xpath/xpath_functions.asp。

• contains(string1,string2)
• starts-with(string1,string2)
• text()
• last()
• position()
• node()

contains

有的时候，class作为选择条件的时候不合适@class='....' 这个是完全匹配，当网页样式发生变化时，class或许会增加或减少像active的class。用contains就能很方便。

print(page.xpath("//*[contains(@class, 'item-inactive')]")) 
 
// [] 

starts-with

print(page.xpath("//*[starts-with(@class, 'item-inactive')]")) 
// [at 0x1a297641d00>] 

其他几个函数，我们在上面使用过。注意，并不是所有的 xpath 函数python都会支持，比如 ends-with(string1,string2) 和 upper-case(string) 就不支持。

节点轴选择

ancestor轴

调用 ancestor 轴，获取所有祖先节点。其后需要跟两个冒号，然后是节点的选择器。返回结果：第一个li节点的所有祖先节点。

print(page.xpath('//li[1]/ancestor::*')) 
 
// [, , , ] 

attribute轴

调用 attribute 轴，获取所有属性值。返回结果：li节点的所有属性值。

print(page.xpath('//li[1]/attribute::*')) 
 
// ['item-0'] 

child轴

调用 child 轴，获取所有直接子节点。返回结果：选取 href 属性为 link1.html 的 a 子节点。

print(page.xpath('//li[1]/child::a[@href="link1.html"]')) 
 
// [at 0x13972af5b40>] 

descendant轴

调用 descendant 轴，获取所有子孙节点。同时加了限定条件。返回结果：选取 li 节点下的子孙节点里的 span 节点。

print(page.xpath('//li[4]/descendant::span')) 
 
// [at 0x1a4d5700d00>] 

following轴

调用 following 轴，获取当前节点之后的所有节点。

print(page.xpath('//li[4]/following::*[2]')) 
 
// [at 0x1583f8c0d00>] 

following-sibling轴

调用 following-sibling 轴，获取当前节点之后的所有同级节点。

print(page.xpath('//li[4]/following-sibling::*')) 
 
// [] 

总结

到这里，我们的 xpath 学习之路就结束了，文章中基本涵盖了大家需要用的的 xpath 解析方法。大家看一遍没记住不要紧，以后遇到此类解析直接搬出这篇文章对照着写就行。