爬虫-XPath
这篇讲什么
- XPath 在 Python 里由 lxml 实现,本机环境是 Python 3.14.10 + lxml 6.1.3 + parsel 1.12.1,文里每条表达式都真跑过,输出逐字贴出。
- 语法面按「路径 → 谓词 → 定位 → 取文本取属性 → 轴 → 运算符」过一遍,13 个轴每个都有实测结果。
- 语言级演示跑在一份固定小 HTML 片段上;凡是真的抓页面,一律用 ssr1.scrape.center——《Python3 网络爬虫开发实战》作者搭的公开练习站,专门给爬虫练手,不校验请求头。
- 工程面处理四个真实坑:多类名属性匹配不到、文本里的换行缩进、取不到值时的报错、防盗链的 Referer;只有懒加载和防盗链这类协议级演示还留在本机靶站。
- 最后给一份从列表页翻到详情页的完整脚本,以及 lxml 6 / parsel 1.12 上已经失效的老写法清单和报错原文。
用哪个库
1 | pip install lxml parsel |
实测装完后本机版本:
1 | import sys |
1 | Python 3.14.10 | lxml 6.1.3 | libxml2 2.11.9 | parsel 1.12.1 |
-
XPath 语言本身是 W3C 在 1999 年定下的标准,Python 里干活的是 lxml,它把 libxml2 的 XPath 引擎包了一层。
-
lxml 只实现 XPath 1.0(libxml2 2.11.9),XPath 2.0 才有的函数和运算符在这里都会报错,实测见「版本坑与老写法」。
-
三个模块的分工:
模块 定位 什么时候用 lxml.etree底层解析与查询,XML 和 HTML 都能读 要控制解析器、要改写文档、要处理 XML lxml.html在 etree 之上加了 HTML 便利方法 只处理 HTML,且想用一个函数取全部文字 parsel.Selector在 lxml 外面再包一层,取用更方便 爬虫首选,Scrapy 内部用的就是它 -
新手建议从 parsel 起步,理由有三条:
- 同一个对象既支持
.xpath()又支持.css(),一条路走不通可以换写法。 - 取结果只用
.get()/.getall()/.re()/.re_first(),不用自己判空取下标。 - 它就是 Scrapy 里的
response.selector,学会直接能用在 Scrapy 上。
- 同一个对象既支持
-
装 parsel 会带出
cssselect(把 CSS 选择器翻译成 XPath)和w3lib,本机实测是 cssselect 1.6.0、w3lib 2.6.0、soupsieve 4.0.1。
XML 与 HTML
- XPath 是为 XML 设计的语言,而「XML 严格、HTML 宽松」这个差别直接决定你的表达式会不会报错。同一段残缺代码,两种解析器结局完全不同:
1 | from lxml import etree |
1 | HTML 解析器 : <html><body><div><p>残缺<b>粗体</b></p></div></body></html> |
-
从输出能读出五条实测差别:
- 残缺标签:HTML 解析器帮你补齐并套上
html/body,XML 解析器直接抛XMLSyntaxError。 - 标签大小写:HTML 解析器一律转小写,所以写
//IMG取不到东西,要写//img。 - 布尔属性:HTML 里
disabled会被补成disabled="disabled",判属性存在要用@disabled而不是比字符串。 - 未知实体:HTML 把
&unknown;当纯文本转义掉,XML 则会直接报错。 - 结构补全:HTML 解析后一定有
html/body两层,所以/html/body/div这种绝对路径才写得通。
- 残缺标签:HTML 解析器帮你补齐并套上
-
记一句就够:抓网页永远走 HTML 解析入口,只有确认对方给的是合法 XML(RSS、SOAP 接口)才用 XML 入口。
两种入口
lxml.etree 这条线
etree.HTML()吃 HTML,etree.fromstring()吃 XML,etree.parse()读本地文件。三者对「传 str 还是 bytes」的要求不一样:
1 | from lxml import etree |
1 | 1 传 str 且带 XML 声明: |
-
参数说清楚:
etree.HTML(text, parser=None, *, base_url=None),text可以是 str 或 bytes,parser是HTMLParser/XMLParser实例,base_url只影响相对链接。 -
第 1 行和第 10 行是新手最常撞的两个报错:
- 内容里有
<?xml ... encoding="..."?>时必须传 bytes,传 str 会抛ValueError。 etree.parse()默认用 XML 解析器,读一份不规范的本地 HTML 会抛XMLSyntaxError,正确做法是显式传etree.HTMLParser(),实测见第 11 行。
- 内容里有
-
etree.tostring()默认返回 bytes,并且按 ASCII 转义非英文字符,想让中文原样出来有两条路:encoding="utf-8"(仍是 bytes)或encoding="unicode"(返回 str)。 -
method="text"只输出文字,不给编码时会因为默认 ASCII 而炸,实测见第 7 行。
parsel 这条线
- 官方推荐的爬虫写法是把响应体直接交给
Selector,取结果一律用.get()/.getall()。从这一节开始就是真页面了:示例统一用 ssr1 列表页,它服务端渲染、不校验请求头,requests.get()裸连就能拿到带数据的 HTML。
1 | import requests |
1 | 01 type(sel.xpath(...)) -> SelectorList |
-
Selector()的常用参数:text=只收 str,body=收 bytes(encoding=默认utf-8),type=可写html/xml/json/text,不写就自动判断,base_url=用来补全相对链接。 -
.xpath()返回 SelectorList(一个列表),列表元素是 Selector,所以可以在它上面继续查,实测第 13 行。 -
落空时的行为不一样,这一条能省掉很多崩溃:
.get()返回None,.getall()返回[]。[0]直接抛IndexError: list index out of range,见第 8 行。- 可能取不到的字段一律写
.get(),别写下标。
-
表达式写错是编译期就报错,不会静默返回空列表,报错信息里带原始表达式,见第 14、15 行。
-
开头那个
CARD不是随手写的:@class精确匹配在这个页面上会全军覆没,原因见「四种定位」。
路径表达式
| 写法 | 含义 |
|---|---|
/html/body/div |
从根节点开始,一级一级往下走 |
//li |
文档里任何位置的 li,不管层级 |
. |
当前节点 |
.. |
当前节点的父节点 |
@class |
当前节点的 class 属性 |
text() |
当前节点直接的文本子节点 |
node() |
当前节点的所有子节点(元素、文本、注释都要) |
* |
通配符,任意元素;跟在 @ 后是任意属性 |
comment() |
只取注释节点 |
- 语言级表达式先跑在一份固定的小 HTML 上,它被当成字符串直接喂给解析器,后面「取文本与取属性」「13 个轴」「运算符」「取不到值怎么办」四节都复用它:
1 | from parsel import Selector |
1 | /html/body/div/h1/text() ['三国演义'] |
//title/text()取到的是<head>里的网页标题,和//h1是两码事,别把标签名当语义。//ul[@class='tags']/*里的*代表任意元素,//@*代表任意属性,两个星号位置不同含义不同。text()只拿直接文本子节点,所以//ul[@class='tags']/text()取到三段纯空白,里面的「历史」「小说」要经过li才拿得到。count()这类函数写在路径外面,返回的是字符串而不是节点;string()、normalize-space()、concat()的完整对照放在下一节。
谓词与索引
- 谓词就是方括号
[...],在候选节点里再筛一层。XPath 的下标从 1 开始,不是 0。 - 先用最经典的 bookstore 那份 XML 把速查表跑一遍,再验证「第一个」的真实含义:
1 | from parsel import Selector |
1 | /bookstore/book[1]/title/text() ['Everyday Italian'] |
//book[1]的真实含义是每个父节点下的第一个,两个 shop 各出一个(书A、书C),要「全局第一个」得先加括号(/shops/shop/book)[1]。- 属性值是字符串,
@category='web webdb'必须完全相等才命中,多类名要用contains(concat(' ', @category, ' '), ' webdb ')这个套路。 - 排除某值有两种写法:
not(@lang='eng')和@lang != 'eng'结果不同,后者会把没有 lang 属性的节点也排除掉(属性缺失时比较结果为假)。 name()这类函数只能整体包住表达式,写成一步路径/bookstore/*[1]/name()会报Invalid expression。
四种定位
- 属性定位、层级定位、索引定位、模糊匹配,这四类占了爬虫场景的九成。全部在 ssr1 列表页上跑,第一个坑就从那里来:
1 | import requests |
1 | -- 属性定位,先记一个坑 |
- 这个坑值得单独说:卡片真实 class 是
el-card item m-t is-hover-shadow,@class='el-card item'是完全相等比较,命中 0;要么contains把两个词都写进谓词,要么用contains(concat(' ', normalize-space(@class), ' '), ' item ')这个按词切分的套路,才命中 10。 - CSS 的
div.item不受影响,因为 cssselect 把类选择器编译成带contains(concat(' ', ...))的词匹配(编译结果就是上面打印的那行),这层翻译替你避开了坑。 - 把整串类名写全也能命中 10,但站点哪天给卡片再加一个类名就又不行了,实战别写死全串。
- 同一页的第二现场:当前页那个
li的 class 是number active,//li[@class='number']恰好漏掉它,所以[last()]落在/page/11上,翻过头会 500,见「实战」。 (//div[contains(@class,'el-card')])[0]不报错,只是永远取不到东西(下标从 1 开始),这种静默失败比抛异常更难查;要「全局第一个」得像[1]那行一样先加括号。- 两个谓词可以串起来写:
//li[@class='number'][a/@href]等价于在谓词里用and。 - 拿不准一段文字在哪个标签里时,用
//a[text()='2']这种按文本反查比猜 class 稳,配ancestor::还能从标题回找到它所在的链接。
取文本与取属性
- 同样是「把这段文字拿出来」,
text()、//text()、string()、normalize-space()四种写法拿到的东西不一样,继续跑在「路径表达式」那份FRAGMENT上:
1 | from parsel import Selector |
1 | //span[@class='author']/text() ['罗贯中'] |
-
四种取法怎么选:
text()返回若干个文本节点,夹在标签之间的文字会被切段,实测//p[@class='meta']/text()只拿到['作者:', '\u3000价格:'],两个 span 里的内容都不在里面。//text()取子树里所有文本节点,能拿全,但仍是分段列表。string(...)把整棵子树的文字拼成一个字符串,实测得到作者:罗贯中 价格:39.5,缺点是两段之间不会自动加空格。normalize-space(...)在string()之上再做空白归一,实测对这段没变化,因为中间那个是全角空格。
-
string()和normalize-space()是函数,只能整体包住表达式,写成一步路径//li/normalize-space()直接报Invalid expression。 -
想自己控制分隔符,就先取到节点的 Selector 再写
string(.),或用concat()手拼,实测拼出罗贯中|39.5。 -
//a/@href拿到的是属性值的列表而不是元素,detail/2?id=3这种相对地址要自己用urllib.parse.urljoin补全。 -
node()把空白文本、元素、注释一起给你,实测//ul[@class='tags']/node()是「空白-元素-空白-元素-空白」交错。
13 个轴一次跑完
- 轴(Axes)用来表达「相对当前节点的位置关系」,语法是
轴名::节点测试,这是 XPath 比 CSS 强的根本原因。 - 还是「路径表达式」那份小片段:
p.meta里嵌着span.author和span.price,后面跟着ul.tags和table#stock,最适合练轴。
| 轴名 | 结果 |
|---|---|
ancestor |
当前节点的所有先辈(父、祖父……) |
ancestor-or-self |
所有先辈加上自己 |
attribute |
当前节点的所有属性,等价于 @ |
child |
所有直接子节点,等价于 / |
descendant |
所有后代(子、孙……) |
descendant-or-self |
所有后代加上自己,等价于 // |
following |
当前节点结束标签之后的所有节点 |
following-sibling |
之后的同级兄弟节点 |
namespace |
当前节点的命名空间节点 |
parent |
父节点,等价于 .. |
preceding |
文档里当前节点之前、且不是它祖先的所有节点 |
preceding-sibling |
之前的同级兄弟节点 |
self |
当前节点本身 |
1 | from parsel import Selector |
1 | ancestor::* ['html', 'body', 'div', 'p'] |
-
上半段里的空列表都是正确结果:
span.price没有子元素,所以child::*、descendant::*为空;它是p.meta的最后一个孩子,所以following-sibling::*为空。 -
attribute::*和namespace::*取到的不是元素,打印出来的类型是str和tuple,别去读它们的.tag。 -
三个最常用来救场的写法:
//td/preceding-sibling::th:表格行里从数据格反查表头,实测拿到['库存', '可借']。//ul[@class='tags']/following::table[1]:跳过中间节点找后面第一个表格,实测拿到['stock']。//h1/parent::div/@id:先定位小标签再回父层取属性,和../@id完全等价。
-
preceding和preceding-sibling的差别在范围:前者是整个文档里当前节点之前、且不是它祖先的节点,实测按文档顺序列出head、title、h1、span,后者只看同一层。 -
轴名拼错属于语法错误,直接抛
XPath error: Invalid expression,不会静默返回空列表。
运算符
- 算术、比较、布尔这几组全在下面这份小片段上逐条实测(
FRAGMENT和sel承接「路径表达式」,and/or/not()的谓词写法在「谓词与索引」已经测过,不重复):
1 | from parsel import Selector |
1 | //h1 | //h1 ['<h1 class="title">三国演义</h1>'] |
|去重看节点不看内容://h1 | //h1只有一个,而//h1/text() | //title/text()是两条不同节点,即使文字一样都会保留。- 算术运算符一律先转数字:
'3' + 2得5.0而不是拼接;节点集参与算术时取它的文字转数字,h1的文字是中文,转出来就是nan。 - 谓词里的比较同理:
//span[@class='price'][text() > 39]把文本'39.5'转成数再比才命中,写text() <= 39就是空。 - 字符串比大小不可靠:实测
'a' < 'b'为假,libxml2 会把操作数转成数字再比,非数字串转出来是nan,任何比较都假。要排序请拿回 Python 里比。 - 优先级实测:
*、div、mod高于+、-,所以1+2*3得 7;mod和div同级、从左往右算,10 mod 4 div 2得 1;and高于or。 - XPath 2.0 的字母运算符(
ne、le、ge)在 lxml 里用不了,报错原文见「版本坑与老写法」。
XPath 还是 CSS
- 同一个需求两种写法,先在 ssr1 列表页上逐条对照,再看各自做不到什么:
1 | import time |
1 | == 两种写法逐条对照(前 24 个字符一致就算相同) |
- 上表 11 条里 9 条「一致」,常规筛选两者等价;两条「不同」都值得记住。
- 第一条是「四种定位」那个 class 全等坑的再现:XPath 的
@class=比整串,CSS 的.item按词切,同一需求一边 0 条一边 10 条。 - 第二条反过来:
contains(@class,'el-card')是子串匹配,把el-card__body也算成含el-card,命中 20 个;CSS 的.el-card按完整词元只命中真正的el-card,要对齐就得用concat词切分写法。 - CSS 的文本能力靠 soupsieve 扩展:
:contains()是它的私有语法,写进 Scrapy 或换到浏览器里都不认;:has()实测能用(10 条),但别指望跨环境行为一致。 - CSS 真正做不到的是向上和向后:
div < h2这种父选择器实测抛SelectorSyntaxError,兄弟轴也没有对应写法,这类需求只能 XPath。 - XPath 反过来也有坑:CSS 里
li a是后代选择器,XPath 里必须写//li//a,写空格直接报Invalid expression。 - 速度实测两者几乎一样(4 万多字符的页面各跑 2000 次,差 0.02 秒),所以按表达力选,不按性能选。
取不到值怎么办
- 老教程里常见一句「XPath 取不到值会报错」,实测到底谁报错、报什么,一次说清。
FRAGMENT见「路径表达式」:
1 | from lxml import etree |
1 | 1 xpath 命中 : ['库存'] |
-
结论是:
.xpath()取不到只会返回空列表,报错的是你自己紧接着写的[0],见第 3 行。 -
三种兜底写法:
- parsel 用
.get(),落空是None,再配or "默认值",见第 11、13 行。 - 要一个空字符串就用
string(...),落空是'',见第 14 行。 - 只想判断存不存在就用
count(...),不存在返回0.0,见第 15 行。
- parsel 用
-
findtext(path, default=...)确实能兜底,但它是 ElementTree 那一套,走的是 ElementPath 而不是 XPath:写text()报KeyError: '()',写or报invalid predicate,实测见第 9、10 行。 -
所以规则很简单:
.xpath()配get(),find()系列配 ElementPath,两套语法不要混用。
换行与空白
- 页面源码里的缩进和换行都会变成真实的文本节点,这是 XPath 取不到值的第一大原因。先看 ssr1 列表页的评分:
1 | import requests |
1 | == 真实页面:评分数字前的缩进 |
-
实测四条结论:
- 评分的文本节点是
'\n 9.5',数字前面带着源码里的换行和一整排缩进。 string(...)会把换行原样带出来,normalize-space(...)把整段压成一行'9.5',多个空白压成一个空格且去掉首尾。- 文本匹配会被空白害死:
//p[text()='9.5']命中 0 条,谓词里写normalize-space(text())='9.5'才命中,但取出的文本仍要再清洗。 - Python 侧最省事的写法是
[t.strip() for t in ... if t.strip()],parsel 也可以直接.re(r"[\d.]+")一次筛掉空白段。
- 评分的文本节点是
-
名称的
h2文本干净、评分的p文本脏:空白在不在文本节点里取决于源码排版,没法靠猜,取回来先清洗是本能。 -
属性值里的换行更阴险:实测 lxml 不会把
title="第一行\n第二行"里的换行改成空格,取出来仍是原样;用带空格的字符串去匹配命中 0 条,得写contains(@title,'第一行')或先normalize-space(@title)。 -
normalize-space()只处理半角空白,实测全角空格\u3000原样保留,而 Python 的str.strip()会把它吃掉,两者不等价。 -
存盘再读回:带换行的字符串别再用
str(list)存加eval()读,eval会把文件内容当代码执行,一律换成json.dump/json.load,换行的转义和还原由 JSON 自己负责。
懒加载与下载图片
- 懒加载页面的
src是空的,真实地址藏在data-src,XPath 取属性正好对付这种「属性名换了」的情况。 - 这一段留在本机靶站:
scrape.center不校验 Referer(实测带不带都 200),懒加载与防盗链这两种「服务端挑毛病」的行为只有自己能搭才复现得出来。靶站的图片还带 Referer 防盗链,正好一起验证:
1 | import os |
1 | 1 //img/@src : ['', '', ''] |
-
实测三件事:
//img/@src拿到三个空字符串,//img/@data-src才是真地址,//img[@src='']/@data-src一步筛出懒加载图。- 不带 Referer 请求图片是
HTTP Error 403: Forbidden,带上来源页http://127.0.0.1:8010/list就是 200、162 字节。 urllib.request.urlretrieve()不能带请求头,所以面对防盗链必然 403,要自己用Request+urlopen。
-
落盘的规范写法里三处要注意:
os.makedirs(DIRNAME, exist_ok=True)避免重复建目录报错;
os.path.basename(url)从/img/1.png取文件名;urllib.parse.urljoin()把相对地址补成绝对地址。 -
图片是二进制,一定要
open(path, "wb"),写成文本模式会直接损坏文件。 -
真站点的懒加载属性名五花八门,先
Selector(...).css("img").attrib把属性名列出来看一眼,比猜data-original、data-src2快得多。
浏览器里验证 XPath
-
写 XPath 最痛的是不知道表达式对不对,先在浏览器里验好再抄进 Python,打开 https://ssr1.scrape.center/ 就能拿下面的表达式练。
-
关于 XPath Helper 这类插件,要按现状说:它是一个 Manifest V2 扩展,而 Chrome 从 2025 年中的 138 版起陆续停止加载 MV2 扩展,老版 XPath Helper 在今天的 Chrome 里已经跑不起来了;商店里还能搜到同名或同类的 MV3 扩展,但维护状态变化很快,装之前先看商店页面的更新日期。
-
不装任何插件也能完成同样的事,DevTools 里有两条路:
- 右键元素 -> Copy -> Copy XPath,直接拿到绝对路径。
- 在 Elements 面板选中元素后到 Console 里用
$0当上下文,配合document.evaluate验表达式。
1 | // 在 DevTools 的 Console 里跑,$0 是 Elements 面板当前选中的节点 |
-
document.evaluate(expression, contextNode, namespaceResolver, resultType, result)五个参数:contextNode:上下文节点,整篇文档就传document,在某节点下面找就传它并配相对路径。namespaceResolver:HTML 页面传null就够,查带命名空间的 XML 才要传函数。resultType:返回类型常量,见下表,传0(ANY_TYPE)让引擎自己决定。
XPathResult 常量 |
值 | 取结果的方式 |
|---|---|---|
ANY_TYPE |
0 | 由表达式决定,可能是下面任意一种 |
NUMBER_TYPE |
1 | .numberValue |
STRING_TYPE |
2 | .stringValue |
BOOLEAN_TYPE |
3 | .booleanValue |
UNORDERED_NODE_ITERATOR_TYPE |
4 | iterateNext() 循环,改文档会失效 |
ORDERED_NODE_ITERATOR_TYPE |
5 | 同上,但保证文档顺序 |
UNORDERED_NODE_SNAPSHOT_TYPE |
6 | .snapshotLength + snapshotItem(i) |
ORDERED_NODE_SNAPSHOT_TYPE |
7 | 同上且有序,日常最常用 |
ANY_UNORDERED_NODE_TYPE |
8 | .singleNodeValue,任取一个 |
FIRST_ORDERED_NODE_TYPE |
9 | .singleNodeValue,文档里第一个 |
- 浏览器里的
document.evaluate同样只实现 XPath 1.0,所以这篇里学到的函数集合(没有ends-with、没有matches)在这里一模一样。 - 一个常见落差:DevTools 里 Copy XPath 给你的是绝对路径,页面结构一改就失效,抄进脚本前建议手工改成
//div[@class='...']//...这种带锚点的相对写法。
实战:电影站翻页
- 把前面的东西串起来:列表页抓「名称/评分/详情链接」,翻到
/page/2验证分页,再进详情页取地区时长、上映日期、导演和演员数量,全程 XPath。
1 | import requests |
1 | 第 1 页抓到 10 条,页脚显示:共 104 条 |
-
三个实测坑:
- 分页 URL 不带尾斜杠:
/page/2是 200,/page/2/是 404;页码条列到了/page/11,但翻到第 11 页实测 500 Server Error,列表实际最多翻到第 10 页。 - 详情页 id 不连续:页脚写「共 104 条」,id 范围却是 1 到 108,别按 id 递增遍历详情页,跟着卡片里的链接走。
- 评分文本节点带换行缩进,
normalize-space一步洗净,别直接比字符串,见「换行与空白」。
- 分页 URL 不带尾斜杠:
-
外层先按卡片切块、块内一律用
./descendant::这类相对路径,这是 XPath 抓列表最不容易串行的写法。 -
导演卡片嵌在
div.directors里,contains(@class,'director')两层都会命中;取单个用.get()不受影响,要取全量就得回到concat词切分写法。
版本坑与老写法
- 下面是 lxml 6.1.3 与 parsel 1.12.1 上的逐条实测,报错原文一律照抄:
1 | import sys |
1 | Python 3.14.10 | lxml 6.1.3 | libxml2 2.11.9 | parsel 1.12.1 |
-
判定成「已经不能用」的写法:
老写法 现在的结果 替代 etree.HTML(text, encoding="utf-8")TypeError不认这个参数自己 text.encode(),或传HTMLParser(encoding="utf-8")element.text_content()etree._Element上没有这个方法lxml.html.fromstring()再用,或"".join(el.itertext())sel.css_first()/sel.xpath_first()AttributeError,parsel 1.12 已移除.css(...).get()/.xpath(...).get()Selector(selector=sel)TypeError,参数已移除取下标后直接链式调用 sel.root()TypeError,root 改成了属性sel.rootends-with()/matches()/neXPath 2.0 才有,报 Unregistered function或Invalid predicatesubstring+string-length、!= -
text_content()这条最容易踩:同样的代码,导入lxml.html解析出来的元素有它,etree.HTML()解析出来的没有,实测第 1 到 4 行。 -
带 XML 声明的内容必须传 bytes、
method="text"必须给编码,这两条在「两种入口」已经实测过,这里不再重复。 -
仍在服役的老 API:
getchildren()、iterancestors()、itersiblings()、getroottree().getpath()、.extract()/.extract_first(),实测都没报错,但新代码建议用list(el)、轴、getall()这些更标准的写法。 -
命名空间两件事:XML 里用前缀必须先注册(
Selector(..., namespaces={"m": "http://x"})),否则报Undefined namespace prefix;remove_namespaces()是原地生效、返回None,别链式调用。 -
传变量别拼字符串:
sel.xpath("//li[@data-id=$bid]", bid="3")由 XPath 自己处理引号,实测把带单引号的恶意串当普通文本处理;直接拼进表达式则会报Invalid predicate。