爬虫-Selenium和PhantomJS
这篇讲什么
- 主线是 Selenium 4.52.0 + 无头 Chrome(
--headless=new)在 Python 3.14.10 上的用法:驱动从哪来、页面怎么开、元素怎么定位、等待怎么配、表单怎么提交、JS 怎么执行,最后用公开练习站 spa1 的前端渲染页跑一遍「等卡片出现再取数」。 - scrape.center 是《Python3 网络爬虫开发实战》作者搭的公开练习站,专门拿来练渲染和反爬;本篇用的是它的
spa1子站,页面数据由前端 JS 现取现渲染,天然适合练等待。 - 懒加载、上传、iframe、alert、多窗口、代理这些机制类演示仍留在本机靶站(
http://127.0.0.1:8010,另有一个本机辅助页面服务):在线练习站不会给你「第 1.2 秒才弹出的 alert」这种可控条件,也没有data-src懒加载。 - PhantomJS 只留一小节给「它已经装不上了」的实测判据;所有数字和报错都逐字来自本机输出,没跑过的一律标「未实测」,只当线索不当结论。
装与驱动
1 | pip install selenium |
- 本机这一轮是 Python 3.14.10 + selenium 4.52.0,4.x 和 3.x 的 API 差别大到旧教程基本抄不动,所以第一件事是把版本打出来。
冷启动与热启动
- 第一次跑(缓存目录被临时挪走)要联网下载驱动,之后每次启动都省掉这一步。
1 | import os |
1 | 缓存目录已挪走: True |
- 冷启动 12.85 秒、热启动 1.05 秒,差的是下载环节;缓存结构是
chromedriver/win64/<版本号>/chromedriver.exe,可以并存多个版本。握手时 chromedriver 会起一个本地 HTTP 服务,实测那次端口是 13462。
三种建 driver 的写法
1 | from selenium import webdriver |
1 | 1 默认写法: 书单列表 |
- 三种写法实测都能跑通,区别只在「驱动从哪来、谁负责关」:
- 写法一(默认):最省事,Selenium Manager 按浏览器版本自己找驱动,找不到就联网下载并缓存到
C:\Users\<用户>\.cache\selenium\;日常和教学都用这个。 - 写法二(显式
Service):把驱动文件路径钉死,适合离线机器、CI 里固定版本,或者你想用手动下载的驱动;代价是浏览器升级后路径里的版本号要对得上。 - 写法三(
with):省掉finally: driver.quit(),但退出代码块后 driver 立刻不可用——上面那句读title实测抛MaxRetryError,所以取数据要在块内取完。
- 写法一(默认):最省事,Selenium Manager 按浏览器版本自己找驱动,找不到就联网下载并缓存到
换别的浏览器
- Chrome、Edge、Firefox 本机都跑通了,代价是启动慢不少。
1 | import os |
1 | Edge 启动耗时 6.11s |
- Chrome 热启动 1 秒左右,Edge 6.11 秒、Firefox 8.57 秒:频繁起停浏览器的任务用 Chrome 更划算。
Safari/Ie/WebKitGTK/WPEWebKit/Remote这几个对象在本机能导入,未实测启动(Windows 装不了 Safari,Remote 要另起 Grid 节点)。
PhantomJS 已死
老写法、包目录和那几个包
1 | import json |
1 | selenium: 4.52.0 |
- 模块层面也点不到名:
webdriver.PhantomJS 有吗: False、webdriver.Opera 有吗: False,而 Chrome / Edge / Firefox / Ie / Safari / WebKitGTK / Remote 都是True;desired_capabilities是和 PhantomJS 同一批被清掉的代码路径,替代写法是 Options 属性或options.set_capability(name, value)。 - pip 包最后上传是 2021-04-10,另两个直接 404:这些包只是下载二进制,而 PhantomJS 项目本身早已停止维护、Selenium 从 4.0 起移除支持,整条链路没人再修。
- 未实测:本机没有那个二进制,也没尝试装 pip 包再跑起来;判定全部来自已装的 selenium 4.52.0 和 PyPI 元数据。要「无头」就是
--headless=new。
打开页面与导航
基本导航
get()是同步的:返回时文档加载完了,但不代表异步数据到位。
1 | from selenium import webdriver |
1 | current_url: https://spa1.scrape.center/ |
document.title和driver.title实测一致;back()/forward()走浏览器历史,返回后current_url立刻是新页面的。- 前端路由里
current_url变得比内容早:forward()之后地址已经是详情页,h2还得再等一次才拿得到,别把「URL 对了」当成「页面好了」。
page_source 和 requests 的差别
- 这是「为什么需要浏览器」最硬的证据:同一个 URL,urllib 拿到 952 字节的空壳,浏览器等到卡片后有 27911 字节。
1 | import urllib.request |
1 | [urllib] GET / -> 200 | 952 字节 | 含「霸王别姬」: False |
- 三点:urllib 那份 952 字节里
<div id=app></div>是空的,el-card、h2出现次数都是 0,片名要靠前端再请求/api/movie才有;page_source是实时 DOM 序列化,等之前 2544 字节、等之后 27911 字节;两者不是包含关系,别指望「urllib 拿 HTML 再喂解析器」能替代浏览器。接口本身就是 JSON 时(那 2496 字节)就不该开浏览器,怎么判断见《爬虫-Requests》。
窗口与标签页
尺寸有两个来源
- 无头模式下窗口尺寸由启动参数决定,而「窗口大小」和「视口大小」不是一回事。
1 | from selenium import webdriver |
1 | -- 无头 --window-size=1000,700 -- |
- 1000x700 对应视口 982x548,1280x800 对应
innerWidth1262:宽度差 18、高度差 152。写滚动和懒加载逻辑要用视口尺寸。 - 不给
--window-size时默认视口很小(780x580 /innerHeight428),够不着「首屏可见」的判断。
多标签与句柄
- 一个 driver 管所有窗口,靠句柄集合;
target="_blank"点了也会多一个句柄。
1 | from selenium import webdriver |
1 | -- 多标签 -- |
new_window("tab")开出来的标签停在about:blank,得自己切过去再get();close()只关当前窗口且不会自动切走,关完马上读属性会炸。
1 | from selenium import webdriver |
1 | close 后取 title: NoSuchWindowException | Message: no such window: target window already closed |
- 正确顺序是
close()→switch_to.window(主句柄)→ 再读属性。
八种定位
By 常量与命中数
- Selenium 4 只认一个入口:
find_element(By.常量, 定位串),八个常量的真实取值就是协议里的字符串。 - 这节用本机靶站:
LINK_TEXT要「页面上正好有这段文本」、NAME要表单控件,这些可控条件在线练习站给不了。
1 | from selenium import webdriver |
1 | == /list == |
- 三点观察:
CLASS_NAME只吃单个类名;LINK_TEXT要求文本完全相等且只匹配<a>;NAME只在表单元素上有意义。 - 直接传协议字符串(
find_element("tag name", "a"))也能用,实测返回同一个元素,但正式代码建议一律By.*。
找不到与写错的两种结局
find_elements找不到返回空列表,find_element找不到抛异常;批量取数优先用复数形式。
1 | from selenium import webdriver |
1 | == 找不到时的两种结局 == |
- 选择器本身写错是
InvalidSelectorException,报错会区分 XPath 还是 CSS;元素确实不存在才是NoSuchElementException。
三种等待
- 下面每一段的秒数都是本机一次实跑抄下来的,网络快慢和机器状态都会让它抖零点几秒;看的是相对关系和返回类型,不是绝对值。
隐式等待
-
写法只有一行:
driver.implicitly_wait(秒)。它管的是每一次find_element愿意重试多久,跟页面加载、跟 JS 条件都没关系;默认 0,等于关掉。wait_implicit.py 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
opts = Options()
opts.add_argument("--headless=new")
URL = "http://127.0.0.1:8013/delay?ms=3000" # 页面立刻加载完,3 秒后 JS 插入 <div id="late">
driver = webdriver.Chrome(options=opts)
driver.implicitly_wait(0) # 默认值:找不到就立刻抛
driver.get(URL)
t0 = time.time()
try:
el = driver.find_element(By.ID, "late")
out = el.text
except Exception as exc:
out = type(exc).__name__
print("implicit=0 找 3s 后才出现的元素: %.2fs -> %s" % (time.time() - t0, out))
driver.quit()
driver = webdriver.Chrome(options=opts)
driver.implicitly_wait(5)
driver.get(URL)
t0 = time.time()
el = driver.find_element(By.ID, "late")
print("implicit=5 找 3s 后才出现的元素: %.2fs -> %r" % (time.time() - t0, el.text))
t0 = time.time()
try:
driver.find_element(By.ID, "never")
out = "找到了"
except Exception as exc:
out = type(exc).__name__
print("implicit=5 找根本不存在的元素: %.2fs -> %s" % (time.time() - t0, out))
t0 = time.time()
print("implicit=5 找页面上就有的元素 : %.2fs -> %s"
% (time.time() - t0, driver.find_element(By.TAG_NAME, "p").tag_name))
driver.quit()1
2
3
4implicit=0 找 3s 后才出现的元素: 0.01s -> NoSuchElementException
implicit=5 找 3s 后才出现的元素: 3.01s -> '迟到元素'
implicit=5 找根本不存在的元素: 5.07s -> NoSuchElementException
implicit=5 找页面上就有的元素 : 0.00s -> p -
参数只有一个:秒数(可以是小数),设一次全局生效、直到你再调一次;
implicitly_wait(0)就是关掉。 -
第二行说明它能等到 JS 插进来的元素(3.01 秒),因为它就是在
find_element里反复重试;第三、四行是它的代价:命中 0.00 秒,没命中就每次都把 5 秒等满(5.07 秒)。一次抓取得定位几十个元素,只要有几个不存在,时间全被它吃掉。
显式等待
-
写法是
WebDriverWait(driver, timeout, poll_frequency, ignored_exceptions).until(条件),四个参数逐个说:参数 类型 / 默认 作用 driverWebDriver 等谁,就是那个浏览器实例 timeout秒,必填 最多等多久,到点抛 TimeoutExceptionpoll_frequency默认 0.5每隔多久问一次条件,越小越及时、越费 CPU ignored_exceptions默认只忽略 NoSuchElementException想让别的异常也继续等就传元组,例如 (StaleElementReferenceException,).until(条件)等到条件为真并返回它的值;.until_not(条件)反过来,等到条件为假。- 条件一般来自
selenium.webdriver.support.expected_conditions(惯写EC)。所有*_of_element_located吃的是(By.常量, 定位串)二元组,不是字符串。
wait_explicit.py 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
opts = Options()
opts.add_argument("--headless=new")
driver = webdriver.Chrome(options=opts)
driver.get("http://127.0.0.1:8013/delay?ms=3000")
def timed(label, fn):
t0 = time.time()
try:
out = fn()
except Exception as exc:
out = type(exc).__name__
print("%-38s %.2fs -> %r" % (label, time.time() - t0, out))
timed("presence_of_element_located",
lambda: WebDriverWait(driver, timeout=10, poll_frequency=0.5).until(
EC.presence_of_element_located((By.ID, "late"))).text)
timed("visibility_of_element_located",
lambda: WebDriverWait(driver, 10).until(
EC.visibility_of_element_located((By.ID, "late"))).tag_name)
timed("element_to_be_clickable",
lambda: WebDriverWait(driver, 10).until(
EC.element_to_be_clickable((By.ID, "late-btn"))).get_attribute("disabled"))
timed("title_is", lambda: WebDriverWait(driver, 10).until(EC.title_is("迟到元素")))
timed("text_to_be_present_in_element",
lambda: WebDriverWait(driver, 10).until(
EC.text_to_be_present_in_element((By.ID, "late"), "迟到")))
timed("invisibility_of_element_located(不存在)",
lambda: WebDriverWait(driver, 10).until(
EC.invisibility_of_element_located((By.ID, "never"))))
timed("timeout=3 等永远不出现的元素",
lambda: WebDriverWait(driver, 3).until(
EC.presence_of_element_located((By.ID, "never"))))
timed("until_not 等已存在的元素消失",
lambda: WebDriverWait(driver, 2).until_not(
EC.presence_of_element_located((By.TAG_NAME, "p"))))
timed("把二元组写成裸字符串",
lambda: WebDriverWait(driver, 3).until(
EC.presence_of_element_located("late")))
t0 = time.time()
got = WebDriverWait(driver, 10).until(EC.presence_of_element_located)
print("%-38s %.2fs -> 返回 %s,根本没等元素"
% ("少写一对括号(传的是 EC 类本身)", time.time() - t0, type(got).__name__))
driver.quit()1
2
3
4
5
6
7
8
9
10presence_of_element_located 3.08s -> '迟到元素'
visibility_of_element_located 0.04s -> 'div'
element_to_be_clickable 0.04s -> None
title_is 0.01s -> True
text_to_be_present_in_element 0.02s -> True
invisibility_of_element_located(不存在) 0.01s -> True
timeout=3 等永远不出现的元素 3.08s -> 'TimeoutException'
until_not 等已存在的元素消失 2.06s -> 'TimeoutException'
把二元组写成裸字符串 0.00s -> 'TypeError'
少写一对括号(传的是 EC 类本身) 0.00s -> 返回 function,根本没等元素 -
六个常用条件各是什么:
presence_of_element_located只要 DOM 里有就行(渲染页取数用它最稳);visibility_of_element_located还要「看得见」(宽高不为 0、没display:none);element_to_be_clickable= 可见且disabled不是 true,所以第三行取回来的disabled是None;title_is比标题字符串;text_to_be_present_in_element比元素文本;invisibility_of_element_located是「等它消失」。 -
两个静默坑,实测都在最后两行:定位写成裸字符串不是「等不到」,而是当场
TypeError;少写一对括号(until(EC.presence_of_element_located))连报错都没有——until拿到的是那个函数对象,函数永远为真,0.00 秒就返回,等于根本没等。 -
invisibility_of_element_located对根本不存在的元素也返回True(第六行),适合「等 loading 遮罩消失」,但不能用它判断元素曾经存在过。 -
until_not是「等到条件变假」:上面第八行等一个本来就在的<p>消失,等满 2 秒抛TimeoutException。 -
超时的
message里那串 backtrace 基本没有信息量('Message: \nStacktrace:\nSymbols not available...'),排查要靠自己的日志。
手写轮询
-
自己
while+find_elements+sleep,好处是条件能写成任意 Python 表达式(数量够没够、文本变了没变、JS 返回值)。wait_poll.py 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
opts = Options()
opts.add_argument("--headless=new")
driver = webdriver.Chrome(options=opts)
driver.get("https://spa1.scrape.center/")
t0 = time.time()
while time.time() - t0 < 10:
cards = driver.find_elements(By.CSS_SELECTOR, "div.el-card")
if len(cards) >= 10:
print("手写轮询(0.5s 一轮): %.2fs 拿到 %d 张卡片" % (time.time() - t0, len(cards)))
break
time.sleep(0.5)
else:
print("轮询到超时也没凑够 10 张")
driver.quit()
driver = webdriver.Chrome(options=opts)
driver.get("http://127.0.0.1:8013/delay?ms=3000")
t0 = time.time()
while time.time() - t0 < 10:
if driver.execute_script("return document.querySelectorAll('#late').length") == 1:
print("JS 条件轮询: %.2fs -> 元素出现了" % (time.time() - t0))
break
time.sleep(0.2)
else:
print("JS 条件轮询超时")
driver.quit()1
2手写轮询(0.5s 一轮): 1.02s 拿到 10 张卡片
JS 条件轮询: 3.10s -> 元素出现了 -
while ... else的else只在没 break 时执行,正好当超时分支用。 -
粒度就是代价:0.5 秒一轮意味着平均要多等半秒,上面第一轮 1.02 秒里就包含了这个粒度损失;换成
WebDriverWait的 0.5 秒poll_frequency是同样的道理,但异常处理已经写好了。
四种写法的耗时对照
-
拿实战那节的 spa1 渲染页各跑三轮,每轮都新开 driver、
get()之后才开始计时,免得读到上一页残留。wait_compare.py 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
URL = "https://spa1.scrape.center/"
opts = Options()
opts.add_argument("--headless=new")
def cards(d):
return len(d.find_elements(By.CSS_SELECTOR, "div.el-card"))
def sleep_2(d):
time.sleep(2.0)
return cards(d)
def sleep_5(d):
time.sleep(5.0)
return cards(d)
def implicit(d):
d.implicitly_wait(5)
return cards(d)
def explicit(d):
WebDriverWait(d, 10).until(
EC.presence_of_all_elements_located((By.CSS_SELECTOR, "div.el-card")))
return cards(d)
def poll(d):
t0 = time.time()
while time.time() - t0 < 10:
n = cards(d)
if n >= 10:
return n
time.sleep(0.5)
return cards(d)
for label, body in (("sleep(2.0)", sleep_2), ("sleep(5.0)", sleep_5),
("implicitly_wait(5)", implicit), ("WebDriverWait(10)", explicit),
("手写轮询(0.5s)", poll)):
costs, counts = [], []
for _ in range(3):
d = webdriver.Chrome(options=opts)
d.get(URL)
t0 = time.time()
n = body(d)
costs.append(time.time() - t0)
counts.append(n)
d.quit()
print("%-20s: %s | 平均 %.2fs" % (
label, " | ".join("%.2fs %d 张" % (c, k) for c, k in zip(costs, counts)),
sum(costs) / 3))1
2
3
4
5sleep(2.0) : 2.02s 10 张 | 2.02s 10 张 | 2.01s 10 张 | 平均 2.02s
sleep(5.0) : 5.02s 10 张 | 5.01s 10 张 | 5.01s 10 张 | 平均 5.02s
implicitly_wait(5) : 0.58s 10 张 | 1.36s 10 张 | 0.35s 10 张 | 平均 0.76s
WebDriverWait(10) : 2.05s 10 张 | 1.03s 10 张 | 1.08s 10 张 | 平均 1.38s
手写轮询(0.5s) : 1.55s 10 张 | 1.02s 10 张 | 1.54s 10 张 | 平均 1.37s -
sleep是赌:2 秒这几轮碰巧够,站点慢一点就取到 0 张;改成 5 秒稳了,可平均 5.02 秒里大部分是白等。 -
隐式等待这次最快(平均 0.76 秒)但它测的不是「10 张齐了」:
implicitly_wait只要页面上出现第一个div.el-card就返回,剩下的卡片是渲染速度赶上的。所以它的数字不能当「数据齐了」的证据,换个站点就可能变成只拿到 3 张就往下走。 -
WebDriverWait用presence_of_all_elements_located(要求一次取到的列表非空,同样是首个出现即返回,但语义上更明确)与手写轮询(判的是>= 10)都在 1.4 秒上下,多出来的那部分是 0.5 秒轮询粒度。 -
结论照旧:默认用
WebDriverWait+ 明确条件,implicitly_wait保持 0;要「数够几张才算好」这种条件,只有显式等待或手写轮询能表达。
隐式与显式混用
-
两者同时设置时,实际耗时由隐式等待决定,因为显式等待每问一次条件,底层那次
find_element自己就要把隐式的秒数等满:wait_mix.py 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
DELAY = "http://127.0.0.1:8013/delay?ms=3000"
opts = Options()
opts.add_argument("--headless=new")
for imp, wait in ((0, 3), (5, 3)):
driver = webdriver.Chrome(options=opts)
try:
driver.implicitly_wait(imp)
driver.get(DELAY)
t0 = time.time()
try:
WebDriverWait(driver, wait).until(
EC.presence_of_element_located((By.ID, "never")))
out = "找到了"
except Exception as exc:
out = type(exc).__name__
print("implicit=%d + wait=%d : %.2fs -> %s"
% (imp, wait, time.time() - t0, out))
finally:
driver.quit()1
2implicit=0 + wait=3 : 3.04s -> TimeoutException
implicit=5 + wait=3 : 5.06s -> TimeoutException -
所以用显式等待就让
implicitly_wait保持默认的 0,本篇后面所有示例都遵守这条。
交互与表单
submit 与 click
submit()不要求元素是按钮,实测和点提交按钮到达同一个后端;但真实站点的提交按钮常绑了 JS(先校验再提交),submit()会绕过那套逻辑,所以默认用click()。表单和下拉要在结构固定的页面上复现,这两小节也用本机靶站。
1 | from selenium import webdriver |
1 | == submit() vs click() == |
- 隐藏域不可交互但
value照样能读,所以「带上 token」根本不用操作那个 input,读出来拼参数即可。
下拉框用 Select
Select只包<select>,单选多选行为不同,四类失败情形本机都复现过。
1 | from selenium import webdriver |
1 | == Select 下拉 == |
- 很多站点用 div 假装下拉框(Bootstrap-select、Element-UI 之类),
Select完全不认,只能「点一下展开 → 等选项出现 → 点选项」。
alert 与 iframe
alert 必须先处理
- 弹窗是模态的:开着时大部分命令都会失败,因为焦点不在文档里。alert、iframe、多窗口这类机制要页面自己「配合演出」,在线练习站不给这种可控条件,所以这几节都在本机辅助页面上跑。
1 | from selenium import webdriver |
1 | == alert == |
- 三条规律:没弹窗时访问
switch_to.alert抛NoAlertPresentException;弹窗开着点元素抛UnexpectedAlertPresentException,报错里附带Alert Text: xxx(有时这是唯一抓到文案的机会);读title这类纯查询命令不会炸。 - 等弹窗用
EC.alert_is_present():1.2 秒后才出现的 alert,条件在 1.51 秒拿到,裸取是 0.00 秒直接失败。
iframe 要切进去
- 顶层文档永远找不到 iframe 内部元素,必须先
switch_to.frame();三层嵌套要一层层切。
1 | from selenium import webdriver |
1 | == iframe:三层嵌套 == |
switch_to.frame()可以给 name、id 或直接给一个WebElement;parent_frame()回上一层、default_content()从最里层直接跳回顶层。- 切进 iframe 之后
current_url不变(还是父页地址),所以判断自己在哪一层只能靠「能不能找到只有里面才有的元素」。 - frame 是异步插入时用
frame_to_be_available_and_switch_to_it,它成功后已经切进去了,返回的是True而不是元素。
执行 JS 与懒加载
返回值类型映射
execute_script按固定规则把 JS 返回值翻译成 Python 对象,踩坑基本都在这张表上。
1 | from selenium import webdriver |
1 | return 1 数字 -> 1 (int) |
- 三个反直觉的点:
undefined和null都变成None,分不出来;new Date()变成空{},日期信息全丢;对象里塞了window时会变成一个以window-fcc6-11e5-b4f8-330a88ab9d7f为键的内部引用串。 - 返回 DOM 节点会转成
WebElement,可以继续操作:实测取「下一页」拿到的是元素对象,text: 下一页、href: http://127.0.0.1:8010/list?page=2;querySelectorAll返回的 NodeList 变成 list,长度 3。
懒加载两条路
- 这一节留在本机靶站,因为在线站没有懒加载可练:
ssr1首页 HTML 里data-src出现 0 次、lazy出现 0 次,10 个img.cover全都直接带src。 - 懒加载图片的真实 HTML 是
src空、地址藏在data-src。
1 | import re |
1 | [lazy/requests] img 标签原文: ['<img class="lazy" data-src="http://127.0.0.1:8010/img/1.png" src="" alt="第 1 张">'] |
- 逐张
scrollIntoView之后src被页面自己的脚本填上(naturalWidth=102说明图真下来了),data-src依然在,所以取地址优先src、空了回落data-src。 - 一个真实的坑:靶站
/lazy那页把 IntersectionObserver 的注册脚本写在head里,实测滚动 1.5 秒后三张图的src仍是空串、class 也没变——脚本时机不对时「滚动 + 等待」是白等。
1 | import time |
1 | [靶站/lazy] 懒加载脚本在哪个标签里: HEAD |
- 另一条路是干脆自己写
src绕过观察器,实测一次拿到三张地址、complete全True。
1 | import time |
1 | JS 直接写 src: ['http://127.0.0.1:8010/img/1.png', 'http://127.0.0.1:8010/img/2.png', 'http://127.0.0.1:8010/img/3.png'] |
异步脚本
1 | import time |
1 | == execute_async_script:必须自己调用回调 == |
execute_async_script要求脚本自己调用回调arguments[arguments.length - 1],忘了调只会等到script timeout。execute_script里 return 一个 Promise 时,实测是等它 resolve 之后再返回 resolve 的值(1.21 秒拿到'晚到'),不会当场返回一个 Promise 对象。- 更稳的做法是轮询一个「页面上已经能数出来的东西」,也就是 JS 条件等待,这里换成 spa1 的卡片数。
1 | from selenium import webdriver |
1 | JS 条件等到 10 张卡片 | 首条: 霸王别姬 - Farewell My Concubine |
截图
视口截图
save_screenshot存文件、get_screenshot_as_png返回字节、get_screenshot_as_base64返回字符串,内容一致。
1 | import base64 |
1 | == 视口截图 == |
- 截图尺寸等于视口(982x548)而不是窗口(1000x700);
resize到 500x400 后截图是 504x248,宽度还多出几个像素,说明无头的视口换算不完全是「窗口减 18」。 - 存二进制用
open("x.png", "wb").write(driver.get_screenshot_as_png())。
元素截图
- 只要某个元素的画面(验证码、表格、图表)就用
element.screenshot(),它截的是元素的包围盒。
1 | import io |
1 | == 元素截图 == |
- 元素截图尺寸和
rect的宽高一致(102x42),拿来喂 OCR 是可行的:那张验证码灰度范围 0~255、黑像素占比 32.8%,从整页截图裁同区域也是 102x42,只是字节数略不同(257 对 242)。 - 元素截图要求元素在视口内可见,被裁掉的和
display:none的截不到。
在线站的验证码取不到
- scrape.center 的
captcha1子站是练验证码的,但实测在无头 Chrome 里拿不到验证码图:首屏只有两个 input 和一个 logo,填占位口令点登录后加载的是极验(geetest)脚本,img、canvas一个都没多出来,也没有第三个输入框。
1 | import time |
1 | [浏览器] 点登录 6 秒后: input 2 | img 1 | canvas 0 | iframe 0 |
- 结论写死:这个站现在测不了图片验证码,识别链路回到本机靶站的
/login——那里的img#capimg是真图片,页面还把答案写在p.tip里方便对分(真实站点不会这么好心)。识别只验链路,本篇不去真的登录,password一律写占位字面量。
靶站验证码走一遍识别
- 靶站的验证码是七段数码字体。先按「列投影切字符段 + 用站点自己的图建模板比像素」写一条链路,同一次循环里再把整图丢给 ddddocr 和 tesseract 对照。
1 | import io |
1 | 建模板用了 20 张图 | 每张切成 4 段 |
- 同一批图,模板比对全对,ddddocr 六次只蒙对一次:
8被认成s、0被认成d、3被认成引——通用模型没见过这种七段字体,而字符段位置每次都一样,比像素反而更稳。 - 两个前提:
delete_all_cookies()每次都要清,靶站的验证码跟着会话走,不清就是拿同一张图反复测;模板必须覆盖全部字符,实测只用 8 张图建库时漏了字符1,带 1 的答案就全错。
下载与上传
用偏好设置管下载
- 下载目录、是否弹「保留/放弃」框都靠
prefs关掉,不需要额外插件;判断完成的可靠信号是不再出现.crdownload。
1 | import os |
1 | == 小文件:点带 download 属性的链接 == |
- 8MB 的文件 0.13 秒就出现
.crdownload,8.19 秒字节数已经到位(8388608),但要到 13.52 秒才改名成big.bin:中间那 5.3 秒不能按「字节数不再变」判完成,必须等扩展名落定。 - 同名再下时 Chrome 自动加序号(实测第 14 秒出现
big (1).bin),要覆盖就得自己先清目录。 driver.get()打开浏览器不渲染的类型也会触发下载(实测目录有变化),但拿不到进度;打开被防盗链拦住的图片时页面会变成靶站的拒绝页(实测title: 404)。所以下载交给 requests,浏览器只负责需要点击才触发的下载。
文件上传
- 上传不需要外部工具:
input[type=file]直接send_keys一个绝对路径;在线站不会随便给你一个能试的 file input,所以这节也用本机辅助页面。
1 | import os |
1 | == 上传:给 input[type=file] 直接 send_keys 绝对路径 == |
- 三个要点:路径必须存在且绝对,否则
InvalidArgumentException: File not found;很多站点把真正的input藏起来只留一个美化按钮,这时照样是对那个input送路径而不是点按钮;clear()能清空且不报错。 - 未实测:一次传多个文件、以及拖拽上传到 dropzone 的成功率。
代理与无头特征
无头的 UA 与指纹
- 无头 Chrome 的 UA 里明晃晃写着
HeadlessChrome,服务端一眼能识别。
1 | import json |
1 | [headless=new] |
headless=new和headless=old拿到的 UA 完全一样(都是HeadlessChrome/156.0.0.0),差别只在功能完整度;navigator.webdriver在三种模式下全部为真,这是比 UA 更硬的特征。- 无头固定 800x600 屏幕、780x580/762x428 窗口视口,也是「有头不会有的组合」。靶站的判定:requests 直接打
/ua被拒,换个像样的 UA 才放行。
1 | import requests |
1 | 响应: { "ok": false, "ua": "python-requests/2.34.2", "判定": "非浏览器 UA,拒绝" } |
抹掉 webdriver 标记
1 | from selenium import webdriver |
1 | [--disable-blink-features=AutomationControlled] |
- 真正管用的是
--disable-blink-features=AutomationControlled:navigator.webdriver从True变False,但'webdriver' in navigator仍是True(属性还在,只是值为假),UA 里HeadlessChrome一个字符都没变——只关这一个开关等于没隐身。 - 更要紧的是 chromedriver 注入的
cdc_adoQpoasnfa76pfcZLmcfl_*那串全局变量还在(上面实测列出六个);要连这些一起处理得在页面加载前用 CDP 注入脚本,本篇未实测。excludeSwitches单独用则完全没效果。
HTTP 代理
- Chrome 的代理参数很好写,但对
127.0.0.1这类回环地址默认不走代理。
1 | import json |
1 | [不加代理] |
1 | import json |
1 | client: 127.0.0.1 |
- 加上
<-loopback>之后代理才真的生效:响应头出现Via: 1.1 spider-proxy、X-Forwarded-For: 127.0.0.1;requests 走同一代理本来就能看到Via,所以这是 Chrome 侧的策略不是代理的问题。 - 代理端口写错时,请求回环地址默认绕过代理、页面照样打开;只有配合
<-loopback>强制让回环也走代理,才抛net::ERR_PROXY_CONNECTION_FAILED,报错很好认。 - SOCKS5 写法
--proxy-server=socks5://127.0.0.1:8012实测能启动、页面能开,但配合<-loopback>也没让回环请求走代理(Via仍是「无」)。未实测公网代理下的真实出口 IP 和带认证的代理。
实战取数
主线:渲染页取数并落地
1 | import csv |
1 | get() 返回: 0.49s | 此刻 page_source 2544 字节 | 卡片 0 张 |
get()返回时那份 2544 字节的 DOM 里一张卡片都没有,presence_of_all_elements_located等到 10 张齐了才往下走,page_source也在这一步涨到 27979 字节。- 选择器只能照这套页面真实渲染出来的结构写:SPA 版片名锚点的
class是空串,服务端渲染的 ssr1 同一段却是class="name",照抄另一套直接NoSuchElementException。 - 先把三张卡片的链接取完再逐个
get():导航一次旧元素引用全部作废,边遍历卡片边跳转会直接撞上 stale(见常见报错那节)。详情页两个div.info分别是「地区 / 时长」和上映日期,类型是多个按钮拼|。 - 中文 CSV 用
utf-8-sig(带 BOM)Excel 才不乱码:文件头前三字节就是b'\xef\xbb\xbf',整个文件 357 字节。
翻页两种路线
1 | import json |
1 | == 路线一:点「下一页」 == |
- 路线一跟着浏览器走,停止条件是「下一页按钮不存在」;点完必须先确认列表第一个元素变了再取数,否则读到的是上一页残留。
- 路线二快得多,但要自己判越界:
/page/11的接口是 200、还有 4 条数据,页面却一张卡片都不渲染,所以判据是「等不到卡片」而不是 HTTP 状态码。页码条里那个空字符串是省略号占位,照着它数总页数会错。
本地最小对照:ajax 页
- 在线站的渲染流程走完了,留一个本机最小对照:数据由点击触发,
loaded这个隐藏域才是「取完了」的信号,完整链路是「点按钮 → 等loaded=yes→ 再取列表」。
1 | from selenium import webdriver |
1 | == 本地最小对照:ajax 页 loaded 信号 == |
- 「用 JS 直接取接口数据」是从页面已缓存的响应里数出 4 条;接口本身就是 JSON 时,看一眼 Network 面板,可能一段 requests 就替代掉整个浏览器。
常见报错
报错速查
| 场景 | 异常 | 报错里的关键字 |
|---|---|---|
| 元素不存在 | NoSuchElementException | Unable to locate element |
| XPath 或 CSS 写错 | InvalidSelectorException | invalid selector |
| JS 语法错 | JavascriptException | javascript error: Unexpected token |
| URL 少协议头 | InvalidArgumentException | invalid argument |
| 给隐藏元素打字 | ElementNotInteractableException | element not interactable |
| 被别的元素盖住 | ElementClickInterceptedException | element click intercepted |
| 拖到视口外 | MoveTargetOutOfBoundsException | move target out of bounds |
| 页面跳转后用旧引用 | StaleElementReferenceException | stale element reference |
| 显式等待超时 | TimeoutException | 空 message + Stacktrace |
| 加载超时 | TimeoutException | Timed out receiving message from renderer |
| 异步脚本没回调 | TimeoutException | script timeout |
| 弹窗开着就操作 | UnexpectedAlertPresentException | Alert Text: |
| 切错窗口或框架 | NoSuchWindowException / NoSuchFrameException | no such window |
| 驱动路径错 | NoSuchDriverException | Unable to obtain driver for chrome |
| 代理连不上 | WebDriverException | net::ERR_PROXY_CONNECTION_FAILED |
最脏的那个:stale
- 页面重画(前端框架换组件、列表刷新)之后,之前拿到的元素引用全部作废,读写都炸。
1 | from selenium import webdriver |
1 | -- 整块重画导致的 stale -- |
- 修法是重新定位一次,别在旧引用上重试;批量取数时把「定位 → 立刻读字段」贴紧,别把元素对象存进列表很久再用。跨页面用旧元素、在旧元素上找子元素都是同一个异常。
点不动与不可交互
1 | from selenium import webdriver |
1 | -- 被别的元素盖住 -- |
- 被遮住的报错直接告诉你谁挡住了;应急可以用 JS 点(
execute_script("arguments[0].click()", el),实测能点动),但它绕过页面校验,提交类操作慎用,正规做法是先让遮罩消失或把元素滚进视口。 readonly输入框send_keys不报错,别指望靠异常发现它,要读属性判断。
参考
- Selenium 官方文档(中文)与 WebDriver 错误对照表
- Chrome DevTools Protocol 命令表
- scrape.center:《Python3 网络爬虫开发实战》作者搭的公开练习站,本篇渲染示例用的是 spa1 子站
- 本系列相关篇目:《爬虫-Requests》(接口与验证码识别)、《爬虫-XPath》 与 《爬虫-BeautifulSoup》(静态 HTML 解析)、《爬虫-Scrapy》(成规模的抓取)、《爬虫-代理》(cookie 与代理)。