爬虫-BeautifulSoup
这篇讲什么
- BeautifulSoup 4.15 的用法按「查找 → 取属性 → 取文本 → 遍历 → 改结构」五步走,每条都带本机实测输出。
- 抓页面的示例都指向公开练习站 scrape.center,它是《Python3 网络爬虫开发实战》的作者搭的,专门给爬虫练手,不校验请求头。
- 解析器不是随便选:
html.parser、lxml、html5lib对同一份残缺 HTML 的补全结果不一样,真实列表页上的速度实测差近 3 倍。 - 记下三个真实踩坑点:不指定解析器会吃
GuessedAtParserWarning、find_all(text=)已弃用、往文档里塞「用 lxml 解析出来的片段」会连<html><body>一起搬进去。