网页抓取如何把网页变成一个句子文件?
网页不是纯文本。在你所见的背后,页面其实是一段很长的 HTML 代码 (HyperText Markup Language,超文本标记语言):可读的文章与菜单、页脚、样式, 以及让页面可交互的脚本混在一起。程序要对网页做任何有用的事——数句子、搜索内容, 或喂给 AI 模型——都必须先从那些代码中抽出可读的文本。
用程序下载页面并提取其文本,称为网页抓取(web scraping):程序把有用的
内容从页面上刮下来,把代码留在后面。本文的程序是一个小型网页抓取器,分四步运行:
下载网页、只保留值得阅读的部分、把文本切成句子,再把句子存入文本文件,每行一句。
示例页面是 Panadol 关于头痛的页面,输出文件名为 panadol.txt。
步骤 1:下载网页
url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding
requests 库负责从互联网下载页面。前两行设置这次调用:url
是网址,headers 带着一个 User-Agent,即一个告诉网站
“谁在请求”的简短名称。许多网站会拒绝看起来不像来自浏览器的请求,所以程序用一个
像浏览器的名称介绍自己。
requests.get(...) 下载页面;resp 是 response(响应,
即服务器的答复)的缩写,而 timeout=15 表示 15 秒后放弃,不再无止境地等。
raise_for_status() 在服务器报告失败(例如“页面不存在”)时,以清晰的
错误信息停止程序,而不是悄悄地把一个错误页面当成文章保存起来。
最后一行关乎编码:把页面的原始字节变成可读字符的规则。网页经常错误
声明自己的编码,所以程序改用 apparent_encoding,即 requests
从实际字节推测出来的编码。这样读取文本时,特殊字符才能保持正确。
步骤 2:只保留可读的文本
soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
tag.decompose()
lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]
来自 bs4 包(Beautiful Soup 4)的 BeautifulSoup,把 HTML
代码解析成一棵程序可以搜索的标签树;结果命名为 soup。接下来两行丢掉五种
我们不要的标签:script(JavaScript 代码)、style(页面样式)、
noscript(JavaScript 关闭时显示的文本)、nav(菜单)和
footer(页面底部)。decompose() 把每个标签连同里面的一切删除,
于是只剩下真正的内容。
然后 find_all 收集值得阅读的标签:标题(h1 最大,
h3 较小)、段落(p)和列表项(li)。对每个
标签,get_text(" ") 只取出文字,而 " ".join(... .split())
把任何连续的空格和换行压成单个空格,所以每个标签变成一行整洁的文本。第二行丢掉空行,
只保留真正含有文字的行。
步骤 3:把每一行切成句子
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
一行可能包含几个句子,所以程序在每个“句号、感叹号或问号之后是空格,而空格之后是
大写字母”的位置切开每一行。这个模式是一个正则表达式(regular
expression),由 Python 的 re 模块处理的搜索模式,而它周围那五行在
程序如何把一段文本切成句子?中有逐部分讲解。这几行之后,
lines 这个名字指的是句子,而不再是网页的行。
步骤 4:把句子存入文件
with open("panadol.txt", "w", encoding="utf-8") as outfile:
for line in lines:
outfile.write(line + "\n")
open("panadol.txt", "w", ...) 在同一文件夹打开文件以供写入:文件不存在就
创建,已存在就清空。encoding="utf-8" 让每个字符保持正确;UTF-8 是把世上
每种语言的字符写入磁盘最常用的方式。之后循环把每个句子连同 "\n"(换行
字符)写入,所以每个句子都自成一行。事后打开 panadol.txt,是查看程序在
页面上找到了什么的最简单方法。
完整程序
四个步骤合起来,一共 32 行。最后三行打印一份简短报告,让你不开文件也能看到结果:
import re
import requests
from bs4 import BeautifulSoup
url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding
soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
tag.decompose()
lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
with open("panadol.txt", "w", encoding="utf-8") as outfile:
for line in lines:
outfile.write(line + "\n")
print(f"Saved {len(lines)} sentences to panadol.txt")
print("The first three sentences:")
for line in lines[:3]:
print(line)
报告那几行用上了 f-string:带有 {...} 空位的字符串,由
Python 填入内容,所以 {len(lines)} 会变成句子的数目。
lines[:3] 取列表的前三项。
在自己的电脑上运行
下载 zip 文件并解压到
一个文件夹。这个 zip 包含程序和一个 pyproject.toml 项目文件;没有输入文件,
因为输入就是网页本身。在 Visual Studio Code 中打开文件夹,然后在终端逐行输入以下三行:
uv python pin 3.12.10
uv sync
uv run webpage_sentences.py
第一行记录这个文件夹使用哪个 Python 版本。第二行设置项目,并安装程序需要的两个软件包
requests 和 beautifulsoup4。第三行运行程序。输出如下:
Saved 307 sentences to panadol.txt
The first three sentences:
For Healthcare Professionals
United Kingdom
ASIA PACIFIC
你运行时确切的数字可能不同,因为网站会不时更新页面。再留意前三个句子是什么:它们来自
页面最顶端的国家选择器,而不是头痛文章。这是第一个提示:提取效果好,但并不完美,
下一节会讨论。打开 panadol.txt 可以看到程序保存的全部句子。要读取另一页,
改动 url 那行和输出文件名即可。
如果你还没有设置 uv,请先从 如何安装 Visual Studio Code?开始,然后看 uv 笔记: Windows 或 Mac。
局限
- 有些导航文本会漏网。Panadol 页面顶端的国家选择器不在
nav标签内,所以它的文字在清理后仍然存留,如上面的输出所示。每个网站 编排 HTML 的方式都不同,所以对一页有效的清理列表,在另一页可能留下零碎的杂物。 - 有些页面会拒绝或误导抓取器。网站可以屏蔽并非来自真正浏览器的请求; 有些页面在下载之后才用 JavaScript 构建内容,所以下载回来的 HTML 根本不含文章。 网站也可以在使用条款中禁止抓取,所以请温和地抓取:这里一页、那里一页,而不是用循环 抓取成千上万页。
- 切句子有其局限。这个正则表达式对手打的英文切得很好,但遇到 Dr. 这类缩写,以及标点之后是小写字母的情况就会出错;详情见 切句子的笔记。
在 AI 时代,网站是否还会被人阅读,已经成为一个问题。许多用户不再亲自浏览网站; 他们只是问 AI 模型,然后读它给出的答案。如果一家公司或一个人阻止所有程序读取其页面, AI 模型同样读不到:这些内容永远不会影响 AI 的答案,网站也永远不会被点名引用。 这就是为什么答案引擎优化(Answer Engine Optimization,AEO)和 生成式引擎优化(Generative Engine Optimization,GEO)——让你的页面 不只迎合传统搜索引擎,也迎合 AI 搜索——对任何想在互联网上占一席之地的公司或个人, 都正变得不可或缺。把每个程序拒之门外的网站也许感觉安全,但最终会沦为互联网世界里的 孤岛:虽然在线,却不被 AI 看见,也缺席于每一个 AI 答案。
这些抓取问题没有一个是致命的:对大多数普通的文章页面,这四个步骤都能产出一份干净的 句子列表,可供下一阶段的工作使用。
延伸阅读
- requests 文档详细说明 headers、timeout 和编码。
- Beautiful Soup 文档列出搜索页面的各种方法,远超这里用到的两种。
- 程序如何把一段文本切成句子?把步骤 3 的正则表达式逐一拆开讲解。
- 如何提供网页,用检索增强生成(RAG)减少 AI 幻觉?展示保存下来的句子有何用处:把它们喂给 AI 模型,让它的答案可以追溯回真实的句子。