网页抓取如何把网页变成一个句子文件?

林邦源 · AI 笔记 · 2026年11月3日 · 阅读时间约 6 分钟

English 繁體中文 简体中文

网页不是纯文本。在你所见的背后,页面其实是一段很长的 HTML 代码 (HyperText Markup Language,超文本标记语言):可读的文章与菜单、页脚、样式, 以及让页面可交互的脚本混在一起。程序要对网页做任何有用的事——数句子、搜索内容, 或喂给 AI 模型——都必须先从那些代码中抽出可读的文本。

用程序下载页面并提取其文本,称为网页抓取(web scraping):程序把有用的 内容从页面上刮下来,把代码留在后面。本文的程序是一个小型网页抓取器,分四步运行: 下载网页、只保留值得阅读的部分、把文本切成句子,再把句子存入文本文件,每行一句。 示例页面是 Panadol 关于头痛的页面,输出文件名为 panadol.txt。

步骤 1:下载网页

url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding

requests 库负责从互联网下载页面。前两行设置这次调用:url 是网址,headers 带着一个 User-Agent,即一个告诉网站 “谁在请求”的简短名称。许多网站会拒绝看起来不像来自浏览器的请求,所以程序用一个 像浏览器的名称介绍自己。

requests.get(...) 下载页面;resp 是 response(响应, 即服务器的答复)的缩写,而 timeout=15 表示 15 秒后放弃,不再无止境地等。 raise_for_status() 在服务器报告失败(例如“页面不存在”)时,以清晰的 错误信息停止程序,而不是悄悄地把一个错误页面当成文章保存起来。

最后一行关乎编码:把页面的原始字节变成可读字符的规则。网页经常错误 声明自己的编码,所以程序改用 apparent_encoding,即 requests 从实际字节推测出来的编码。这样读取文本时,特殊字符才能保持正确。

步骤 2:只保留可读的文本

soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
    tag.decompose()

lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]

来自 bs4 包(Beautiful Soup 4)的 BeautifulSoup,把 HTML 代码解析成一棵程序可以搜索的标签树;结果命名为 soup。接下来两行丢掉五种 我们不要的标签:script(JavaScript 代码)、style(页面样式)、 noscript(JavaScript 关闭时显示的文本)、nav(菜单)和 footer(页面底部)。decompose() 把每个标签连同里面的一切删除, 于是只剩下真正的内容。

然后 find_all 收集值得阅读的标签:标题(h1 最大, h3 较小)、段落(p)和列表项(li)。对每个 标签,get_text(" ") 只取出文字,而 " ".join(... .split()) 把任何连续的空格和换行压成单个空格,所以每个标签变成一行整洁的文本。第二行丢掉空行, 只保留真正含有文字的行。

步骤 3:把每一行切成句子

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

一行可能包含几个句子,所以程序在每个“句号、感叹号或问号之后是空格,而空格之后是 大写字母”的位置切开每一行。这个模式是一个正则表达式(regular expression),由 Python 的 re 模块处理的搜索模式,而它周围那五行在 程序如何把一段文本切成句子?中有逐部分讲解。这几行之后, lines 这个名字指的是句子,而不再是网页的行。

步骤 4:把句子存入文件

with open("panadol.txt", "w", encoding="utf-8") as outfile:
    for line in lines:
        outfile.write(line + "\n")

open("panadol.txt", "w", ...) 在同一文件夹打开文件以供写入:文件不存在就 创建,已存在就清空。encoding="utf-8" 让每个字符保持正确;UTF-8 是把世上 每种语言的字符写入磁盘最常用的方式。之后循环把每个句子连同 "\n"(换行 字符)写入,所以每个句子都自成一行。事后打开 panadol.txt,是查看程序在 页面上找到了什么的最简单方法。

完整程序

四个步骤合起来,一共 32 行。最后三行打印一份简短报告,让你不开文件也能看到结果:

import re

import requests
from bs4 import BeautifulSoup

url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding

soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
    tag.decompose()

lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

with open("panadol.txt", "w", encoding="utf-8") as outfile:
    for line in lines:
        outfile.write(line + "\n")

print(f"Saved {len(lines)} sentences to panadol.txt")
print("The first three sentences:")
for line in lines[:3]:
    print(line)

报告那几行用上了 f-string:带有 {...} 空位的字符串,由 Python 填入内容,所以 {len(lines)} 会变成句子的数目。 lines[:3] 取列表的前三项。

在自己的电脑上运行

下载 zip 文件并解压到 一个文件夹。这个 zip 包含程序和一个 pyproject.toml 项目文件;没有输入文件, 因为输入就是网页本身。在 Visual Studio Code 中打开文件夹,然后在终端逐行输入以下三行:

uv python pin 3.12.10
uv sync
uv run webpage_sentences.py

第一行记录这个文件夹使用哪个 Python 版本。第二行设置项目,并安装程序需要的两个软件包 requests 和 beautifulsoup4。第三行运行程序。输出如下:

Saved 307 sentences to panadol.txt
The first three sentences:
For Healthcare Professionals
United Kingdom
ASIA PACIFIC

你运行时确切的数字可能不同,因为网站会不时更新页面。再留意前三个句子是什么:它们来自 页面最顶端的国家选择器,而不是头痛文章。这是第一个提示:提取效果好,但并不完美, 下一节会讨论。打开 panadol.txt 可以看到程序保存的全部句子。要读取另一页, 改动 url 那行和输出文件名即可。

如果你还没有设置 uv,请先从 如何安装 Visual Studio Code?开始,然后看 uv 笔记: Windows 或 Mac。

局限

在 AI 时代,网站是否还会被人阅读,已经成为一个问题。许多用户不再亲自浏览网站; 他们只是问 AI 模型,然后读它给出的答案。如果一家公司或一个人阻止所有程序读取其页面, AI 模型同样读不到:这些内容永远不会影响 AI 的答案,网站也永远不会被点名引用。 这就是为什么答案引擎优化(Answer Engine Optimization,AEO)和 生成式引擎优化(Generative Engine Optimization,GEO)——让你的页面 不只迎合传统搜索引擎,也迎合 AI 搜索——对任何想在互联网上占一席之地的公司或个人, 都正变得不可或缺。把每个程序拒之门外的网站也许感觉安全,但最终会沦为互联网世界里的 孤岛:虽然在线,却不被 AI 看见,也缺席于每一个 AI 答案。

这些抓取问题没有一个是致命的:对大多数普通的文章页面,这四个步骤都能产出一份干净的 句子列表,可供下一阶段的工作使用。

延伸阅读