程序如何把一段文字切分成句子?
程序可以从许多地方读入文字:磁盘上的文本文件,或从互联网抓取的网页。无论哪种方式, 程序通常每次取得一行。然而,一行不是一句:一行可以容纳好几句,一句也可以跨过 换行。许多任务,例如数句子或把文字喂给 AI 模型,都需要把文字变成一个句子的 列表。
最直觉的做法是在每个句号处切开。这立刻就失败,因为句号还有其他工作:它终结 e.g. 和 Dr. 这类缩写,也存在于 3.14 这类数字之中。所以切分 不能只盯着句号本身,而这正是本文的代码用五行做到的事:
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
本文其余部分会用浅显的话解释这五行,然后把它们放进一个你可以运行的小程序。
什么是正则表达式
引号里那长长的一段是正则表达式(regular expression):用一套
自己的小记法写成的搜索模式。正则表达式找的不是固定的字词,而是描述一个形状,
例如“一个句号,然后一个空格,然后一个大写字母”。Python 的 re 模块
负责匹配;re 就是 regular expression 的缩写。
re.split(pattern, line) 在模式匹配到的每个位置把该行切开,并把切出的
片段以列表返回。
模式的三个部分
(?<=[.!?])\s+(?=[A-Z])
模式说明在哪里切,它有三个部分。
(?<=[.!?])— 向后看。切分点必须紧跟在.、!或?之后。方括号列出允许的字符,而(?<=...)这层包装的意思是“检查后面是什么,但不把它算进切分里”, 所以标点会留在它所属句子的末尾。\s+— 空白。\s代表任何空白 字符:空格、制表符,或换行。+意思是“连续一个或以上”。这是模式中 唯一真正被移除的部分:它成为切分点。(?=[A-Z])— 向前看。空白之后的第一个字符 必须是大写字母,A到Z。(?=...)这层包装 同样是“检查但不计入”,所以大写字母留在下一句的开头。
合成一句话,模式说的是:在夹于句末标点与大写字母之间的空白处切开。 对键入的英文而言,这是一个合理的句子边界工作定义。
外围的五行
第一行 sentences = [] 创建一个空列表来收集结果。方括号是 Python
写列表的方式,此时里面还没有任何东西。
接下来三行是循环套循环。外层循环逐行走过文字。内层循环取出每一行,在模式匹配之处
切开,再逐片走过。sentences.append(sentence) 把每一片加到列表末尾。
最后一行 lines = sentences 用句子列表取代行列表。从那一刻起,
lines 这个名字指的就是句子。
完整程序
上面那五行,放进一个完整的程序里。它读取名为 my_text.txt 的文件,
把其中的行切分成句子,并每行打印一句,一共 12 行:
import re
with open("my_text.txt", encoding="utf-8") as f:
lines = f.readlines()
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
for sentence in lines:
print(sentence.strip())
import re 引入正则表达式模块。with open(...) 那行打开文件
供读取;encoding="utf-8" 告诉 Python 字符是如何存储的,所以文件中的
任何字符都能正确读出。UTF-8 是 Unicode Transformation Format
(统一码转换格式)的缩写:Unicode 是为每种语言的每个字符赋予独有编号的标准,而
UTF-8 是把这些编号写入磁盘最常用的方式。f.readlines() 读取整个文件,
并把各行以列表返回。
最后两行打印结果。每句末尾可能仍带着一个看不见的换行字符,strip()
把它移除,让每句各打印一行。
在自己的电脑上运行
下载 zip 文件
并解压到一个文件夹。zip 内有程序、一个示例 my_text.txt,以及一个
pyproject.toml 项目文件。在 Visual Studio Code 中打开文件夹,然后
在终端逐行输入以下三行:
uv python pin 3.12.10
uv sync
uv run split_sentences.py
第一行记录这个文件夹使用哪个 Python 版本。第二行建立项目;这个程序不需要额外的 软件包,所以没有东西要安装。第三行运行程序。用示例文件,输出是:
The rain stopped just before noon.
Did the football match go ahead?
Yes, it did!
The crowd cheered as the players returned.
By three o'clock the sun was out.
示例文件有两行、五句,正好说明重点:句子和行不是一回事。编辑
my_text.txt,放入你自己的文字试试。
如果你还未设置 uv,请先从如何安装 Visual Studio Code? 开始,然后看 uv 笔记:Windows 或 Mac。
局限
这个模式是工作定义,不是完美定义,而看清它在哪里失败,正是记住它真正含义的 最好方法。
- 带大写的缩写。“Dr. Lam arrived.”会被切成 “Dr.”和“Lam arrived.”,因为 Dr. 之后的空格后面 跟着大写字母。模式分不清称谓和句末。
- 数字。“It costs 3.14 dollars.”不会被切开,但纯属 侥幸:3.14 的小数点后没有空白,所以模式根本不会考虑它。
- 标点后接小写。“…and then it rained. nobody moved.”不会被切开,因为小写字母过不了大写检查,两句就黏在一起。
对以一般方式键入、标点和大小写都合乎标准的文字,这五行表现良好。对更杂乱的文字, 句子切分库这类较大的工具能以多得多的规则做同一件事,但背后的想法仍是你在这里 看到的这一个。
延伸阅读
- Python 的 re 模块文档列出所有速记代码,例如
\s。 - regex101.com 让你贴上模式和文字,看匹配之处亮起来。
- 如何提供网页,用检索增强生成(RAG)减少 AI 幻觉?展示同一想法的下一站:在 AI 模型读取之前,把网页文字切成小块。