程序如何把一段文字切分成句子?

林邦源 · AI 笔记 · 2026年11月3日 · 阅读时间约 4 分钟

English 繁體中文 简体中文

程序可以从许多地方读入文字:磁盘上的文本文件,或从互联网抓取的网页。无论哪种方式, 程序通常每次取得一行。然而,一行不是一句:一行可以容纳好几句,一句也可以跨过 换行。许多任务,例如数句子或把文字喂给 AI 模型,都需要把文字变成一个句子的 列表。

最直觉的做法是在每个句号处切开。这立刻就失败,因为句号还有其他工作:它终结 e.g. 和 Dr. 这类缩写,也存在于 3.14 这类数字之中。所以切分 不能只盯着句号本身,而这正是本文的代码用五行做到的事:

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

本文其余部分会用浅显的话解释这五行,然后把它们放进一个你可以运行的小程序。

什么是正则表达式

引号里那长长的一段是正则表达式(regular expression):用一套 自己的小记法写成的搜索模式。正则表达式找的不是固定的字词,而是描述一个形状, 例如“一个句号,然后一个空格,然后一个大写字母”。Python 的 re 模块 负责匹配;re 就是 regular expression 的缩写。

re.split(pattern, line) 在模式匹配到的每个位置把该行切开,并把切出的 片段以列表返回。

模式的三个部分

(?<=[.!?])\s+(?=[A-Z])

模式说明在哪里切,它有三个部分。

合成一句话,模式说的是:在夹于句末标点与大写字母之间的空白处切开。 对键入的英文而言,这是一个合理的句子边界工作定义。

外围的五行

第一行 sentences = [] 创建一个空列表来收集结果。方括号是 Python 写列表的方式,此时里面还没有任何东西。

接下来三行是循环套循环。外层循环逐行走过文字。内层循环取出每一行,在模式匹配之处 切开,再逐片走过。sentences.append(sentence) 把每一片加到列表末尾。

最后一行 lines = sentences 用句子列表取代行列表。从那一刻起, lines 这个名字指的就是句子。

完整程序

上面那五行,放进一个完整的程序里。它读取名为 my_text.txt 的文件, 把其中的行切分成句子,并每行打印一句,一共 12 行:

import re

with open("my_text.txt", encoding="utf-8") as f:
    lines = f.readlines()

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

for sentence in lines:
    print(sentence.strip())

import re 引入正则表达式模块。with open(...) 那行打开文件 供读取;encoding="utf-8" 告诉 Python 字符是如何存储的,所以文件中的 任何字符都能正确读出。UTF-8 是 Unicode Transformation Format (统一码转换格式)的缩写:Unicode 是为每种语言的每个字符赋予独有编号的标准,而 UTF-8 是把这些编号写入磁盘最常用的方式。f.readlines() 读取整个文件, 并把各行以列表返回。

最后两行打印结果。每句末尾可能仍带着一个看不见的换行字符,strip() 把它移除,让每句各打印一行。

在自己的电脑上运行

下载 zip 文件 并解压到一个文件夹。zip 内有程序、一个示例 my_text.txt,以及一个 pyproject.toml 项目文件。在 Visual Studio Code 中打开文件夹,然后 在终端逐行输入以下三行:

uv python pin 3.12.10
uv sync
uv run split_sentences.py

第一行记录这个文件夹使用哪个 Python 版本。第二行建立项目;这个程序不需要额外的 软件包,所以没有东西要安装。第三行运行程序。用示例文件,输出是:

The rain stopped just before noon.
Did the football match go ahead?
Yes, it did!
The crowd cheered as the players returned.
By three o'clock the sun was out.

示例文件有两行、五句,正好说明重点:句子和行不是一回事。编辑 my_text.txt,放入你自己的文字试试。

如果你还未设置 uv,请先从如何安装 Visual Studio Code? 开始,然后看 uv 笔记:Windows 或 Mac。

局限

这个模式是工作定义,不是完美定义,而看清它在哪里失败,正是记住它真正含义的 最好方法。

对以一般方式键入、标点和大小写都合乎标准的文字,这五行表现良好。对更杂乱的文字, 句子切分库这类较大的工具能以多得多的规则做同一件事,但背后的想法仍是你在这里 看到的这一个。

延伸阅读