程式如何把一段文字切分成句子?

林邦源 · AI 筆記 · 2026年11月3日 · 閱讀時間約 4 分鐘

English 繁體中文 简体中文

程式可以從許多地方讀入文字:磁碟上的文字檔,或從互聯網抓取的網頁。無論哪種方式, 程式通常每次取得一行。然而,一行不是一句:一行可以容納好幾句,一句也可以跨過 換行。許多工作,例如數句子或把文字餵給 AI 模型,都需要把文字變成一個句子的 清單。

最直覺的做法是在每個句號處切開。這立刻就失敗,因為句號還有其他工作:它終結 e.g. 和 Dr. 這類縮寫,也存在於 3.14 這類數字之中。所以切割 不能只盯著句號本身,而這正是本文的程式碼用五行做到的事:

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

本文其餘部分會用淺白的話解釋這五行,然後把它們放進一個你可以執行的小程式。

甚麼是正規表示式

引號裡那長長的一段是正規表示式(regular expression):用一套 自己的小記法寫成的搜尋模式。正規表示式找的不是固定的字詞,而是描述一個形狀, 例如「一個句號,然後一個空格,然後一個大寫字母」。Python 的 re 模組 負責比對;re 就是 regular expression 的縮寫。

re.split(pattern, line) 在模式匹配到的每個位置把該行切開,並把切出的 片段以清單交回。

模式的三個部分

(?<=[.!?])\s+(?=[A-Z])

模式說明在哪裡切,它有三個部分。

合成一句話,模式說的是:在夾於句末標點與大寫字母之間的空白處切開。 對鍵入的英文而言,這是一個合理的句子邊界工作定義。

外圍的五行

第一行 sentences = [] 建立一個空清單來收集結果。方括號是 Python 寫清單的方式,此時裡面還沒有任何東西。

接下來三行是循環套循環。外層循環逐行走過文字。內層循環取出每一行,在模式匹配之處 切開,再逐片走過。sentences.append(sentence) 把每一片加到清單末尾。

最後一行 lines = sentences 用句子清單取代行清單。從那一刻起, lines 這個名字指的就是句子。

完整程式

上面那五行,放進一個完整的程式裡。它讀取名為 my_text.txt 的檔案, 把其中的行切分成句子,並每行印出一句,一共 12 行:

import re

with open("my_text.txt", encoding="utf-8") as f:
    lines = f.readlines()

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

for sentence in lines:
    print(sentence.strip())

import re 引入正規表示式模組。with open(...) 那行開啟檔案 供讀取;encoding="utf-8" 告訴 Python 字元是如何儲存的,所以檔案中的 任何字元都能正確讀出。UTF-8 是 Unicode Transformation Format (統一碼轉換格式)的縮寫:Unicode 是為每種語言的每個字元賦予獨有編號的標準,而 UTF-8 是把這些編號寫入磁碟最常用的方式。f.readlines() 讀取整個檔案, 並把各行以清單交回。

最後兩行印出結果。每句末尾可能仍帶著一個看不見的換行字元,strip() 把它移除,讓每句各印一行。

在自己的電腦上執行

下載 zip 檔案 並解壓到一個資料夾。zip 內有程式、一個範例 my_text.txt,以及一個 pyproject.toml 專案檔案。在 Visual Studio Code 中開啟資料夾,然後 在終端機逐行輸入以下三行:

uv python pin 3.12.10
uv sync
uv run split_sentences.py

第一行記錄這個資料夾使用哪個 Python 版本。第二行建立專案;這個程式不需要額外套件, 所以沒有東西要安裝。第三行執行程式。用範例檔案,輸出是:

The rain stopped just before noon.
Did the football match go ahead?
Yes, it did!
The crowd cheered as the players returned.
By three o'clock the sun was out.

範例檔案有兩行、五句,正好說明重點:句子和行不是一回事。編輯 my_text.txt,放入你自己的文字試試。

如果你還未設定 uv,請先從如何安裝 Visual Studio Code? 開始,然後看 uv 筆記:Windows 或 Mac。

限制

這個模式是工作定義,不是完美定義,而看清它在哪裡失敗,正是記住它真正含義的 最好方法。

對以一般方式鍵入、標點和大小寫都合乎標準的文字,這五行表現良好。對更雜亂的文字, 句子切分函式庫這類較大的工具能以多得多的規則做同一件事,但背後的想法仍是你在 這裡看到的這一個。

延伸閱讀