程式如何把一段文字切分成句子?
程式可以從許多地方讀入文字:磁碟上的文字檔,或從互聯網抓取的網頁。無論哪種方式, 程式通常每次取得一行。然而,一行不是一句:一行可以容納好幾句,一句也可以跨過 換行。許多工作,例如數句子或把文字餵給 AI 模型,都需要把文字變成一個句子的 清單。
最直覺的做法是在每個句號處切開。這立刻就失敗,因為句號還有其他工作:它終結 e.g. 和 Dr. 這類縮寫,也存在於 3.14 這類數字之中。所以切割 不能只盯著句號本身,而這正是本文的程式碼用五行做到的事:
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
本文其餘部分會用淺白的話解釋這五行,然後把它們放進一個你可以執行的小程式。
甚麼是正規表示式
引號裡那長長的一段是正規表示式(regular expression):用一套
自己的小記法寫成的搜尋模式。正規表示式找的不是固定的字詞,而是描述一個形狀,
例如「一個句號,然後一個空格,然後一個大寫字母」。Python 的 re 模組
負責比對;re 就是 regular expression 的縮寫。
re.split(pattern, line) 在模式匹配到的每個位置把該行切開,並把切出的
片段以清單交回。
模式的三個部分
(?<=[.!?])\s+(?=[A-Z])
模式說明在哪裡切,它有三個部分。
(?<=[.!?])— 向後看。切割點必須緊跟在.、!或?之後。方括號列出允許的字元,而(?<=...)這層包裝的意思是「檢查後面是甚麼,但不把它算進切割裡」, 所以標點會留在它所屬句子的末尾。\s+— 空白。\s代表任何空白 字元:空格、製表符,或換行。+意思是「連續一個或以上」。這是模式中 唯一真正被移除的部分:它成為切割點。(?=[A-Z])— 向前看。空白之後的第一個字元 必須是大寫字母,A到Z。(?=...)這層包裝 同樣是「檢查但不計入」,所以大寫字母留在下一句的開頭。
合成一句話,模式說的是:在夾於句末標點與大寫字母之間的空白處切開。 對鍵入的英文而言,這是一個合理的句子邊界工作定義。
外圍的五行
第一行 sentences = [] 建立一個空清單來收集結果。方括號是 Python
寫清單的方式,此時裡面還沒有任何東西。
接下來三行是循環套循環。外層循環逐行走過文字。內層循環取出每一行,在模式匹配之處
切開,再逐片走過。sentences.append(sentence) 把每一片加到清單末尾。
最後一行 lines = sentences 用句子清單取代行清單。從那一刻起,
lines 這個名字指的就是句子。
完整程式
上面那五行,放進一個完整的程式裡。它讀取名為 my_text.txt 的檔案,
把其中的行切分成句子,並每行印出一句,一共 12 行:
import re
with open("my_text.txt", encoding="utf-8") as f:
lines = f.readlines()
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
for sentence in lines:
print(sentence.strip())
import re 引入正規表示式模組。with open(...) 那行開啟檔案
供讀取;encoding="utf-8" 告訴 Python 字元是如何儲存的,所以檔案中的
任何字元都能正確讀出。UTF-8 是 Unicode Transformation Format
(統一碼轉換格式)的縮寫:Unicode 是為每種語言的每個字元賦予獨有編號的標準,而
UTF-8 是把這些編號寫入磁碟最常用的方式。f.readlines() 讀取整個檔案,
並把各行以清單交回。
最後兩行印出結果。每句末尾可能仍帶著一個看不見的換行字元,strip()
把它移除,讓每句各印一行。
在自己的電腦上執行
下載 zip 檔案
並解壓到一個資料夾。zip 內有程式、一個範例 my_text.txt,以及一個
pyproject.toml 專案檔案。在 Visual Studio Code 中開啟資料夾,然後
在終端機逐行輸入以下三行:
uv python pin 3.12.10
uv sync
uv run split_sentences.py
第一行記錄這個資料夾使用哪個 Python 版本。第二行建立專案;這個程式不需要額外套件, 所以沒有東西要安裝。第三行執行程式。用範例檔案,輸出是:
The rain stopped just before noon.
Did the football match go ahead?
Yes, it did!
The crowd cheered as the players returned.
By three o'clock the sun was out.
範例檔案有兩行、五句,正好說明重點:句子和行不是一回事。編輯
my_text.txt,放入你自己的文字試試。
如果你還未設定 uv,請先從如何安裝 Visual Studio Code? 開始,然後看 uv 筆記:Windows 或 Mac。
限制
這個模式是工作定義,不是完美定義,而看清它在哪裡失敗,正是記住它真正含義的 最好方法。
- 帶大寫的縮寫。「Dr. Lam arrived.」會被切成 「Dr.」和「Lam arrived.」,因為 Dr. 之後的空格後面 跟著大寫字母。模式分不清稱謂和句末。
- 數字。「It costs 3.14 dollars.」不會被切開,但純屬 僥倖:3.14 的小數點後沒有空白,所以模式根本不會考慮它。
- 標點後接小寫。「…and then it rained. nobody moved.」不會被切開,因為小寫字母過不了大寫檢查,兩句就黏在一起。
對以一般方式鍵入、標點和大小寫都合乎標準的文字,這五行表現良好。對更雜亂的文字, 句子切分函式庫這類較大的工具能以多得多的規則做同一件事,但背後的想法仍是你在 這裡看到的這一個。
延伸閱讀
- Python 的 re 模組文件列出所有速記代碼,例如
\s。 - regex101.com 讓你貼上模式和文字,看匹配之處亮起來。
- 如何提供網頁,用檢索增強生成(RAG)減少 AI 幻覺?展示同一想法的下一站:在 AI 模型讀取之前,把網頁文字切成小塊。