網頁抓取如何把網頁變成一個句子檔案?

林邦源 · AI 筆記 · 2026年11月3日 · 閱讀時間約 6 分鐘

English 繁體中文 简体中文

網頁不是純文字。在你所見的背後,頁面其實是一段很長的 HTML 代碼 (HyperText Markup Language,超文本標記語言):可讀的文章與選單、頁腳、樣式, 以及令頁面可互動的腳本混在一起。程式要對網頁做任何有用的事——數句子、搜尋內容, 或餵給 AI 模型——都必須先從那些代碼中抽出可讀的文字。

用程式下載頁面並抽取其文字,稱為網頁抓取(web scraping):程式把有用的 內容從頁面上刮下來,把代碼留在後面。本文的程式是一個小型網頁抓取器,分四步運作: 下載網頁、只保留值得閱讀的部分、把文字切成句子,再把句子存入文字檔案,每行一句。 示範頁面是 Panadol 關於頭痛的頁面,輸出檔案名為 panadol.txt。

步驟 1:下載網頁

url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding

requests 函式庫負責從互聯網下載頁面。首兩行設定這次呼叫:url 是網址,headers 帶著一個 User-Agent,即一個告訴網站 「誰在請求」的簡短名稱。許多網站會拒絕看起來不像來自瀏覽器的請求,所以程式用一個 像瀏覽器的名稱介紹自己。

requests.get(...) 下載頁面;resp 是 response(回應, 即伺服器的答覆)的縮寫,而 timeout=15 表示 15 秒後放棄,不再無止境地等。 raise_for_status() 在伺服器報告失敗(例如「找不到頁面」)時,以清晰的 錯誤訊息停止程式,而不是悄悄地把一個錯誤頁面當成文章儲存起來。

最後一行關乎編碼:把頁面的原始位元組變成可讀字元的規則。網頁經常錯誤 聲明自己的編碼,所以程式改用 apparent_encoding,即 requests 從實際位元組推測出來的編碼。這樣讀取文字時,特殊字元才能保持正確。

步驟 2:只保留可讀的文字

soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
    tag.decompose()

lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]

來自 bs4 套件(Beautiful Soup 4)的 BeautifulSoup,把 HTML 代碼解析成一棵程式可以搜尋的標籤樹;結果命名為 soup。接下來兩行丟掉五種 我們不要的標籤:script(JavaScript 代碼)、style(頁面樣式)、 noscript(JavaScript 關閉時顯示的文字)、nav(選單)和 footer(頁面底部)。decompose() 把每個標籤連同裡面的一切刪除, 於是只剩下真正的內容。

然後 find_all 收集值得閱讀的標籤:標題(h1 最大, h3 較小)、段落(p)和清單項目(li)。對每個 標籤,get_text(" ") 只取出字詞,而 " ".join(... .split()) 把任何連續的空格和換行壓成單一空格,所以每個標籤變成一行整潔的文字。第二行丟掉空行, 只保留真正含有字詞的行。

步驟 3:把每一行切成句子

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

一行可能包含幾個句子,所以程式在每個「句號、感嘆號或問號之後是空格,而空格之後是 大寫字母」的位置切開每一行。這個模式是一個正規表達式(regular expression),由 Python 的 re 模組處理的搜尋模式,而它周圍那五行在 程式如何把一段文字切成句子?中有逐部分講解。這幾行之後, lines 這個名字指的是句子,而不再是網頁的行。

步驟 4:把句子存入檔案

with open("panadol.txt", "w", encoding="utf-8") as outfile:
    for line in lines:
        outfile.write(line + "\n")

open("panadol.txt", "w", ...) 在同一資料夾開啟檔案以供寫入:檔案不存在就 建立,已存在就清空。encoding="utf-8" 令每個字元保持正確;UTF-8 是把世上 每種語言的字元寫入磁碟最常用的方式。之後迴圈把每個句子連同 "\n"(換行 字元)寫入,所以每個句子都自成一行。事後開啟 panadol.txt,是查看程式在 頁面上找到甚麼的最簡單方法。

完整程式

四個步驟合起來,一共 32 行。最後三行印出一份簡短報告,讓你不開檔案也能看到結果:

import re

import requests
from bs4 import BeautifulSoup

url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding

soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
    tag.decompose()

lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]

sentences = []
for line in lines:
    for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
        sentences.append(sentence)
lines = sentences

with open("panadol.txt", "w", encoding="utf-8") as outfile:
    for line in lines:
        outfile.write(line + "\n")

print(f"Saved {len(lines)} sentences to panadol.txt")
print("The first three sentences:")
for line in lines[:3]:
    print(line)

報告那幾行用上了 f-string:帶有 {...} 空位的字串,由 Python 填入內容,所以 {len(lines)} 會變成句子的數目。 lines[:3] 取清單的首三項。

在自己的電腦上執行

下載 zip 檔案並解壓到 一個資料夾。這個 zip 包含程式和一個 pyproject.toml 專案檔案;沒有輸入檔案, 因為輸入就是網頁本身。在 Visual Studio Code 中開啟資料夾,然後在終端機逐行輸入以下三行:

uv python pin 3.12.10
uv sync
uv run webpage_sentences.py

第一行記錄這個資料夾使用哪個 Python 版本。第二行設定專案,並安裝程式需要的兩個套件 requests 和 beautifulsoup4。第三行執行程式。輸出如下:

Saved 307 sentences to panadol.txt
The first three sentences:
For Healthcare Professionals
United Kingdom
ASIA PACIFIC

你執行時確實的數字可能不同,因為網站會不時更新頁面。再留意首三個句子是甚麼:它們來自 頁面最頂端的國家選擇器,而不是頭痛文章。這是第一個提示:抽取效果好,但並不完美, 下一節會討論。開啟 panadol.txt 可以看到程式儲存的全部句子。要讀取另一頁, 改動 url 那行和輸出檔名即可。

如果你還未設定 uv,請先從 如何安裝 Visual Studio Code?開始,然後看 uv 筆記: Windows 或 Mac。

限制

在 AI 時代,網站是否還會被人閱讀,已經成了一個問題。許多使用者不再親自瀏覽網站; 他們只是問 AI 模型,然後讀它給出的答案。如果一家公司或一個人阻止所有程式讀取其頁面, AI 模型同樣讀不到:這些內容永遠不會影響 AI 的答案,網站也永遠不會被點名引用。 這就是為甚麼答案引擎優化(Answer Engine Optimization,AEO)和 生成式引擎優化(Generative Engine Optimization,GEO)——讓你的頁面 不只迎合傳統搜尋引擎,也迎合 AI 搜尋——對任何想在互聯網上佔一席位的公司或個人, 都正變得不可或缺。把每個程式拒諸門外的網站也許感覺安全,但最終會淪為互聯網世界裡的 孤島:雖然在線,卻不被 AI 看見,也缺席於每一個 AI 答案。

這些抓取問題沒有一個是致命的:對大多數普通的文章頁面,這四個步驟都能產出一份乾淨的 句子清單,可供下一階段的工作使用。

延伸閱讀