網頁抓取如何把網頁變成一個句子檔案?
網頁不是純文字。在你所見的背後,頁面其實是一段很長的 HTML 代碼 (HyperText Markup Language,超文本標記語言):可讀的文章與選單、頁腳、樣式, 以及令頁面可互動的腳本混在一起。程式要對網頁做任何有用的事——數句子、搜尋內容, 或餵給 AI 模型——都必須先從那些代碼中抽出可讀的文字。
用程式下載頁面並抽取其文字,稱為網頁抓取(web scraping):程式把有用的
內容從頁面上刮下來,把代碼留在後面。本文的程式是一個小型網頁抓取器,分四步運作:
下載網頁、只保留值得閱讀的部分、把文字切成句子,再把句子存入文字檔案,每行一句。
示範頁面是 Panadol 關於頭痛的頁面,輸出檔案名為 panadol.txt。
步驟 1:下載網頁
url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding
requests 函式庫負責從互聯網下載頁面。首兩行設定這次呼叫:url
是網址,headers 帶著一個 User-Agent,即一個告訴網站
「誰在請求」的簡短名稱。許多網站會拒絕看起來不像來自瀏覽器的請求,所以程式用一個
像瀏覽器的名稱介紹自己。
requests.get(...) 下載頁面;resp 是 response(回應,
即伺服器的答覆)的縮寫,而 timeout=15 表示 15 秒後放棄,不再無止境地等。
raise_for_status() 在伺服器報告失敗(例如「找不到頁面」)時,以清晰的
錯誤訊息停止程式,而不是悄悄地把一個錯誤頁面當成文章儲存起來。
最後一行關乎編碼:把頁面的原始位元組變成可讀字元的規則。網頁經常錯誤
聲明自己的編碼,所以程式改用 apparent_encoding,即 requests
從實際位元組推測出來的編碼。這樣讀取文字時,特殊字元才能保持正確。
步驟 2:只保留可讀的文字
soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
tag.decompose()
lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]
來自 bs4 套件(Beautiful Soup 4)的 BeautifulSoup,把 HTML
代碼解析成一棵程式可以搜尋的標籤樹;結果命名為 soup。接下來兩行丟掉五種
我們不要的標籤:script(JavaScript 代碼)、style(頁面樣式)、
noscript(JavaScript 關閉時顯示的文字)、nav(選單)和
footer(頁面底部)。decompose() 把每個標籤連同裡面的一切刪除,
於是只剩下真正的內容。
然後 find_all 收集值得閱讀的標籤:標題(h1 最大,
h3 較小)、段落(p)和清單項目(li)。對每個
標籤,get_text(" ") 只取出字詞,而 " ".join(... .split())
把任何連續的空格和換行壓成單一空格,所以每個標籤變成一行整潔的文字。第二行丟掉空行,
只保留真正含有字詞的行。
步驟 3:把每一行切成句子
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
一行可能包含幾個句子,所以程式在每個「句號、感嘆號或問號之後是空格,而空格之後是
大寫字母」的位置切開每一行。這個模式是一個正規表達式(regular
expression),由 Python 的 re 模組處理的搜尋模式,而它周圍那五行在
程式如何把一段文字切成句子?中有逐部分講解。這幾行之後,
lines 這個名字指的是句子,而不再是網頁的行。
步驟 4:把句子存入檔案
with open("panadol.txt", "w", encoding="utf-8") as outfile:
for line in lines:
outfile.write(line + "\n")
open("panadol.txt", "w", ...) 在同一資料夾開啟檔案以供寫入:檔案不存在就
建立,已存在就清空。encoding="utf-8" 令每個字元保持正確;UTF-8 是把世上
每種語言的字元寫入磁碟最常用的方式。之後迴圈把每個句子連同 "\n"(換行
字元)寫入,所以每個句子都自成一行。事後開啟 panadol.txt,是查看程式在
頁面上找到甚麼的最簡單方法。
完整程式
四個步驟合起來,一共 32 行。最後三行印出一份簡短報告,讓你不開檔案也能看到結果:
import re
import requests
from bs4 import BeautifulSoup
url = "https://www.panadol.com/en-gb/adult-symptoms/headache/"
headers = {"User-Agent": "Mozilla/5.0 (compatible; SkillBot/1.0)"}
resp = requests.get(url, headers=headers, timeout=15)
resp.raise_for_status()
resp.encoding = resp.apparent_encoding
soup = BeautifulSoup(resp.text, "html.parser")
for tag in soup(["script", "style", "noscript", "nav", "footer"]):
tag.decompose()
lines = [" ".join(tag.get_text(" ").split()) for tag in soup.find_all(["h1", "h2", "h3", "p", "li"])]
lines = [line for line in lines if line != ""]
sentences = []
for line in lines:
for sentence in re.split(r"(?<=[.!?])\s+(?=[A-Z])", line):
sentences.append(sentence)
lines = sentences
with open("panadol.txt", "w", encoding="utf-8") as outfile:
for line in lines:
outfile.write(line + "\n")
print(f"Saved {len(lines)} sentences to panadol.txt")
print("The first three sentences:")
for line in lines[:3]:
print(line)
報告那幾行用上了 f-string:帶有 {...} 空位的字串,由
Python 填入內容,所以 {len(lines)} 會變成句子的數目。
lines[:3] 取清單的首三項。
在自己的電腦上執行
下載 zip 檔案並解壓到
一個資料夾。這個 zip 包含程式和一個 pyproject.toml 專案檔案;沒有輸入檔案,
因為輸入就是網頁本身。在 Visual Studio Code 中開啟資料夾,然後在終端機逐行輸入以下三行:
uv python pin 3.12.10
uv sync
uv run webpage_sentences.py
第一行記錄這個資料夾使用哪個 Python 版本。第二行設定專案,並安裝程式需要的兩個套件
requests 和 beautifulsoup4。第三行執行程式。輸出如下:
Saved 307 sentences to panadol.txt
The first three sentences:
For Healthcare Professionals
United Kingdom
ASIA PACIFIC
你執行時確實的數字可能不同,因為網站會不時更新頁面。再留意首三個句子是甚麼:它們來自
頁面最頂端的國家選擇器,而不是頭痛文章。這是第一個提示:抽取效果好,但並不完美,
下一節會討論。開啟 panadol.txt 可以看到程式儲存的全部句子。要讀取另一頁,
改動 url 那行和輸出檔名即可。
如果你還未設定 uv,請先從 如何安裝 Visual Studio Code?開始,然後看 uv 筆記: Windows 或 Mac。
限制
- 有些導覽文字會漏網。Panadol 頁面頂端的國家選擇器不在
nav標籤內,所以它的字詞在清理後仍然存留,如上面的輸出所示。每個網站 編排 HTML 的方式都不同,所以對一頁有效的清理清單,在另一頁可能留下零碎的雜物。 - 有些頁面會拒絕或誤導抓取器。網站可以封鎖並非來自真正瀏覽器的請求; 有些頁面在下載之後才用 JavaScript 建立內容,所以下載回來的 HTML 根本不含文章。 網站也可以在使用條款中禁止抓取,所以請溫和地抓取:這裡一頁、那裡一頁,而不是以迴圈 抓取成千上萬頁。
- 切句子有其局限。這個正規表達式對手打的英文切得很好,但遇到 Dr. 這類縮寫,以及標點之後是小寫字母的情況就會出錯;詳情見 切句子的筆記。
在 AI 時代,網站是否還會被人閱讀,已經成了一個問題。許多使用者不再親自瀏覽網站; 他們只是問 AI 模型,然後讀它給出的答案。如果一家公司或一個人阻止所有程式讀取其頁面, AI 模型同樣讀不到:這些內容永遠不會影響 AI 的答案,網站也永遠不會被點名引用。 這就是為甚麼答案引擎優化(Answer Engine Optimization,AEO)和 生成式引擎優化(Generative Engine Optimization,GEO)——讓你的頁面 不只迎合傳統搜尋引擎,也迎合 AI 搜尋——對任何想在互聯網上佔一席位的公司或個人, 都正變得不可或缺。把每個程式拒諸門外的網站也許感覺安全,但最終會淪為互聯網世界裡的 孤島:雖然在線,卻不被 AI 看見,也缺席於每一個 AI 答案。
這些抓取問題沒有一個是致命的:對大多數普通的文章頁面,這四個步驟都能產出一份乾淨的 句子清單,可供下一階段的工作使用。
延伸閱讀
- requests 文件詳細說明 headers、timeout 和編碼。
- Beautiful Soup 文件列出搜尋頁面的各種方法,遠超這裡用到的兩種。
- 程式如何把一段文字切成句子?把步驟 3 的正規表達式逐一拆開講解。
- 如何提供網頁,用檢索增強生成(RAG)減少 AI 幻覺?展示儲存下來的句子有何用處:把它們餵給 AI 模型,讓它的答案可以追溯回真實的句子。