如何為 AI 代理建立網頁抓取工具?
AI 代理可以規劃、選擇函式並使用答案,但它無法自己開啟網頁。若你問它一個它從未讀過的 頁面,它會說不知道,或者編出一個聽起來很合理的答案。
工具(tool)就是填補這個缺口的方法:一個代理可以呼叫的普通 Python 函式。 本文建立代理工具箱裡的網頁抓取工具。它下載頁面、保留可讀文字、把文字存成檔案,然後 回傳檔名。整個工具共 31 行。
步驟 1:函式與它的說明
def scrape_webpage(url: str, file_path: str) -> str:
"""
Fetch a webpage and save its visible text content into a .txt file.
Args:
url (str): The webpage URL to scrape.
file_path (str): Destination path for the .txt file.
Returns:
str: The file path that was written.
"""
第一行命名函式 scrape_webpage,並列出它需要甚麼:url 是網址,
file_path 是儲存位置。結尾的 -> str 表示函式會回傳文字,
這裡是它寫入的檔案名稱。
三個引號之間的文字是說明字串(docstring),它不是註解。當這個函式被提供 給代理時,說明字串就成為模型決定是否呼叫它之前所讀的描述。它說明工具做甚麼、兩個輸入是 甚麼、會回傳甚麼,這正是模型正確使用工具所需的資訊。
步驟 2:下載網頁
response = requests.get(url, timeout=10)
requests 套件負責從互聯網下載頁面。requests.get 向網站索取
url 上的頁面,回應存放在 response。timeout=10
表示十秒後放棄,不再無止境地等待。若網址錯誤或網站拒絕,requests 會以錯誤
停止程式,而不是回傳一個空白頁面。
步驟 3:只保留可讀的文字
soup = BeautifulSoup(response.text, "html.parser")
text = soup.get_text(separator="\n", strip=True)
下載回來的是 HTML,即描述頁面的代碼。BeautifulSoup(來自 bs4
套件)把這些代碼讀成程式可以檢查的結構,結果命名為 soup。
"html.parser" 是 Python 內建的解析器,所以不需額外安裝。
get_text 丟掉所有標籤,只留下文字。separator="\n" 把每段文字
放在獨立一行,strip=True 移除每段文字前後的空白。結果是一個長字串,命名為
text。
步驟 4:把文字存入檔案
with open(file_path, "w", encoding="utf-8") as file:
file.write(text)
return file_path
open(file_path, "w") 建立檔案;若已有同名檔案,則取代它。
encoding="utf-8" 是讓各種語言的字母(包括中文)保持正確的設定。
file.write(text) 把文字寫入檔案,而縮排區塊結束時 Python 會自動關閉檔案,
這就是 with 的作用。
最後一行 return file_path 是代理關心的地方:函式回傳檔名,讓代理可以把這個
名字交給下一步。
步驟 5:呼叫工具並讀回檔案
result = scrape_webpage(
"https://pongyuenlam.github.io/biography.html",
"tool05_scraper.txt",
)
print(result)
with open(result, "r", encoding="utf-8") as file:
contents = file.read()
print(contents)
第一個陳述式用兩個值呼叫工具:要讀取的頁面,以及要寫入的檔案。回傳的檔名存入
result,print(result) 顯示它。第二個區塊用 "r"
(讀取)開啟同一個檔案,讀回內容並列印,讓你可以確認頁面真的下載成功。
實際執行會印出以下內容,只保留首尾部分:
tool05_scraper.txt
Biography | Howard Lam, PhD
Howard Lam, PhD
Home
Biography
Research
Cases
Books
AI Notes
Links
Glossary
Biography
Howard Pong Yuen Lam (林邦源), PhD has spent over three decades turning bold ideas
into measurable results across the boardroom and the classroom. A
scholar, educator, and marketing strategist, he combines rigorous
thinking, creative innovation, and hands-on leadership to lasting effect.
...
© 2026 Howard Pong Yuen LAM, PhD
Email
GitHub
Google Scholar
ORCID
LinkedIn
第一行是檔名。之後是頁面的純文字版本:共 56 行,真正的個人簡介在中間,選單與頁腳連結 則環繞在外。
完整程式
把以上各部分放回一起。這是完整檔案,共 31 行:
# https://pypi.org/project/beautifulsoup4/
import requests
from bs4 import BeautifulSoup
def scrape_webpage(url: str, file_path: str) -> str:
"""
Fetch a webpage and save its visible text content into a .txt file.
Args:
url (str): The webpage URL to scrape.
file_path (str): Destination path for the .txt file.
Returns:
str: The file path that was written.
"""
response = requests.get(url, timeout=10)
soup = BeautifulSoup(response.text, "html.parser")
text = soup.get_text(separator="\n", strip=True)
with open(file_path, "w", encoding="utf-8") as file:
file.write(text)
return file_path
result = scrape_webpage(
"https://pongyuenlam.github.io/biography.html",
"tool05_scraper.txt",
)
print(result)
with open(result, "r", encoding="utf-8") as file:
contents = file.read()
print(contents)
在自己的電腦上執行
下載 zip 檔案並解壓到一個資料夾。
zip 內有程式和一個 pyproject.toml 檔案,列出它需要的兩個套件。在 Visual
Studio Code 中開啟該資料夾,然後在終端機逐行輸入以下三行:
uv python pin 3.12.10
uv sync
uv run tool05_scraper.py
第一行記錄這個資料夾使用哪個 Python 版本。第二行把 requests 和
beautifulsoup4 安裝到一個獨立環境。第三行執行程式,並印出上面顯示的輸出。
這三行只需要做一次。下次想再執行這個程式,只需輸入 uv run tool05_scraper.py。
如果你還未設定 uv,請先從 如何安裝 Visual Studio Code?開始,然後看 uv 筆記: Windows 或 Mac。
限制
- 有些網站會拒絕請求。這個工具沒有送出
User-Agent標頭, 那是告訴網站「誰在請求」的簡短名稱。許多網站會拒絕看起來不像瀏覽器的請求。 網頁抓取如何把網頁變成一個句子檔案?中的抓取器就因此送出 這個標頭。 - 用 JavaScript 建立的頁面幾乎是空的。下載只看到伺服器送出的 HTML。 若文章在頁面載入後才出現,文字檔案就不會包含它。
- 檔案並不乾淨。
get_text保留所有不是標籤的內容:選單、 cookie 通知、頁腳連結。上面的執行結果就是例子:選單在頂部,LinkedIn 連結在底部。 - 中文及其他非拉丁文字的頁面可能顯示錯誤。沒有為下載指定編碼,程式
只能依賴網站自己聲明的編碼。筆記 13 設定
apparent_encoding,處理聲明錯誤 的頁面。 - 只抓取你有權閱讀的內容。網站的
robots.txt檔案與使用條款 說明可以抓取甚麼。這個工具無法分辨,所以規則落在執行它的人身上。
延伸閱讀
- 網頁抓取如何把網頁變成一個句子檔案? — 同一想法再進一步,加上切句子和更乾淨的文字抽取。
- 如何為 AI 代理建立時間工具? — 最簡單的工具,以及說明字串為何重要。
- 如何為 AI 代理建立天氣工具? — 一個呼叫免費網上服務而非網頁的工具。
- Beautiful Soup 文件 —
get_text()與其他搜尋頁面的方法。 - requests 文件 — headers、timeout 與錯誤處理。