如何提供網頁,用檢索增強生成(RAG)減少 AI 幻覺?
聊天模型是在極大量的文本上訓練出來的,而訓練在某個截止日期停止。從那天起,模型就被凍結: 它不會讀取新頁面,也看不到新事實。
由此產生兩個缺口。第一個是時間:截止日期之後寫成的任何內容,都不可能在它的知識裡。 第二個是覆蓋範圍:即使是截止日期之前寫成的文本,訓練語料也不可能涵蓋世上每一個網站。 所以,個人頁面或小公司的網站就可能缺席。
如果你的網頁落在第二個缺口,問模型一個只存在於該頁面上的事實。它要麼承認自己不知道, 要麼——更糟——自信地編造一個答案。本文用一個 Python 程式展示解法:抓取該頁、保留其文字, 並在模型回答之前把相關部分放到它面前。
這項技術稱為檢索增強生成(retrieval-augmented generation,簡稱 RAG)。 名字描述了它的兩半:檢索找出重要的文字,生成是模型根據那些文字寫出答案。
同一個問題,問兩次
程式就個人簡介頁面問一個問題:「What is the Chinese name of Howard Lam?」(林邦源的 中文名字是甚麼?)。第一次直接問模型,不附任何網頁。然後再問一次,這次附上網頁。 兩次執行的模型和問題完全相同,所以答案的任何差異都來自網頁。
沒有網頁時,答案是:
Howard Lam's Chinese name is 林浩然 (Lín Hàorán).
這是一句流利的話,格式正確,而且完全錯誤。該網頁根本不在訓練語料裡,所以模型根據 見過的模式拼湊出一個看似答案的東西。這就是人們所說的幻覺 (hallucination),而自信的語氣正是問題的一部分。
附上網頁後,同一個模型給出:
林邦源
簡短、樸實、正確。模型在兩次執行之間並沒有變聰明。它只是面前放著取自網頁的一段文字, 並被要求根據那段文字生成答案。所以第二次執行能給出正確答案。
步驟 1:連接模型
需要兩種連接,性質不同。聊天模型是你透過互聯網呼叫的服務;嵌入模型則在你自己的 電腦上運行。
import os
from dotenv import load_dotenv
load_dotenv()
from langchain_openai import ChatOpenAI
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
my_model = ChatOpenAI(
api_key=DEEPSEEK_API_KEY,
base_url="https://api.deepseek.com",
model_name="deepseek-chat"
)
首三行讓金鑰可用。import os 引入標準的作業系統模組,
它在這裡的唯一工作是從環境中讀取值。load_dotenv() 讀取同一資料夾中
名為 .env 的檔案,並把其中每一行(例如 DEEPSEEK_API_KEY=...)
複製到環境中。
os.getenv("DEEPSEEK_API_KEY") 從 .env 檔案讀取該值,然後
把它賦予 = 號左邊 Python 程式中的變數,即 DEEPSEEK_API_KEY。
金鑰是一組密碼,讓你的程式能使用 DeepSeek 的服務,而該服務是一個 API
(application programming interface,應用程式介面)的縮寫:一個程式透過互聯網
向另一個程式索取東西的方式。
類別名為 ChatOpenAI,儘管模型是 DeepSeek 的。DeepSeek 提供的介面
與 OpenAI 講同一種語言,所以同一個類別可用;只需改動 base_url 和
model_name。
from langchain_huggingface import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
model_name="BAAI/bge-m3"
)
第二種連接是嵌入模型,它讓搜尋成為可能。它把文字轉換成一列數字,而且意義相近的
兩段文字,數字會彼此接近。這裡使用 bge-m3,因為它在同一空間中處理
中文和英文——這正是英文問題能找到中文名字的原因。斜線前的名字 BAAI 是
北京智源人工智能研究院(Beijing Academy of Artificial Intelligence),即發布該模型的機構。
第一次執行會下載這個模型,之後即可離線使用。使用它無需付費。
步驟 2:抓取網頁並保留文字
urls = [
"https://pongyuenlam.github.io/biography.html",
]
docs = []
for url in urls:
html = requests.get(url).text
text = BeautifulSoup(html, "html.parser").get_text()
docs.append([Document(page_content=text, metadata={"source": url})])
docs_list = []
for sublist in docs:
for item in sublist:
docs_list.append(item)
urls 是要讀取的網址清單,所以寫在方括號裡。這裡一個就夠;在清單中
再加一行,每個網址就會依次被抓取。requests.get(url) 下載該頁,結尾的
.text 把整頁保留為一個長字串,標籤俱全。
BeautifulSoup(html, "html.parser").get_text() 把標籤丟掉,只保留讀者
會看到的內容。這一點很重要:在 HTML 標籤中搜尋,只會把時間浪費在
<div> 和 <nav> 上。第二個參數
"html.parser" 指定 BeautifulSoup 用來讀取 HTML 的解析器;它隨 Python
附帶,無需額外安裝。
Document 是一個小容器,有兩部分:文字,以及一個記錄來源的標籤。
這個標籤不用於產生答案,但當你有多個頁面時,它能讓你知道檢索到的句子屬於哪一頁。
注意最後一行 Document 外面的方括號:每一頁放進自己的小清單,所以
docs 是清單的清單。接下來四行把它變成一個簡單的文件清單。第一行建立
名為 docs_list 的空清單,接著兩行遍歷 docs 中的每個子清單,
再遍歷子清單中的每個項目,最後一行把每個項目放進 docs_list。最終
docs_list 以一個簡單清單容納所有文件,這正是下一步文字分割器所需的。
步驟 3:把文字切成小塊
text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=100)
chunks = text_splitter.split_documents(docs_list)
現在頁面是一個長字串,而長字串不是好的搜尋單位:它一次涵蓋許多主題,所以沒有任何 單一問題能與它良好匹配。把它切成小塊,每個想法就有自己的條目。
chunk_size=300 表示每塊約 300 個字元,大約四、五句。chunk_overlap=100
把一塊的最後 100 個字元重複在下一塊的開頭,所以被切在兩塊之間的句子,仍會完整地
出現在其中一塊。
Recursive(遞迴)描述它偏好的切割位置。它先嘗試空行,然後是單一換行, 再然後是字詞之間的空格。結果是在大小允許的範圍內,盡量把完整的句子放在一起。
split_documents 還會把標籤複製到每一塊上。只有一個網址時,標籤處處相同,
沒有作用;一旦清單中有多個頁面,它就很要緊,因為之後找到的每一塊都必須能說出
自己來自哪個網頁。
步驟 4:把小塊變成數字
vectorstore = InMemoryVectorStore.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
from_documents 把每一塊送進嵌入模型,並把得到的數字連同原始文字
保存在記憶體中。InMemory 是字面意思:不寫入任何磁碟,程式結束時
儲存就消失。
as_retriever 把儲存變成一個可以提問的東西。給它一個問題,它交回
意義最接近的塊。search_kwargs 存放搜尋設定,k 是回傳的
塊數。k=1 要求只回傳最佳的一個。這裡一個就夠,因為這樣你能清楚看到
模型到底收到了甚麼。
步驟 5:不附網頁提問
print("Before RAG")
before_rag_template = "{topic}"
before_rag_prompt = ChatPromptTemplate.from_template(before_rag_template)
before_rag_chain = before_rag_prompt | my_model | StrOutputParser()
user_question = "What is the Chinese name of Howard Lam?"
print(before_rag_chain.invoke({"topic": user_question}))
這裡的範本除了把問題原樣傳遞之外甚麼都不做,這正是重點:這是沒有任何額外依據的 模型。把它放進來,是讓你親眼看到失敗,而不是聽我一面之詞。
直線符號從左到右串起一條鏈。提示產生一則訊息,模型回答該訊息,
StrOutputParser() 把答案物件轉成純文字,讓 print 能顯示。
invoke 意思是「立即執行這條鏈」,並帶上你給的輸入。輸入是一個字典
{"topic": user_question},它的鍵與範本中的空格名字匹配,所以
{topic} 會被問題取代。這就是模型收到的全部東西。
步驟 6:附上網頁提問
print("After RAG")
after_rag_template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
after_rag_prompt = ChatPromptTemplate.from_template(after_rag_template)
after_rag_chain = (
{"context": retriever, "question": RunnablePassthrough()}
| after_rag_prompt
| my_model
| StrOutputParser()
)
results = after_rag_chain.invoke(user_question)
print("Retrieved chunk:", retriever.invoke(user_question)[0].page_content)
print(results)
三引號讓指示可以跨越多行,而那些換行是模型收到的文字的一部分,比一長行易讀。
現在有兩個佔位符需要填寫。{context} 由檢索器填寫:它接收問題、
搜尋儲存、回傳最佳的一塊。{question} 由 RunnablePassthrough()
填寫,它的工作是把輸入原樣傳遞。
那條指示是解法的另一半:僅根據以下內容回答。沒有它,模型可能 把檢索到的塊與它記得的東西混為一談,你又回到了猜測。有了它,誠實的 「內容中沒有提及」就成為可能。
最後兩行在答案之前印出檢索到的塊。retriever.invoke 用同一個問題
再問儲存一次,[0] 取第一個結果(因為 k=1,也是唯一一個),
.page_content 取出它的文字。這是整個程式最有用的一行:當答案看起來
不對,先從這裡看起。如果正確的句子從未被檢索到,改動提示也無法彌補。
完整程式
把上面的部分拼回來。這就是完整的檔案,一共 67 行:
import os
from dotenv import load_dotenv
load_dotenv()
import requests
from bs4 import BeautifulSoup
from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_core.vectorstores import InMemoryVectorStore
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_openai import ChatOpenAI
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
my_model = ChatOpenAI(
api_key=DEEPSEEK_API_KEY,
base_url="https://api.deepseek.com",
model_name="deepseek-chat"
)
embeddings = HuggingFaceEmbeddings(
model_name="BAAI/bge-m3"
)
urls = [
"https://pongyuenlam.github.io/biography.html",
]
docs = []
for url in urls:
html = requests.get(url).text
text = BeautifulSoup(html, "html.parser").get_text()
docs.append([Document(page_content=text, metadata={"source": url})])
docs_list = []
for sublist in docs:
for item in sublist:
docs_list.append(item)
text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=100)
chunks = text_splitter.split_documents(docs_list)
vectorstore = InMemoryVectorStore.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
print("Before RAG")
before_rag_template = "{topic}"
before_rag_prompt = ChatPromptTemplate.from_template(before_rag_template)
before_rag_chain = before_rag_prompt | my_model | StrOutputParser()
user_question = "What is the Chinese name of Howard Lam?"
print(before_rag_chain.invoke({"topic": user_question}))
print("After RAG")
after_rag_template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
after_rag_prompt = ChatPromptTemplate.from_template(after_rag_template)
after_rag_chain = (
{"context": retriever, "question": RunnablePassthrough()}
| after_rag_prompt
| my_model
| StrOutputParser()
)
results = after_rag_chain.invoke(user_question)
print("Retrieved chunk:", retriever.invoke(user_question)[0].page_content)
print(results)
在自己的電腦上執行
下載 zip 檔案並解壓到
一個資料夾。這個 zip 包含程式、一份 requirements.txt 清單,以及一個
空的 .env 檔案。在 Visual Studio Code 中開啟資料夾,然後在終端機
輸入以下四行:
uv python pin 3.12.10
uv init
uv add -r requirements.txt
uv run rag_webpage_01.py
uv init 建立專案檔案 pyproject.toml,
uv add -r requirements.txt 讀取套件清單並把每個套件安裝到專案中。
第一次執行還會下載嵌入模型,所以會比其他次數花更長時間。
程式執行之前,要把你的 DeepSeek 金鑰放進 .env。檔案已經存在,
值是空的,在 = 號後面加上你的金鑰即可:
DEEPSEEK_API_KEY=your-key-here
如果把 API 金鑰放在 .env,你可以分享程式而不必交出金鑰。
切記不要分享存有真實金鑰的 .env 檔案。
如果 uv 抱怨找不到 Python 版本,請按照上面的 uv 筆記操作: Windows 或 Mac。
這有甚麼用
任何模型沒有學過的東西,只要它在一個網頁上。
它有甚麼限制?
chunk_size=300和chunk_overlap=100會影響結果。 即使設定了chunk_overlap,一個問題的答案仍可能被分進兩塊。- 模型本身並沒有學到任何東西。 RAG 改變的是模型為一個問題讀到的內容; 它沒有移動截止日期,下一個不附網頁的問題又回到猜測。
- 一塊是一扇小窗。 選
k=1是為了讓你看清檢索過程,但 答案橫跨兩塊的問題會漏掉一半。把k提高到 3 或 4 是常見的補救。 - 搜尋匹配的是意義,不是關鍵字。 這既是它的長處也是它的弱點: 用詞不同的問題仍能找到正確的塊,但像課程代碼這樣的精確識別符可能被錯過。
- 每次執行都重新抓取頁面。 編輯頁面就會改變答案——對網站而言方便, 對稽核追蹤而言有風險。而如果頁面本身是錯的,答案也會是錯的。
接下來
同樣六個步驟也適用於 PDF 而非網頁,那正是下一篇:把 requests 和
BeautifulSoup 換成一個 PDF 讀取器,之後的一切保持不變。六個步驟是方法;
檔案類型只是細節。