如何提供网页,用检索增强生成(RAG)减少 AI 幻觉?

林邦源 · AI 笔记 · 2026年11月1日 · 阅读时间约 6 分钟

English 繁體中文 简体中文

聊天模型是在极大量的文本上训练出来的,而训练在某个截止日期停止。从那天起,模型就被冻结: 它不会读取新页面,也看不到新事实。

由此产生两个缺口。第一个是时间:截止日期之后写成的任何内容,都不可能在它的知识里。 第二个是覆盖范围:即使是截止日期之前写成的文本,训练语料也不可能涵盖世上每一个网站。 所以,个人页面或小公司的网站就可能缺席。

如果你的网页落在第二个缺口,问模型一个只存在于该页面上的事实。它要么承认自己不知道, 要么——更糟——自信地编造一个答案。本文用一个 Python 程序展示解法:抓取该页、保留其文字, 并在模型回答之前把相关部分放到它面前。

这项技术称为检索增强生成(retrieval-augmented generation,简称 RAG)。 名字描述了它的两半:检索找出重要的文字,生成是模型根据那些文字写出答案。

同一个问题,问两次

程序就个人简介页面问一个问题:“What is the Chinese name of Howard Lam?”(林邦源的 中文名字是什么?)。第一次直接问模型,不附任何网页。然后再问一次,这次附上网页。 两次运行的模型和问题完全相同,所以答案的任何差异都来自网页。

没有网页时,答案是:

Howard Lam's Chinese name is 林浩然 (Lín Hàorán).

这是一句流利的话,格式正确,而且完全错误。该网页根本不在训练语料里,所以模型根据 见过的模式拼凑出一个看似答案的东西。这就是人们所说的幻觉 (hallucination),而自信的语气正是问题的一部分。

附上网页后,同一个模型给出:

林邦源

简短、朴实、正确。模型在两次运行之间并没有变聪明。它只是面前放着取自网页的一段文字, 并被要求根据那段文字生成答案。所以第二次运行能给出正确答案。

步骤 1:连接模型

需要两种连接,性质不同。聊天模型是你通过互联网调用的服务;嵌入模型则在你自己的 电脑上运行。

import os
from dotenv import load_dotenv
load_dotenv()

from langchain_openai import ChatOpenAI
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
my_model = ChatOpenAI(
    api_key=DEEPSEEK_API_KEY,
    base_url="https://api.deepseek.com",
    model_name="deepseek-chat"
)

前三行让密钥可用。import os 引入标准的操作系统模块, 它在这里的唯一工作是从环境中读取值。load_dotenv() 读取同一文件夹中 名为 .env 的文件,并把其中每一行(例如 DEEPSEEK_API_KEY=...) 复制到环境中。

os.getenv("DEEPSEEK_API_KEY") 从 .env 文件读取该值,然后 把它赋予 = 号左边 Python 程序中的变量,即 DEEPSEEK_API_KEY。 密钥是一组密码,让你的程序能使用 DeepSeek 的服务,而该服务是一个 API (application programming interface,应用程序编程接口)的缩写:一个程序通过互联网 向另一个程序索取东西的方式。

类名为 ChatOpenAI,尽管模型是 DeepSeek 的。DeepSeek 提供的接口 与 OpenAI 讲同一种语言,所以同一个类可用;只需改动 base_url 和 model_name。

from langchain_huggingface import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-m3"
)

第二种连接是嵌入模型,它让搜索成为可能。它把文字转换成一列数字,而且意义相近的 两段文字,数字会彼此接近。这里使用 bge-m3,因为它在同一空间中处理 中文和英文——这正是英文问题能找到中文名字的原因。斜线前的名字 BAAI 是 北京智源人工智能研究院(Beijing Academy of Artificial Intelligence),即发布该模型的机构。

第一次运行会下载这个模型,之后即可离线使用。使用它无需付费。

步骤 2:抓取网页并保留文字

urls = [
    "https://pongyuenlam.github.io/biography.html",
]

docs = []
for url in urls:
    html = requests.get(url).text
    text = BeautifulSoup(html, "html.parser").get_text()
    docs.append([Document(page_content=text, metadata={"source": url})])
docs_list = []
for sublist in docs:
    for item in sublist:
        docs_list.append(item)

urls 是要读取的网址列表,所以写在方括号里。这里一个就够;在列表中 再加一行,每个网址就会依次被抓取。requests.get(url) 下载该页,结尾的 .text 把整页保留为一个长字符串,标签俱全。

BeautifulSoup(html, "html.parser").get_text() 把标签丢掉,只保留读者 会看到的内容。这一点很重要:在 HTML 标签中搜索,只会把时间浪费在 <div> 和 <nav> 上。第二个参数 "html.parser" 指定 BeautifulSoup 用来读取 HTML 的解析器;它随 Python 附带,无需额外安装。

Document 是一个小容器,有两部分:文字,以及一个记录来源的标签。 这个标签不用于生成答案,但当你有多个页面时,它能让你知道检索到的句子属于哪一页。

注意最后一行 Document 外面的方括号:每一页放进自己的小列表,所以 docs 是列表的列表。接下来四行把它变成一个简单的文档列表。第一行创建 名为 docs_list 的空列表,接着两行遍历 docs 中的每个子列表, 再遍历子列表中的每个条目,最后一行把每个条目放进 docs_list。最终 docs_list 以一个简单列表容纳所有文档,这正是下一步文本分割器所需的。

步骤 3:把文字切成小块

text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=100)
chunks = text_splitter.split_documents(docs_list)

现在页面是一个长字符串,而长字符串不是好的搜索单位:它一次涵盖许多主题,所以没有任何 单一问题能与它良好匹配。把它切成小块,每个想法就有自己的条目。

chunk_size=300 表示每块约 300 个字符,大约四、五句。chunk_overlap=100 把一块的最后 100 个字符重复在下一块的开头,所以被切在两块之间的句子,仍会完整地 出现在其中一块。

Recursive(递归)描述它偏好的切割位置。它先尝试空行,然后是单一换行, 再然后是字词之间的空格。结果是在大小允许的范围内,尽量把完整的句子放在一起。

split_documents 还会把标签复制到每一块上。只有一个网址时,标签处处相同, 没有作用;一旦列表中有多个页面,它就很要紧,因为之后找到的每一块都必须能说出 自己来自哪个网页。

步骤 4:把小块变成数字

vectorstore = InMemoryVectorStore.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})

from_documents 把每一块送进嵌入模型,并把得到的数字连同原始文字 保存在内存中。InMemory 是字面意思:不写入任何磁盘,程序结束时 存储就消失。

as_retriever 把存储变成一个可以提问的东西。给它一个问题,它交回 意义最接近的块。search_kwargs 存放搜索设置,k 是返回的 块数。k=1 要求只返回最佳的一个。这里一个就够,因为这样你能清楚看到 模型到底收到了什么。

步骤 5:不附网页提问

print("Before RAG")
before_rag_template = "{topic}"
before_rag_prompt = ChatPromptTemplate.from_template(before_rag_template)
before_rag_chain = before_rag_prompt | my_model | StrOutputParser()
user_question = "What is the Chinese name of Howard Lam?"

print(before_rag_chain.invoke({"topic": user_question}))

这里的模板除了把问题原样传递之外什么都不做,这正是重点:这是没有任何额外依据的 模型。把它放进来,是让你亲眼看到失败,而不是听我一面之词。

竖线符号从左到右串起一条链。提示产生一条消息,模型回答该消息, StrOutputParser() 把答案对象转成纯文字,让 print 能显示。

invoke 意思是“立即运行这条链”,并带上你给的输入。输入是一个字典 {"topic": user_question},它的键与模板中的空格名字匹配,所以 {topic} 会被问题取代。这就是模型收到的全部东西。

步骤 6:附上网页提问

print("After RAG")
after_rag_template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
after_rag_prompt = ChatPromptTemplate.from_template(after_rag_template)
after_rag_chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | after_rag_prompt
    | my_model
    | StrOutputParser()
)
results = after_rag_chain.invoke(user_question)
print("Retrieved chunk:", retriever.invoke(user_question)[0].page_content)
print(results)

三引号让指令可以跨越多行,而那些换行是模型收到的文字的一部分,比一长行易读。 现在有两个占位符需要填写。{context} 由检索器填写:它接收问题、 搜索存储、返回最佳的一块。{question} 由 RunnablePassthrough() 填写,它的工作是把输入原样传递。

那条指令是解法的另一半:仅根据以下内容回答。没有它,模型可能 把检索到的块与它记得的东西混为一谈,你又回到了猜测。有了它,诚实的 “内容中没有提及”就成为可能。

最后两行在答案之前打印出检索到的块。retriever.invoke 用同一个问题 再问存储一次,[0] 取第一个结果(因为 k=1,也是唯一一个), .page_content 取出它的文字。这是整个程序最有用的一行:当答案看起来 不对,先从这里看起。如果正确的句子从未被检索到,改动提示也无法弥补。

完整程序

把上面的部分拼回来。这就是完整的文件,一共 67 行:

import os
from dotenv import load_dotenv
load_dotenv()
import requests
from bs4 import BeautifulSoup
from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_core.vectorstores import InMemoryVectorStore
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_huggingface import HuggingFaceEmbeddings

from langchain_openai import ChatOpenAI
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
my_model = ChatOpenAI(
    api_key=DEEPSEEK_API_KEY,
    base_url="https://api.deepseek.com",
    model_name="deepseek-chat"
)
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-m3"
)

urls = [
    "https://pongyuenlam.github.io/biography.html",
]

docs = []
for url in urls:
    html = requests.get(url).text
    text = BeautifulSoup(html, "html.parser").get_text()
    docs.append([Document(page_content=text, metadata={"source": url})])
docs_list = []
for sublist in docs:
    for item in sublist:
        docs_list.append(item)
text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=100)
chunks = text_splitter.split_documents(docs_list)

vectorstore = InMemoryVectorStore.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})

print("Before RAG")
before_rag_template = "{topic}"
before_rag_prompt = ChatPromptTemplate.from_template(before_rag_template)
before_rag_chain = before_rag_prompt | my_model | StrOutputParser()
user_question = "What is the Chinese name of Howard Lam?"

print(before_rag_chain.invoke({"topic": user_question}))

print("After RAG")
after_rag_template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
after_rag_prompt = ChatPromptTemplate.from_template(after_rag_template)
after_rag_chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | after_rag_prompt
    | my_model
    | StrOutputParser()
)
results = after_rag_chain.invoke(user_question)
print("Retrieved chunk:", retriever.invoke(user_question)[0].page_content)
print(results)

在自己的电脑上运行

下载 zip 文件并解压到 一个文件夹。这个 zip 包含程序、一份 requirements.txt 列表,以及一个 空的 .env 文件。在 Visual Studio Code 中打开文件夹,然后在终端 输入以下四行:

uv python pin 3.12.10
uv init
uv add -r requirements.txt
uv run rag_webpage_01.py

uv init 创建项目文件 pyproject.toml, uv add -r requirements.txt 读取软件包列表并把每个软件包安装到项目中。 第一次运行还会下载嵌入模型,所以会比其他次花更长时间。

程序运行之前,要把你的 DeepSeek 密钥放进 .env。文件已经存在, 值是空的,在 = 号后面加上你的密钥即可:

DEEPSEEK_API_KEY=your-key-here

如果把 API 密钥放在 .env,你可以分享程序而不必交出密钥。 切记不要分享存有真实密钥的 .env 文件。

如果 uv 抱怨找不到 Python 版本,请按照上面的 uv 笔记操作: Windows 或 Mac。

这有什么用

任何模型没有学过的东西,只要它在一个网页上。

它有什么限制?

接下来

同样六个步骤也适用于 PDF 而非网页,那正是下一篇:把 requests 和 BeautifulSoup 换成一个 PDF 读取器,之后的一切保持不变。六个步骤是方法; 文件类型只是细节。