如何提供网页,用检索增强生成(RAG)减少 AI 幻觉?
聊天模型是在极大量的文本上训练出来的,而训练在某个截止日期停止。从那天起,模型就被冻结: 它不会读取新页面,也看不到新事实。
由此产生两个缺口。第一个是时间:截止日期之后写成的任何内容,都不可能在它的知识里。 第二个是覆盖范围:即使是截止日期之前写成的文本,训练语料也不可能涵盖世上每一个网站。 所以,个人页面或小公司的网站就可能缺席。
如果你的网页落在第二个缺口,问模型一个只存在于该页面上的事实。它要么承认自己不知道, 要么——更糟——自信地编造一个答案。本文用一个 Python 程序展示解法:抓取该页、保留其文字, 并在模型回答之前把相关部分放到它面前。
这项技术称为检索增强生成(retrieval-augmented generation,简称 RAG)。 名字描述了它的两半:检索找出重要的文字,生成是模型根据那些文字写出答案。
同一个问题,问两次
程序就个人简介页面问一个问题:“What is the Chinese name of Howard Lam?”(林邦源的 中文名字是什么?)。第一次直接问模型,不附任何网页。然后再问一次,这次附上网页。 两次运行的模型和问题完全相同,所以答案的任何差异都来自网页。
没有网页时,答案是:
Howard Lam's Chinese name is 林浩然 (Lín Hàorán).
这是一句流利的话,格式正确,而且完全错误。该网页根本不在训练语料里,所以模型根据 见过的模式拼凑出一个看似答案的东西。这就是人们所说的幻觉 (hallucination),而自信的语气正是问题的一部分。
附上网页后,同一个模型给出:
林邦源
简短、朴实、正确。模型在两次运行之间并没有变聪明。它只是面前放着取自网页的一段文字, 并被要求根据那段文字生成答案。所以第二次运行能给出正确答案。
步骤 1:连接模型
需要两种连接,性质不同。聊天模型是你通过互联网调用的服务;嵌入模型则在你自己的 电脑上运行。
import os
from dotenv import load_dotenv
load_dotenv()
from langchain_openai import ChatOpenAI
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
my_model = ChatOpenAI(
api_key=DEEPSEEK_API_KEY,
base_url="https://api.deepseek.com",
model_name="deepseek-chat"
)
前三行让密钥可用。import os 引入标准的操作系统模块,
它在这里的唯一工作是从环境中读取值。load_dotenv() 读取同一文件夹中
名为 .env 的文件,并把其中每一行(例如 DEEPSEEK_API_KEY=...)
复制到环境中。
os.getenv("DEEPSEEK_API_KEY") 从 .env 文件读取该值,然后
把它赋予 = 号左边 Python 程序中的变量,即 DEEPSEEK_API_KEY。
密钥是一组密码,让你的程序能使用 DeepSeek 的服务,而该服务是一个 API
(application programming interface,应用程序编程接口)的缩写:一个程序通过互联网
向另一个程序索取东西的方式。
类名为 ChatOpenAI,尽管模型是 DeepSeek 的。DeepSeek 提供的接口
与 OpenAI 讲同一种语言,所以同一个类可用;只需改动 base_url 和
model_name。
from langchain_huggingface import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
model_name="BAAI/bge-m3"
)
第二种连接是嵌入模型,它让搜索成为可能。它把文字转换成一列数字,而且意义相近的
两段文字,数字会彼此接近。这里使用 bge-m3,因为它在同一空间中处理
中文和英文——这正是英文问题能找到中文名字的原因。斜线前的名字 BAAI 是
北京智源人工智能研究院(Beijing Academy of Artificial Intelligence),即发布该模型的机构。
第一次运行会下载这个模型,之后即可离线使用。使用它无需付费。
步骤 2:抓取网页并保留文字
urls = [
"https://pongyuenlam.github.io/biography.html",
]
docs = []
for url in urls:
html = requests.get(url).text
text = BeautifulSoup(html, "html.parser").get_text()
docs.append([Document(page_content=text, metadata={"source": url})])
docs_list = []
for sublist in docs:
for item in sublist:
docs_list.append(item)
urls 是要读取的网址列表,所以写在方括号里。这里一个就够;在列表中
再加一行,每个网址就会依次被抓取。requests.get(url) 下载该页,结尾的
.text 把整页保留为一个长字符串,标签俱全。
BeautifulSoup(html, "html.parser").get_text() 把标签丢掉,只保留读者
会看到的内容。这一点很重要:在 HTML 标签中搜索,只会把时间浪费在
<div> 和 <nav> 上。第二个参数
"html.parser" 指定 BeautifulSoup 用来读取 HTML 的解析器;它随 Python
附带,无需额外安装。
Document 是一个小容器,有两部分:文字,以及一个记录来源的标签。
这个标签不用于生成答案,但当你有多个页面时,它能让你知道检索到的句子属于哪一页。
注意最后一行 Document 外面的方括号:每一页放进自己的小列表,所以
docs 是列表的列表。接下来四行把它变成一个简单的文档列表。第一行创建
名为 docs_list 的空列表,接着两行遍历 docs 中的每个子列表,
再遍历子列表中的每个条目,最后一行把每个条目放进 docs_list。最终
docs_list 以一个简单列表容纳所有文档,这正是下一步文本分割器所需的。
步骤 3:把文字切成小块
text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=100)
chunks = text_splitter.split_documents(docs_list)
现在页面是一个长字符串,而长字符串不是好的搜索单位:它一次涵盖许多主题,所以没有任何 单一问题能与它良好匹配。把它切成小块,每个想法就有自己的条目。
chunk_size=300 表示每块约 300 个字符,大约四、五句。chunk_overlap=100
把一块的最后 100 个字符重复在下一块的开头,所以被切在两块之间的句子,仍会完整地
出现在其中一块。
Recursive(递归)描述它偏好的切割位置。它先尝试空行,然后是单一换行, 再然后是字词之间的空格。结果是在大小允许的范围内,尽量把完整的句子放在一起。
split_documents 还会把标签复制到每一块上。只有一个网址时,标签处处相同,
没有作用;一旦列表中有多个页面,它就很要紧,因为之后找到的每一块都必须能说出
自己来自哪个网页。
步骤 4:把小块变成数字
vectorstore = InMemoryVectorStore.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
from_documents 把每一块送进嵌入模型,并把得到的数字连同原始文字
保存在内存中。InMemory 是字面意思:不写入任何磁盘,程序结束时
存储就消失。
as_retriever 把存储变成一个可以提问的东西。给它一个问题,它交回
意义最接近的块。search_kwargs 存放搜索设置,k 是返回的
块数。k=1 要求只返回最佳的一个。这里一个就够,因为这样你能清楚看到
模型到底收到了什么。
步骤 5:不附网页提问
print("Before RAG")
before_rag_template = "{topic}"
before_rag_prompt = ChatPromptTemplate.from_template(before_rag_template)
before_rag_chain = before_rag_prompt | my_model | StrOutputParser()
user_question = "What is the Chinese name of Howard Lam?"
print(before_rag_chain.invoke({"topic": user_question}))
这里的模板除了把问题原样传递之外什么都不做,这正是重点:这是没有任何额外依据的 模型。把它放进来,是让你亲眼看到失败,而不是听我一面之词。
竖线符号从左到右串起一条链。提示产生一条消息,模型回答该消息,
StrOutputParser() 把答案对象转成纯文字,让 print 能显示。
invoke 意思是“立即运行这条链”,并带上你给的输入。输入是一个字典
{"topic": user_question},它的键与模板中的空格名字匹配,所以
{topic} 会被问题取代。这就是模型收到的全部东西。
步骤 6:附上网页提问
print("After RAG")
after_rag_template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
after_rag_prompt = ChatPromptTemplate.from_template(after_rag_template)
after_rag_chain = (
{"context": retriever, "question": RunnablePassthrough()}
| after_rag_prompt
| my_model
| StrOutputParser()
)
results = after_rag_chain.invoke(user_question)
print("Retrieved chunk:", retriever.invoke(user_question)[0].page_content)
print(results)
三引号让指令可以跨越多行,而那些换行是模型收到的文字的一部分,比一长行易读。
现在有两个占位符需要填写。{context} 由检索器填写:它接收问题、
搜索存储、返回最佳的一块。{question} 由 RunnablePassthrough()
填写,它的工作是把输入原样传递。
那条指令是解法的另一半:仅根据以下内容回答。没有它,模型可能 把检索到的块与它记得的东西混为一谈,你又回到了猜测。有了它,诚实的 “内容中没有提及”就成为可能。
最后两行在答案之前打印出检索到的块。retriever.invoke 用同一个问题
再问存储一次,[0] 取第一个结果(因为 k=1,也是唯一一个),
.page_content 取出它的文字。这是整个程序最有用的一行:当答案看起来
不对,先从这里看起。如果正确的句子从未被检索到,改动提示也无法弥补。
完整程序
把上面的部分拼回来。这就是完整的文件,一共 67 行:
import os
from dotenv import load_dotenv
load_dotenv()
import requests
from bs4 import BeautifulSoup
from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_core.vectorstores import InMemoryVectorStore
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_openai import ChatOpenAI
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
my_model = ChatOpenAI(
api_key=DEEPSEEK_API_KEY,
base_url="https://api.deepseek.com",
model_name="deepseek-chat"
)
embeddings = HuggingFaceEmbeddings(
model_name="BAAI/bge-m3"
)
urls = [
"https://pongyuenlam.github.io/biography.html",
]
docs = []
for url in urls:
html = requests.get(url).text
text = BeautifulSoup(html, "html.parser").get_text()
docs.append([Document(page_content=text, metadata={"source": url})])
docs_list = []
for sublist in docs:
for item in sublist:
docs_list.append(item)
text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=100)
chunks = text_splitter.split_documents(docs_list)
vectorstore = InMemoryVectorStore.from_documents(chunks, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
print("Before RAG")
before_rag_template = "{topic}"
before_rag_prompt = ChatPromptTemplate.from_template(before_rag_template)
before_rag_chain = before_rag_prompt | my_model | StrOutputParser()
user_question = "What is the Chinese name of Howard Lam?"
print(before_rag_chain.invoke({"topic": user_question}))
print("After RAG")
after_rag_template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
after_rag_prompt = ChatPromptTemplate.from_template(after_rag_template)
after_rag_chain = (
{"context": retriever, "question": RunnablePassthrough()}
| after_rag_prompt
| my_model
| StrOutputParser()
)
results = after_rag_chain.invoke(user_question)
print("Retrieved chunk:", retriever.invoke(user_question)[0].page_content)
print(results)
在自己的电脑上运行
下载 zip 文件并解压到
一个文件夹。这个 zip 包含程序、一份 requirements.txt 列表,以及一个
空的 .env 文件。在 Visual Studio Code 中打开文件夹,然后在终端
输入以下四行:
uv python pin 3.12.10
uv init
uv add -r requirements.txt
uv run rag_webpage_01.py
uv init 创建项目文件 pyproject.toml,
uv add -r requirements.txt 读取软件包列表并把每个软件包安装到项目中。
第一次运行还会下载嵌入模型,所以会比其他次花更长时间。
程序运行之前,要把你的 DeepSeek 密钥放进 .env。文件已经存在,
值是空的,在 = 号后面加上你的密钥即可:
DEEPSEEK_API_KEY=your-key-here
如果把 API 密钥放在 .env,你可以分享程序而不必交出密钥。
切记不要分享存有真实密钥的 .env 文件。
如果 uv 抱怨找不到 Python 版本,请按照上面的 uv 笔记操作: Windows 或 Mac。
这有什么用
任何模型没有学过的东西,只要它在一个网页上。
它有什么限制?
chunk_size=300和chunk_overlap=100会影响结果。 即使设置了chunk_overlap,一个问题的答案仍可能被分进两块。- 模型本身并没有学到任何东西。 RAG 改变的是模型为一个问题读到的内容; 它没有移动截止日期,下一个不附网页的问题又回到猜测。
- 一块是一扇小窗。 选
k=1是为了让你看清检索过程,但 答案横跨两块的问题会漏掉一半。把k提高到 3 或 4 是常见的补救。 - 搜索匹配的是意义,不是关键字。 这既是它的长处也是它的弱点: 用词不同的问题仍能找到正确的块,但像课程代码这样的精确标识符可能被错过。
- 每次运行都重新抓取页面。 编辑页面就会改变答案——对网站而言方便, 对审计追踪而言有风险。而如果页面本身是错的,答案也会是错的。
接下来
同样六个步骤也适用于 PDF 而非网页,那正是下一篇:把 requests 和
BeautifulSoup 换成一个 PDF 读取器,之后的一切保持不变。六个步骤是方法;
文件类型只是细节。