RAG 检索环节：关键词检索完整落地讲解（附可运行 TF-IDF 代码）

2026/7/19 20:51:14

我们先来搞清楚，检索增强生成（RAG）到底是什么。前面我们已经确定，要搭建一套企业政策智能助手系统：员工提出问题后，系统会检索相关资料、扩充提示词，再生成对应答复。接下来我们拆解这套流程每一步的工作原理，先从检索环节讲起。检索，顾名思义就是调取匹配的相关资料。但具体该怎么实现？企业内部可能有成百上千份政策文件，如何精准定位到和用户问题语境匹配的文档？又该在文件里检索哪些内容？第一步，我们会从用户的提问中提取若干关键词。举个例子，假设用户问居家办公报销相关问题，系统就会提取出报销、居家办公这两个核心关键词。最简单的一种办法，是使用 GREP 命令，在所有文件中检索 “报销” 或 “居家办公” 这类特定词汇，寄希望于能匹配到包含关键词的文档。另一种方式：如果文件存储在数据库中，我们可以编写数据库查询语句进行检索。但以上两种方式，只会返回完全精准匹配关键词的内容，很难每次都拿到准确有效的信息。这种依靠精确文字匹配检索文档的方式，叫做关键词检索，也是各大搜索引擎广泛采用的基础技术。简单解释它的逻辑：程序遍历全部文档，提取关键词，并根据关键词出现频次对文档排序。举个简化例子：系统统计所有文档里 “报销” 一词的出现次数，第一份文档出现 3 次，中间两份无相关内容，第三份同样出现 3 次；随后再统计 “居家办公”，发现该词仅出现在居家办公配置说明文档中。将两组统计结果结合对比，就能筛选出两个关键词总出现次数最多的文档，以此判定这份文档和用户问题最相关。以上只是极度简化的原理说明。关键词检索本身是一套完整技术体系，背后包含大量复杂运算，业界也衍生出多种成熟落地算法，其中最主流的两种就是 TF-IDF 与 BM25。我们不深入拆解底层运算逻辑，只演示实操使用方式，分别看下两种算法的运行效果。首先从开源 Python 库 scikit-learn 中导入 TF 向量转换器。你可以把 scikit-learn 库理解成一个算法工具箱，内置封装好的成熟算法，无需从零手写实现。接着我们定义三份样例文档（这里先用简短句子演示，实际项目中可以读取本地完整文件内容）；然后实例化 TF-IDF 分析器；调用 transform 方法计算各个词汇对应的权重分值；最后将计算结果打印输出到控制台。

RAG 检索环节：关键词检索完整落地讲解（附可运行 TF-IDF 代码）

1. 回顾核心定位

整套企业政策智能助手的 RAG 流程：员工提问 → 检索企业政策文档 → 拼接检索到的文档 + 用户问题构造 Prompt → 大模型生成合规回答检索是整套系统的信息来源，检索不准，后面大模型回答必然失真。关键词检索是检索层最基础、低成本的第一阶段方案，核心只匹配字面文字，不理解语义。

2. 关键词检索核心缺陷

字面不匹配但语义相关的文档完全丢失例：用户问「远程办公补贴」，文档写「居家办公报销标准」，无重合关键词，检索不到；
无法区分词语重要程度，纯靠词频容易产生噪音；
同义词、近义词、简称、书面口语无法互通匹配。

主流关键词检索算法：TF-IDF、BM25

TF-IDF：词频 - 逆文档频率，衡量单个词在当前文档重要性；
BM25：在 TF-IDF 基础上优化，增加文档长度、关键词位置加权，企业知识库检索效果普遍优于原生 TF-IDF。

3. Python TF-IDF 完整可运行演示代码（基于 scikit-learn）

场景说明

3 份企业政策文档，用户查询：居家办公报销标准

python

运行

# 导入TF-IDF工具包 from sklearn.feature_extraction.text import TfidfVectorizer import pandas as pd # 1. 模拟企业政策文档库 docs = [ "公司居家办公报销标准：每月网络补贴100元，凭缴费凭证每月15号提交申请", "外勤出差交通补贴、餐饮补贴报销规则，出差需提前线上报备审批", "员工考勤管理制度，上下班打卡、请假流程、加班调休相关规定" ] # 用户查询问句 query = "居家办公报销多少钱" # 2. 初始化TF-IDF转换器 tfidf = TfidfVectorizer() # 对全部文档计算TF-IDF权重矩阵 doc_tfidf = tfidf.fit_transform(docs) # 把用户问句转为相同向量空间 query_tfidf = tfidf.transform([query]) # 3. 计算查询与每篇文档的相似度（余弦相似度） from sklearn.metrics.pairwise import cosine_similarity similarity_scores = cosine_similarity(query_tfidf, doc_tfidf)[0] # 4. 整理输出结果 result = pd.DataFrame({ "文档内容": docs, "匹配相似度得分": similarity_scores }).sort_values("匹配相似度得分", ascending=False) print("=== TF-IDF 检索匹配结果 ===") print(result) print("\n最匹配文档：", result.iloc[0]["文档内容"])

代码运行结果解读

工具会自动拆分文本词汇：居家、办公、报销、补贴、出差、考勤等；
TF（词频）：某词在单篇文档出现越多，分值越高；
IDF（逆文档频率）：词在全部文档里越稀有，权重越高；
- “居家办公” 只出现在第一篇文档，IDF 权重极高；
- “报销” 出现在第一篇、第二篇，IDF 权重会被稀释；
余弦相似度用来衡量用户提问向量和文档向量重合度，分数越高代表关键词重合越多。