很多企业试用通用大模型后都会遇到同一个问题：它能写邮件、做总结，可一旦问到公司自己的报销制度、某个型号的保修条款或某份客户合同的付款条件，它要么答不上来，要么编出一个听起来很像真的答案。原因并不复杂：这些资料从来不在模型的训练数据里。要让 AI 真正读懂公司内部资料，关键不是换一个更强的模型，而是让它在回答前先查到正确的资料，并说清楚答案出自哪里。
这正是检索增强生成（RAG）要解决的问题。本文将介绍通用大模型为什么不了解你的公司、RAG 是怎样工作的、它与微调和长上下文有什么区别，以及企业知识库效果不好的常见原因，并给出一份分步搭建指南和常见问题解答。
为什么通用大模型不了解你的公司，还会“一本正经地胡说”？
通用大模型的知识来自训练时用到的公开数据，并停留在训练完成的那一刻。它没有见过你的内部制度、产品手册和客户合同，但被问到时，它往往仍会给出一个答案。
这种“自信地答错”被称为幻觉（hallucination）。OpenAI 在 2025 年 9 月发表的研究文章《Why language models hallucinate》中，把幻觉定义为模型生成的“看似合理但错误的陈述”，并指出一个重要原因：常见的训练和评测方式只看答对率，猜对了得分，回答“不知道”却得零分，于是模型被训练得更倾向于猜测，而不是承认不确定（来源）。文章还提到，拼写、语法这类有规律的知识，模型随着规模增大会越来越可靠；但某个人的生日这类低频、没有规律可循的事实，无法从模式中推断出来。企业内部的制度条款、价格政策、客户约定，恰恰属于这一类。
例如，员工问“出差住酒店每晚的报销上限是多少”，通用模型可能会按照常见做法给出一个看似合理的金额。如果这个金额和公司制度不符，员工照此报销，后果比“答不出来”更麻烦。
归纳起来，通用大模型在企业场景中有三个先天缺口：
- 看不到内部资料。 公司的制度、产品资料、工单记录和合同，不在任何公开训练数据中。
- 知识有截止日期。 价格表调整、政策更新之后，模型并不知道，仍可能按旧情况回答。
- 说不清依据。 答案没有出处，员工无法核对，管理者也无法判断该不该信。
什么是检索增强生成（RAG）？它是怎么工作的？
RAG（Retrieval-Augmented Generation，检索增强生成）的思路可以概括为“先查资料，再回答”。模型不需要把公司资料“背下来”，只要在回答前找到相关段落，并依据这些段落作答。
这个概念来自 2020 年的一篇论文。来自 Facebook AI Research、伦敦大学学院和纽约大学的 Patrick Lewis 等研究者在论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中提出了 RAG，论文发表于 NeurIPS 2020。他们把存在模型参数里的知识称为“参数化记忆”，把可以随时查询的外部文档库（实验中用的是维基百科）称为“非参数化记忆”，并指出单靠前者，模型很难说明答案的出处，也很难更新知识（来源）。这两点，恰好是企业最在意的。
用非技术的语言说，一个企业知识库问答系统通常包括四个环节：
- 资料切分。 把制度文件、产品手册、合同等拆成一段段较短的片段（chunk），并为每个片段建立索引，方便之后按内容查找。
- 检索。 员工提问后，系统先在索引中找出与问题最相关的几个片段。常见做法是把“按意思找”（向量检索）和“按关键词找”结合起来。Anthropic 指出，关键词检索对产品型号、错误代码这类必须精确匹配的字符串尤其有用（来源）。
- 带着资料回答。 系统把检索到的片段和问题一起交给大模型，要求它只根据这些资料作答；资料里没有的，就明确回答“没有找到相关规定”。
- 引用出处。 答案附上来源文件、章节或页码，员工可以一键打开原文核对。
例如，客服人员问“某型号产品的电机保修几年”，系统先在产品手册和保修政策中找到相关条款，再生成回答，并注明出自《保修政策》的哪一条。客服不必翻遍共享盘，也能对客户说清依据。
这种做法在企业中已相当普遍。投资机构 Menlo Ventures 于 2024 年 9 月至 10 月调查了 600 名美国企业 IT 决策者（企业规模在 50 人以上），发现在受访企业的生成式 AI 应用中，采用 RAG 的比例为 51%，高于上一年的 31%；而经过微调的生产模型只占 9%（来源）。需要注意，这项调查只覆盖美国企业，且出自投资机构视角。
在企业里，RAG 最常见的用途有四类：
- 内部制度问答。 报销标准、请假流程、采购审批权限等。新员工不必反复问人事和财务，答案也更统一。
- 产品资料查询。 销售和客服快速查找规格参数、兼容型号和价格政策。例如，批发商的业务员在客户现场查询某个 SKU 的替代型号。
- 售后知识库。 把故障排查手册、历史工单和维修记录接进来，客服或维修工程师可以按故障现象检索类似案例和处理方法。
- 合同检索。 法务和采购人员查找付款条件、违约责任、续约条款，或比较不同供应商合同的差异。这类场景风险较高，答案应由人复核。
它们的共同点是：资料多、更新频繁、答案必须有依据。 这也是判断一个场景适不适合用 RAG 的简单标准。
RAG、微调和长上下文有什么区别？
让模型用上公司资料，常见的做法有三种：RAG、微调和长上下文。对于大多数“查资料、答问题”的需求，RAG 是更稳妥的起点；微调更适合让模型学会固定的格式和表达方式，而不是给它灌输事实。
微调（fine-tuning）是用企业自己的样例数据对模型做进一步训练；长上下文（long context）是把整份资料直接放进给模型的提示词里，让它一次读完。三者的区别如下：
| 对比项 | RAG（检索增强生成） | 微调 | 长上下文 |
|---|---|---|---|
| 基本做法 | 回答前先检索相关片段 | 用样例数据再训练模型 | 把整份资料一次放进提示词 |
| 适合的需求 | 资料多、常更新、需要出处 | 固定格式、语气、行业术语、分类任务 | 资料量小，或一次性分析某份长文档 |
| 资料更新 | 更新文档和索引即可 | 往往需要重新训练 | 每次调用都要重新放入 |
| 引用出处 | 容易做到 | 很难做到 | 可以，但要靠提示词约束 |
| 权限控制 | 可在检索时按提问人过滤 | 很难，知识已混入模型参数 | 需在放入前人工筛选 |
| 主要成本 | 资料整理、索引与检索的搭建维护 | 数据准备、训练和反复评估 | 每次处理大量文字的费用和等待时间 |
| 主要局限 | 检索不到，就答不好 | 仍会幻觉，难以删除某条知识 | 资料太多放不下，长文中间的信息易被忽略 |
表中的比较是一般情况，具体取舍还要看资料规模和使用频率。
资料量不大时，长上下文是一个值得考虑的简单方案。Anthropic 在 2024 年 9 月的技术文章中建议，如果知识库小于约 20 万个 token（token 是模型处理文字的基本单位，这一规模大约相当于 500 页资料），可以直接把全部内容放进提示词，不必搭建 RAG；知识库更大时，才需要更可扩展的方案（来源）。
但“放得进去”不等于“读得仔细”。斯坦福大学等机构的研究者在论文《Lost in the Middle》中发现，当关键信息位于长输入的开头或结尾时，模型表现最好；位于中间时，表现明显下降，即使是专门为长上下文设计的模型也是如此（来源）。因此在实践中，三种方法常常组合使用。例如，先用 RAG 找出与问题相关的那份合同，再把整份合同放进上下文中逐条阅读。
为什么很多企业知识库效果不好？
知识库答得不好，问题多半不在模型，而在资料和管理。RAG 只会放大资料本身的质量：资料是乱的，答案也不会准。
Gartner 在 2024 年 7 月对 1,203 名数据管理负责人进行了调查，63% 的组织表示不具备、或不确定是否具备适合 AI 的数据管理实践；Gartner 据此预测，到 2026 年，缺少“AI 就绪数据”支撑的 AI 项目中将有 60% 被放弃（来源）。这项调查针对的是 AI 项目整体，但对知识库同样适用。
即便是专业厂商的产品，也不能把 RAG 当作万能药。斯坦福大学和耶鲁大学的研究者在 2024 年评测了 LexisNexis 和 Thomson Reuters 基于 RAG 的法律 AI 研究工具，发现它们的幻觉比通用聊天机器人（GPT-4）少，但各自仍有 17% 到 33% 的回答存在幻觉（来源）。
在企业实践中，效果不好通常有以下五个原因：
- 资料过时、重复、互相矛盾。 共享盘里同一份制度可能同时存在“2023 版”“2024 版”和“最终版（2）”。检索找到的如果是旧版本，答案就会出错，而且出错得很有说服力。
- 权限没有处理好。 接入知识库，不代表所有人都能问出薪酬表或客户报价。OWASP 在 2025 版大模型应用十大风险中专门列出了向量与嵌入相关的弱点：访问控制薄弱时，模型可能检索并泄露个人信息或商业机密；多个用户群体共用一个向量数据库时，还可能出现跨群体的信息泄露。它建议使用支持细粒度权限的存储方式，并按访问级别对数据分区（来源）。
- 文档格式混乱。 扫描版 PDF、嵌在图片里的表格、合并了单元格的 Excel、画在 PPT 里的流程图，切分后很容易丢失信息。
- 切分丢掉了上下文。 Anthropic 举过一个例子：一个片段只写着“公司营收比上一季度增长 3%”，却没有写明是哪家公司、哪个季度，检索时就很难被找到。它在自己的测试中发现，给每个片段补充上下文并结合关键词检索，检索失败率可降低 49%，再加上重新排序可降低 67%（来源）。这是厂商自己的测试结果，但说明检索方式的设计会显著影响效果。
- 没有评估。 没有一套标准问题和标准答案，调整了切分方式、换了模型或补充了资料之后，谁也说不清效果是变好了还是变坏了，只能凭零散的使用感受做判断。
如何搭建一个可靠的企业知识库？分步指南
搭建企业知识库，技术选型往往是最容易的部分。从一个高频、资料边界清楚的场景开始，先把资料理干净、把权限定清楚，再谈技术。
第 1 步：选一个具体场景，明确谁来用。 例如“门店员工查询退换货政策”或“客服查询产品保修条款”，而不是一开始就做“全公司知识库”。场景越具体，资料范围和成功标准就越清楚。
第 2 步：清点并整理资料。 找出每类资料的权威版本，删除重复和过期的文件，为每份资料指定负责人和更新周期。这一步工作量最大，但决定了知识库的上限。
第 3 步：先定权限规则。 按部门、岗位、门店或客户划分资料的可见范围，并尽量沿用原有系统的权限设置。权限应在检索阶段生效：系统只检索提问人有权查看的资料，而不是检索出来之后再让模型“不要说”。
第 4 步：处理格式，合理切分。 对扫描件做文字识别，把重要表格转换成结构化格式；切分时为每个片段保留文件名、章节标题、生效日期等信息，避免片段脱离上下文。
第 5 步：建立评估问题集。 从一线收集一批真实问题，写好标准答案和对应出处。每次调整后都用同一套问题检查：是否找到了正确的资料、答案是否正确、出处是否准确、资料里没有时是否会如实回答“没有找到”。
第 6 步：小范围试点，强制显示出处。 先让一个团队或几家门店使用，每条答案都显示出处，并提供“有用 / 没用”的反馈按钮。定期查看答不上来和答错的问题，据此补充或修正资料。
第 7 步：把维护变成日常流程。 制度和产品资料一更新，知识库就要同步更新。Gartner 也强调，AI 就绪的数据不是“一次性完成”的工作（来源）。可以把“同步知识库”写进制度发布和产品上新的流程清单。
关于企业知识库与 RAG 的常见问题
把公司资料交给 AI，数据安全吗？ 这取决于部署方式和供应商条款。选型时至少要确认四件事：数据存放在哪里、是否会被用于训练模型、保留多长时间、哪些人能够访问。对于高度敏感的资料，可以考虑私有化部署，或在合同中明确约定数据的使用范围。
员工会通过知识库看到不该看的资料吗？ 如果没有做权限控制，确实有可能。正确的做法是在检索时按提问人的权限过滤，只把他有权查看的片段交给模型。不能指望模型自己判断谁该看什么。
一定要自己搭建吗？ 不一定。不少办公软件和客服系统已经内置了知识库问答功能，资料量不大、场景标准时，可以先用现成产品验证效果；需要接入多个内部系统、权限复杂或有私有化要求时，再考虑定制或自建。无论哪种方式，资料整理和效果评估都省不了。
用了 RAG，AI 就不会胡说了吗？ 不会。RAG 能明显减少幻觉，但无法完全消除，前面提到的法律工具评测就是例证。应要求每条答案都附出处，并对合同、财务等高风险问题保留人工复核。
参考资料
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks，Patrick Lewis 等（Facebook AI Research、伦敦大学学院、纽约大学），NeurIPS 2020，2020 年 5 月
- Why language models hallucinate，OpenAI，2025 年 9 月
- 2024: The State of Generative AI in the Enterprise，Menlo Ventures，2024 年 11 月
- Introducing Contextual Retrieval，Anthropic，2024 年 9 月
- Lost in the Middle: How Language Models Use Long Contexts，Nelson F. Liu 等，Transactions of the Association for Computational Linguistics，2023 年 7 月
- Lack of AI-Ready Data Puts AI Projects at Risk，Gartner，2025 年 2 月
- Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools，Varun Magesh 等（斯坦福大学、耶鲁大学），2024 年 5 月
- LLM08:2025 Vector and Embedding Weaknesses，OWASP，2025 年
