

锐英源软件精品原创,禁止转载和任何形式的非法内容使用,违者必究
📑 本文目录
从 liquid-quality-agent 的“查表式 RAG”到 ima 的千亿级检索,RAG 的复杂度跨度可以非常大。理解这三层架构,再落到 chunk、md 这些具体文件上,最后用 IMA + WorkBuddy 快速做出能用的东西,是一条适合初学者的进阶路径。
liquid-quality-agent 的 RAG 是整个体系中最基础、最透明的一层。它不追求“通用问答”,而是把 RAG 限定在一个非常具体的职责上:在检测完成后,为 Agent 提供规范依据。
它的 RAG 检索源就是 CHUNK.js和MD文件。
一个标准 RAG 分三步:
| 阶段 | 本项目实现 |
|---|---|
| ① Indexing(离线) | Markdown → 标题切 chunk → BAAI/bge-small-zh-v1.5 向量化 → 存 vectors.npy |
| ② Retrieval(在线) | 用户 query → 同一个 BGE 模型向量化 → 余弦相似度 + 规则加权 → 取 top-K chunks |
| ③ Generation(在线) | 把检索到的 chunks 作为 context 喂给 LLM 生成解释 |
BGE(BAAI General Embedding)是北京智源研究院开源的通用文本向量模型家族,bge-small-zh-v1.5 是其中专门针对中文的轻量版本。它的作用就是把人类可读的文本映射到一个稠密向量空间,让语义相近的文本在向量空间中距离也近 —— 这正是 RAG "检索" 这一步能工作的前提。
liquid-quality-agent项目,本质上就是一个 纯 numpy 实现的轻量级 RAG 系统 (没上 Chroma/FAISS/Milvus 这类向量数据库,但逻辑一模一样)
VeloRAG 代表了通用 RAG 的工程化加固。它面向的是开放、模糊的自然语言查询,所以需要一套远比 liquid-quality-agent 复杂的检索体系。
VeloRAG 的核心是三路混合检索:稠密向量搜索 + 多语言稀疏 BM25 + 多跳知识图谱,然后用加权 RRF 把三路结果融合。融合之后还有无依据拒答护栏:如果检索到的证据不足以支撑回答,系统会主动拒答而不是强行生成。此外,它强制要求行内引用标记,让每一条回答都能追溯到原文片段。
ima 的架构和前面两者完全不在一个量级。它的知识库数量达到千万级,ES 侧数据规模接近千亿级。核心设计是:一套 Elasticsearch 引擎,同时承载全文检索、向量检索和混合检索。
入库时,所有格式的文件先被统一成两套结构:Media(面向用户展示和管理)和 Chunk(面向 RAG 检索)。检索时,完整链路是:Query 改写 → 双路召回(BM25 + 向量 KNN)→ RRF 融合 → Top-K 截断 → 送大模型生成。所有数据——文档、向量、倒排索引——都在 ES 里,向量字段用 BBQ 量化配合 HNSW 图索引来平衡内存和延迟。
两种文件形态对应 RAG 不同环节的“材料”。
chunk:RAG 检索的最小单元
下面 JSON 就是 ima 体系里的一个 Chunk。它有 chunk_id、source、title_path 和 content,承载的是从原始文档中切分出来的一段规范文本。Chunk 用在这种场景:需要被向量化、被语义检索、被送入大模型作为上下文。无论是 ima 还是 VeloRAG,底层检索的对象都是 Chunk。
md:知识库的原始素材与笔记载体
Markdown 文件在 RAG 体系里扮演两个角色。在 liquid-quality-agent 和 ima 的知识库中,.md 可以作为原始文档被解析、切分成 Chunk 入库。在 ima 里,.md 还有一层特殊待遇:上传的 Markdown 文件会自动转为“笔记”,方便集中整理和后续编辑。它用在这种场景:你手头已经有结构化文本资料,想快速放入知识库被检索;或者你想在 ima 里写笔记,同时让笔记内容可被 AI 调用。示例如下:
# 站点关键词知识库
> 源站:`F:\ryyweb2`(只读扫描)
> 生成时间:2026-11-18 15:16:35
> 数据版本:schema v1
> 用途:关键词统一管理、SEO 排查、内容选题;结构化源数据见 `keywords.json`。
## 一、总体概况
- 页面总数:**2263**
- 含 keywords 标签页面:**2247**
- 已配置有效关键词页面:**1358**,覆盖率 **60.01%**
- 疑似归档/备份目录页面:**127**
## 二、高频关键词 Top 60
| 排名 | 关键词 | 覆盖页面数 |
这条路径的核心逻辑是:先用成熟产品跑通闭环,再逐步下沉到自己的代码。
锐英源的关键字应用:为什么需要知识库
网页关键字应用有一个容易被忽略的问题:关键字不是 Grep 能直接搜的。Grep 只能匹配字面字符串,但关键词是keywords下的列表内的项数据,是某个部位下的局部数据,直接搜索html里内容出现词并不能代表就是关键词。这需要知识库来管理:把关键词的定义、使用场景、关联规则整理成结构化的 md 笔记或文档,放进 ima 知识库。用 IMA + WorkBuddy 可以很快完成这件事:md 文件作为笔记导入 ima 形成知识库,WorkBuddy 绑定 ima 后,用一句话就能让 AI 基于知识库回答关键字相关问题,或者生成关键字说明文档。md 在这里的作用是“可编辑的知识源”:改笔记就是改知识库,改动立即生效。
应用二:内部规范问答助手
很多团队有大量 PDF 格式的规范、手册、流程文档,但查起来很痛苦。把常用的规范文档放入 ima 知识库,用 WorkBuddy 绑定后,团队成员可以直接问“报销流程是什么”“这个操作的安全阈值是多少”,AI 会基于知识库中的原文片段生成回答并给出出处。这和广西地测院用 RAG 做技术文档知识库的思路一致:把分散的文档变成可检索、可问答的组织知识资产。
应用三:个人学习资料库
你在学习 RAG 本身的过程中,手头会有各种文章、教程、代码片段。用 ima 建一个“RAG 学习”知识库,把 md 笔记、保存的网页、PDF 教程都放进去。之后遇到具体问题(比如“RRF 融合是什么”“BGE 和普通 embedding 有什么区别”),直接问 WorkBuddy,它会从你的资料库里检索相关内容来回答,而不是给出泛泛的通用答案。这种“用自己的资料回答自己的问题”的闭环,是理解 RAG 价值最直接的方式。
总结:liquid-quality-agent 让你看懂 RAG 的最小闭环,VeloRAG 让你看到工程化加固的手段,ima 让你理解规模化之后的架构选择。而 IMA + WorkBuddy 的组合,是初学者最快能把“知识库 + 检索 + 执行”跑通的方式。先跑起来,再往下看代码。