锐英源软件
GEO原创
当前位置:锐英源 / 人工智能开源 / RAG由浅入深:RAG架构、RAG文件和RAG应用
联系方式
微信公众号
微信扫一扫,新经验快学到
固话:0371-63888850
手机:138-0381-0136
Q Q:396806883
微信:ryysoft
服务方向
英文技术问答引流、海外新独立站快速引流
原创内容
视觉检测
机器视觉培训机器视觉FDE人才培养
建筑视觉检测
养殖视觉检测
人工智能培训
运动控制卡上位机
机械加工软件
Java安卓移动开发线上线下培训
VC++线上线下培训
C#软件线上线下培训
汇编和破解线上线下培训
驱动开发线上线下培训

锐英源软件精品原创,禁止转载和任何形式的非法内容使用,违者必究


RAG由浅入深:RAG架构、RAG文件和RAG应用

📑 本文目录

  • 一、简单RAG架构:liquid-quality-agent
  • 二、大型RAG架构:VeloRAG
  • 三、千万级腾讯IMA架构
  • 四、RAG文件:chunk和md
  • 五、RAG应用:从IMA起步结合WorkBuddy再独立编程

从 liquid-quality-agent 的“查表式 RAG”到 ima 的千亿级检索,RAG 的复杂度跨度可以非常大。理解这三层架构,再落到 chunk、md 这些具体文件上,最后用 IMA + WorkBuddy 快速做出能用的东西,是一条适合初学者的进阶路径。

一、简单RAG架构:liquid-quality-agent

liquid-quality-agent 的 RAG 是整个体系中最基础、最透明的一层。它不追求“通用问答”,而是把 RAG 限定在一个非常具体的职责上:在检测完成后,为 Agent 提供规范依据。

liquid-quality-agent RAG 流程
检测证据(YOLO/液位/字符)
↓
Agent 触发“查规范”动作
↓
CHUNK规范文件+BDE Embedding 表征模型
↓
大模型DeepSeek生成解释(不改判定结果)

它的 RAG 检索源就是 CHUNK.js和MD文件。

一个标准 RAG 分三步:

阶段 本项目实现
① Indexing(离线) Markdown → 标题切 chunk → BAAI/bge-small-zh-v1.5 向量化 → 存 vectors.npy
② Retrieval(在线) 用户 query → 同一个 BGE 模型向量化 → 余弦相似度 + 规则加权 → 取 top-K chunks
③ Generation(在线) 把检索到的 chunks 作为 context 喂给 LLM 生成解释

BGE(BAAI General Embedding)是北京智源研究院开源的通用文本向量模型家族,bge-small-zh-v1.5 是其中专门针对中文的轻量版本。它的作用就是把人类可读的文本映射到一个稠密向量空间,让语义相近的文本在向量空间中距离也近 —— 这正是 RAG "检索" 这一步能工作的前提。

liquid-quality-agent项目,本质上就是一个 纯 numpy 实现的轻量级 RAG 系统 (没上 Chroma/FAISS/Milvus 这类向量数据库,但逻辑一模一样)

二、大型RAG架构:VeloRAG

VeloRAG 代表了通用 RAG 的工程化加固。它面向的是开放、模糊的自然语言查询,所以需要一套远比 liquid-quality-agent 复杂的检索体系。

VeloRAG 三路混合检索架构
用户 Query
↓
稠密向量
Dense
稀疏 BM25
关键词
知识图谱
多跳
↓ 加权 RRF 融合
重排序 → 送大模型
↓
拒答护栏(证据不足时主动拒答)

VeloRAG 的核心是三路混合检索:稠密向量搜索 + 多语言稀疏 BM25 + 多跳知识图谱,然后用加权 RRF 把三路结果融合。融合之后还有无依据拒答护栏:如果检索到的证据不足以支撑回答,系统会主动拒答而不是强行生成。此外,它强制要求行内引用标记,让每一条回答都能追溯到原文片段。

三、千万级腾讯IMA架构

ima 的架构和前面两者完全不在一个量级。它的知识库数量达到千万级,ES 侧数据规模接近千亿级。核心设计是:一套 Elasticsearch 引擎,同时承载全文检索、向量检索和混合检索。

ima 知识库四层架构
应用层:RAG 问答 / 内容搜索
↓
入库层:文档解析 → 智能分块 → Embedding → 写入
↓
检索层:BM25 + Vector KNN → RRF 融合
↓
存储层:Elasticsearch(文档 + 向量 + 倒排索引)

入库时,所有格式的文件先被统一成两套结构:Media(面向用户展示和管理)和 Chunk(面向 RAG 检索)。检索时,完整链路是:Query 改写 → 双路召回(BM25 + 向量 KNN)→ RRF 融合 → Top-K 截断 → 送大模型生成。所有数据——文档、向量、倒排索引——都在 ES 里,向量字段用 BBQ 量化配合 HNSW 图索引来平衡内存和延迟。

四、RAG文件:chunk和md

两种文件形态对应 RAG 不同环节的“材料”。

chunk:RAG 检索的最小单元

下面 JSON 就是 ima 体系里的一个 Chunk。它有 chunk_id、source、title_path 和 content,承载的是从原始文档中切分出来的一段规范文本。Chunk 用在这种场景:需要被向量化、被语义检索、被送入大模型作为上下文。无论是 ima 还是 VeloRAG,底层检索的对象都是 Chunk。

{
"chunk_id": "chunk_0014",
"source": "液位检测与复检规范.md",
"title_path": "针管液位与字符检测质量判定及复检规范 > 自动复检未执行或执行失败",
"content": "标题路径:针管液位与字符检测质量判定及复检规范 > 自动复检未执行或执行失败\n\nskipped_by_request表示结果原本需要复检,但调用方关闭了auto_recheck。此状态\n不能解释为“不需要复检”,初检非pass结论和人工复核要求必须保留。\n\nfailed表示复检流程因运行异常未完成。系统应记录错误信息并保留初检非pass结论,\n不得因复检程序异常自动放行。not_recheckable表示图片损坏、不完整或目标区域\n超出图像等问题无法通过增强视图解决,应重新采集图像或人工处理。"
},

md:知识库的原始素材与笔记载体

Markdown 文件在 RAG 体系里扮演两个角色。在 liquid-quality-agent 和 ima 的知识库中,.md 可以作为原始文档被解析、切分成 Chunk 入库。在 ima 里,.md 还有一层特殊待遇:上传的 Markdown 文件会自动转为“笔记”,方便集中整理和后续编辑。它用在这种场景:你手头已经有结构化文本资料,想快速放入知识库被检索;或者你想在 ima 里写笔记,同时让笔记内容可被 AI 调用。示例如下:

 

# 站点关键词知识库

> 源站:`F:\ryyweb2`(只读扫描)
> 生成时间:2026-11-18 15:16:35
> 数据版本:schema v1
> 用途:关键词统一管理、SEO 排查、内容选题;结构化源数据见 `keywords.json`。

## 一、总体概况

- 页面总数:**2263**
- 含 keywords 标签页面:**2247**
- 已配置有效关键词页面:**1358**,覆盖率 **60.01%**
- 疑似归档/备份目录页面:**127**

## 二、高频关键词 Top 60

| 排名 | 关键词 | 覆盖页面数 |

五、RAG应用:从IMA起步结合WorkBuddy再独立编程

这条路径的核心逻辑是:先用成熟产品跑通闭环,再逐步下沉到自己的代码。

锐英源的关键字应用:为什么需要知识库

网页关键字应用有一个容易被忽略的问题:关键字不是 Grep 能直接搜的。Grep 只能匹配字面字符串,但关键词是keywords下的列表内的项数据,是某个部位下的局部数据,直接搜索html里内容出现词并不能代表就是关键词。这需要知识库来管理:把关键词的定义、使用场景、关联规则整理成结构化的 md 笔记或文档,放进 ima 知识库。用 IMA + WorkBuddy 可以很快完成这件事:md 文件作为笔记导入 ima 形成知识库,WorkBuddy 绑定 ima 后,用一句话就能让 AI 基于知识库回答关键字相关问题,或者生成关键字说明文档。md 在这里的作用是“可编辑的知识源”:改笔记就是改知识库,改动立即生效。

应用二:内部规范问答助手

很多团队有大量 PDF 格式的规范、手册、流程文档,但查起来很痛苦。把常用的规范文档放入 ima 知识库,用 WorkBuddy 绑定后,团队成员可以直接问“报销流程是什么”“这个操作的安全阈值是多少”,AI 会基于知识库中的原文片段生成回答并给出出处。这和广西地测院用 RAG 做技术文档知识库的思路一致:把分散的文档变成可检索、可问答的组织知识资产。

应用三:个人学习资料库

你在学习 RAG 本身的过程中,手头会有各种文章、教程、代码片段。用 ima 建一个“RAG 学习”知识库,把 md 笔记、保存的网页、PDF 教程都放进去。之后遇到具体问题(比如“RRF 融合是什么”“BGE 和普通 embedding 有什么区别”),直接问 WorkBuddy,它会从你的资料库里检索相关内容来回答,而不是给出泛泛的通用答案。这种“用自己的资料回答自己的问题”的闭环,是理解 RAG 价值最直接的方式。

总结:liquid-quality-agent 让你看懂 RAG 的最小闭环,VeloRAG 让你看到工程化加固的手段,ima 让你理解规模化之后的架构选择。而 IMA + WorkBuddy 的组合,是初学者最快能把“知识库 + 检索 + 执行”跑通的方式。先跑起来,再往下看代码。

友情链接
版权所有 Copyright(c)2004-2026 锐英源软件
公司注册号:410105000449586 豫ICP备08007559号 最佳分辨率 1024*768
地址:郑州市金水区文化路97号郑州大学北校区院内原校办工厂楼101室