网易大模型 RAG 问答知识库开源，Star 超 6K！！

阅读本书更多章节>>>> QAnything 架构设计剖析

整个架构（如下图所示）包括了模型和系统等所有必要的模块。模型方面包括 OCR 解析、Embedding/rerank，以及大模型。系统方面包括向量数据库、MySQL 数据库、前端、后端等必要的模块。整个引擎的功能完整，用户可以直接下载，不需要再搭配其他的模块即可使用。系统可扩展性也非常好，只要硬盘内存足够，就可以一直建库，支持无上限的文档。

1、整个架构的工作流程主要包含三个环节：

索引（Indexing）：文本索引的构建包括以下步骤：文档解析、文本分块、Embedding 向量化和创建索引。先将不同格式的原始文件解析转换为纯文本，再把文本切分成较小的文本块。通过 Embedding 为每一个文本块生成一个向量表示，用于计算文本向量和问题向量之间的相似度。创建索引将原始文本块和 Embedding 向量以键值对的形式存储，以便将来进行快速和频繁的搜索。

检索（Retrieval）：使用 Embedding 模型将用户输入问题转换为向量，计算问题的 Embedding 向量和语料库中文本块 Embedding 向量之间的相似度，选择相似度最高的前 K 个文档块作为当前问题的增强上下文信息。

生成（Generation）：将检索得到的前 K 个文本块和用户问题一起送进大模型，让大模型基于给定的文本块来回答用户的问题

2、为什么需要两阶段检索？

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段Embedding检索，随着数据量增大会出现检索降级的问题。二阶段 rerank重排后能实现准确率稳定增长，即数据越多，效果越好。

QAnything 使用的检索组件 BCEmbedding 有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异。

3、使用的基座大模型

开源版本 QAnything 的大模型基于阿里通义千问，并在大量专业问答数据集上进行微调，在阿里千问的基础上大大加强了问答的能力。选择一个性价比高的大模型也是很重要的。

4、相关技术组件

BCEmbedding 文本嵌入模型

Triton Inference Server 推理服务

vLLM 在线推理服务加速器

FastChat 即时通讯平台

FasterTransformer 在线推理加速库

LangChain 应用开发框架

LangChain-Chatchat 聊天机器人应用

Milvus 向量数据库

PaddleOCR 图片识别组件

Sanic Python 3.6+ Web 框架

QAnything 本地部署

1、一键部署安装，特别简单

2、部署安装 FAQ

https://github.com/netease-youdao/QAnything/blob/master/FAQ_zh.md

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型面试和技术交流群，相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：来自CSDN + 技术交流

通俗易懂讲解大模型系列

重磅消息！《大模型面试宝典》(2024版) 正式发布！

重磅消息！《大模型实战宝典》(2024版) 正式发布！

做大模型也有1年多了，聊聊这段时间的感悟！

用通俗易懂的方式讲解：大模型算法工程师最全面试题汇总

用通俗易懂的方式讲解：不要再苦苦寻觅了！AI 大模型面试指南（含答案）的最全总结来了！

用通俗易懂的方式讲解：我的大模型岗位面试总结：共24家，9个offer

用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战

用通俗易懂的方式讲解：ChatGPT 开放的多模态的DALL-E 3功能，好玩到停不下来！

用通俗易懂的方式讲解：基于扩散模型（Diffusion）,文生图 AnyText 的效果太棒了

用通俗易懂的方式讲解：在 CPU 服务器上部署 ChatGLM3-6B 模型

用通俗易懂的方式讲解：ChatGLM3-6B 部署指南

用通俗易懂的方式讲解：使用 LangChain 封装自定义的 LLM，太棒了

用通俗易懂的方式讲解：基于 Langchain 和 ChatChat 部署本地知识库问答系统

用通俗易懂的方式讲解：Llama2 部署讲解及试用方式

用通俗易懂的方式讲解：一份保姆级的 Stable Diffusion 部署教程，开启你的炼丹之路

用通俗易懂的方式讲解：LlamaIndex 官方发布高清大图，纵览高级 RAG技术

用通俗易懂的方式讲解：为什么大模型 Advanced RAG 方法对于AI的未来至关重要？

用通俗易懂的方式讲解：基于 Langchain 框架，利用 MongoDB 矢量搜索实现大模型 RAG 高级检索方法

阅读本书更多章节>>>>

本文链接：https://www.kjpai.cn/gushi/2024-05-04/164715.html，文章来源：网络cs，作者：言安琪，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！