1.1 基本概念

• RAG(Retrieval-Augmented Generation，增强信息检索和生成模型)能够从大规模知识库中检索相关信息并生成高质量的反馈。主要功能：

  • 索引：将文档库分割成较短的 Chunk，并通过编码器构建向量索引。

  • 检索：根据问题和 chunks 的相似度检索相关文档片段。

  • 生成：以检索到的上下文为条件，生成问题的回答。

• 原理图

1.2 涉及工具和组件

• Ollama

• Deepseek R1 LLM模型

• Nomic-Embed-Text向量模型，将使ollama具备将文档向量化的的能力

• AnythingLLM

1.3 安装部署

1.3.1 安装ollama

下载地址

验证安装

1.3.2 下载DeepSeek R1模型

通过Ollama官网下载DeepSeek R1模型

# 启动和下载模型是同一个命令，如果没有下载过的新模型会直接下载，以及下载过的则直接启动。
ollama run deepseek-r1

1.3.3 下载Nomic-Embed-Text模型

通过Ollama官网下载nomic-embed-text)

ollama run deepseek-r1

1.3.5 安装AnythingLLM

AnythingLLM 是一个功能强大且灵活的开源平台，旨在帮助用户轻松构建和部署基于大型语言模型 (LLM) 的私有化应用程序。

下载安装Desktop版本(https://anythingllm.com/desktop)

1.4 配置AnythingLLM

1.5 上传文档

1.6 测试结果