客户制作网站时的问题网站 建设 成品

客户制作网站时的问题,网站 建设 成品,定制网站制作技术,网站空间3个g多少钱“本地化大模型知识库”介绍 其实是一套本地化的 RAG 的方案#xff0c;整体技术架构如下图所示#xff1a;[图片来源见文末]图中重要的三个组件#xff1a; 1-LLM 我们使用 Ollama 下载到本地#xff1b; 2-文本切片及 Embedding 后放入向量数据库的过程与组件#xff0c…“本地化大模型知识库”介绍其实是一套本地化的 RAG 的方案整体技术架构如下图所示[图片来源见文末]图中重要的三个组件1-LLM我们使用 Ollama 下载到本地2-文本切片及Embedding后放入向量数据库的过程与组件 使用 AnythingLLM 来提供3-Embedding 模型可以使用 AnythingLLM 自带的也可以使用本地部署的。使用 Ollama 下载 LLM在 Ollama 的官网https://ollama.com下载并安装 Ollama 。安装后根据你本地硬件的配置选择合适的模型下载。对于 DeepSeek-R1 模型可以参考下图中对显存的需求选择不同模型。我选择的是一个7B 的模型。选择好模型后复制这里的命令行粘贴至终端。Ollama 开始下载为提高后续的检索精度我使用 Ollama 又下载了一个 Embedding 模型Bge-m3。AnythingLLM 自带了一个嵌入模型所以这里你也可以不下载用这个自带的嵌入模型。到这里我们使用 Ollama 成功下载了需要的两个模型安装并配置 AnythingLLM从 AnythingLLM 的官网https://anythingllm.com/下载适合你系统的 AnythingLLM安装过程比较缓慢耐心等待即可。安装后进入欢迎界面点击“开始”按钮之后的配置可以先不管一直向右滑动进入到工作区界面点击配置按钮Step1LLM 配置找到 “LLM 首选项”选择LLM 提供商为 Ollama会自动找到我们已经拉取的DeepSeek-R1: 7B模型配置后之后点“ Save Change ”。向量数据库选择默认的即可。Step2 Embedding 配置嵌入引擎提供商选择 Ollama配置 Embedding 模型为 bge-m3。如果你没有拉取 bge-m3保持默认的AnythingLLM Embedder就可以。Step3工作区配置回到工作区界面新建一个工作区然后点击上传按钮点击这里选择你需要放到知识库的本地文档。之后选中知识库中的文档点击“ Move to Workspace”将文档移入工作区工作区这时已经看得到放进去的文档了。保存并进行 Embed这个过程中看得到 GPU 已经开始疯狂工作了嵌入完成后回到工作区就可以针对我们的文档进行提问与分析了。测试及使用云端模型根据我们的文档提问。推理速度很快但结果并不太好因为我们本地算力有限模型太小性能上差很多。使用云端模型试试。回到设置我们配置 LLM 首选项为 DeepSeek填入一个可用的 API选择推理模型同样的问题再测试一下结果仅截取部分要比我们的本地模型好得多而且初步来看答案相关性和上下文相关性都更高总结以上就是使用 Ollama Anything 构建本地化大模型知识库的极简方案希望能帮到大家。需要注意的是并非所有的业务场景都需要完全本地化部署。在本地没有足够算力又需要文档不出域的情况下只要保证文档存储和检索过程在本地即使大模型在云端也可通过技术手段如仅向云端发送查询向量或脱敏后的文本实现合规这也是一种很常见的技术方案。读者福利如果大家对大模型感兴趣这套大模型学习资料一定对你有用对于0基础小白入门如果你是零基础小白想快速入门大模型是可以考虑的。一方面是学习时间相对较短学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。作为一名老互联网人看着AI越来越火也总想为大家做点啥。干脆把我这几年整理的AI大模型干货全拿出来了。包括入门指南、学习路径图、精选书籍、视频课还有我录的一些实战讲解。全部免费不搞虚的。学习从来都是自己的事我能做的就是帮你把路铺平一点。资料都放在下面了有需要的直接拿能用到多少就看你自己了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以点击文章最下方的VX名片免费领取【保真100%】