国家建设部举报网站论坛式网站建设

国家建设部举报网站,论坛式网站建设,wordpress插件破解下载,个人网站素材下载AutoDL部署Langchain-Chatchat 0.3.0完整指南 在企业知识管理日益智能化的今天#xff0c;如何让AI真正理解你的内部文档、快速精准地回答员工或客户的问题#xff0c;已经成为技术团队关注的核心议题。开源项目 Langchain-Chatchat 正是在这一背景下脱颖而出——它基于 Lan…AutoDL部署Langchain-Chatchat 0.3.0完整指南在企业知识管理日益智能化的今天如何让AI真正理解你的内部文档、快速精准地回答员工或客户的问题已经成为技术团队关注的核心议题。开源项目Langchain-Chatchat正是在这一背景下脱颖而出——它基于 LangChain 框架和大语言模型LLM结合检索增强生成RAG技术实现了私有文档的本地化智能问答数据不出内网安全可控。从 v0.3.0 版本开始该项目进行了重大架构升级不再直接加载本地.bin或.safetensors模型文件而是通过统一的推理服务接口如 Xinference、Ollama 等调用模型。这一变化提升了系统的可扩展性与稳定性但也增加了部署复杂度。本文将带你以AutoDL 平台为载体手把手完成Langchain-Chatchat v0.3.0的全流程部署涵盖环境配置、Xinference 模型服务搭建、依赖安装、项目启动及常见问题处理助你零基础也能快速构建属于自己的本地知识库系统。部署准备选择合适的GPU实例与系统镜像首先访问 AutoDL 官网 注册并登录账号。创建一个适合运行中大型语言模型的 GPU 实例是成功部署的关键。推荐配置如下地区重庆 A 区国内延迟较低GPU 类型RTX 409024GB 显存足以支持 9B 级别模型非量化运行磁盘空间建议 ≥50GB后续需存储模型缓存和向量数据库镜像系统PyTorch 2.3.0 Python 3.12 CUDA 12.1Ubuntu 22.04创建完成后等待系统初始化完毕通过 SSH 连接终端即可进入操作阶段。⚠️ 提示若计划部署更大模型如 Qwen1.5-14B建议选用 A100 或多卡实例并确保磁盘容量充足。网络优化与虚拟环境初始化在国内访问 GitHub 和 HuggingFace/ModelScope 资源时常受限。虽然本文作者已配置科学上网工具但如果你没有代理强烈建议使用 AutoDL 提供的“学术加速”功能来提升下载速度。启用方式非常简单在终端执行source /etc/network_turbo该命令会自动设置http_proxy和https_proxy使 pip、git、wget 等工具走加速通道。取消加速只需清除环境变量unset http_proxy unset https_proxy接下来进行 Conda 虚拟环境的基础配置。新建的实例默认未激活 Conda需要先初始化 shell 支持source ~/.bashrc conda init然后关闭当前终端重新打开一个新的连接窗口确保conda命令可用且能正常切换环境。安装 Langchain-Chatchat 及其扩展依赖我们采用分环境策略一个用于运行 Chatchat 主程序另一个专用于模型推理服务Xinference避免依赖冲突。创建主应用环境conda create -n glm4_text python3.11 conda activate glm4_textPython 3.11 是目前兼容性最好的版本部分依赖如 Pydantic V1对高版本存在兼容问题。克隆项目源码git clone https://github.com/chatchat-space/Langchain-Chatchat.git cd Langchain-Chatchat安装核心包并启用[xinference]插件支持关键否则无法对接 Xinferencepip install langchain-chatchat[xinference] -U -i https://pypi.tuna.tsinghua.edu.cn/simple✅ 验证是否安装成功chatchat --help如果输出帮助信息说明安装成功。此时你可以看到可用的子命令包括chatchat-config、chatchat-kb等。部署 Xinference 推理框架并加载模型自 v0.3.0 起Langchain-Chatchat 不再内置模型加载逻辑必须依赖外部推理服务提供 LLM 和 Embedding 功能。我们选择Xinference作为后端引擎原因有三对中文模型支持良好尤其是 GLM、Qwen 系列支持 ModelScope 源直连拉取提供 Web UI 控制台便于调试与监控创建独立模型服务环境conda create -n llm_tl python3.11 conda activate llm_tl安装 Xinference 全功能版pip install xinference[all] -i https://pypi.tuna.tsinghua.edu.cn/simple⚠️ 常见报错ERROR: Could not build wheels for llama-cpp-python...这通常是因为 GCC 版本过高10。解决方案是降级 g 编译器conda config --add channels conda-forge conda install gxx_linux-6410重新安装即可成功。启动 Xinference 主服务为了避免占用系统盘空间我们将模型存储路径设为/root/autodl-tmp/XINFERENCE_HOME/root/autodl-tmp/xinference \ XINFERENCE_MODEL_SRCmodelscope \ xinference-local --host 0.0.0.0 --port 9997参数说明XINFERENCE_HOME指定模型根目录XINFERENCE_MODEL_SRCmodelscope优先从魔搭社区拉取模型--host 0.0.0.0允许外部访问--port 9997Web 控制台端口启动后可在浏览器访问http://your_ip:9997查看可视化界面。加载 Embedding 模型Embedding 模型负责将文本转换为向量是知识库检索的基础。我们选用广泛使用的中文嵌入模型bge-large-zh-v1.5。新开终端激活llm_tl环境conda activate llm_tl xinference launch --model-name bge-large-zh-v1.5 --model-type embedding该模型约 1.3GB首次加载会自动从 ModelScope 下载耗时几分钟。加载大语言模型以 GLM4-9B-Chat 为例接下来加载对话模型。这里我们使用智谱 AI 的GLM4-9B-Chat性能优秀且对中文任务适配良好。xinference launch \ --model-engine vllm \ --model-name glm4-chat \ --size-in-billions 9 \ --model-format pytorch \ --quantization none关键参数解释--model-engine vllm使用 vLLM 引擎显著提升推理吞吐量和显存利用率--size-in-billions 9声明模型规模为 90 亿参数--quantization none不进行量化保证最高精度但要求显存 ≥24GB 若显存不足可尝试使用 4bit 量化--quantization q4_k_m这样可在 16GB 显存下运行 9B 模型。验证模型状态执行以下命令查看当前运行中的模型xinference list预期输出应包含两个 RUNNING 状态的模型NameTypeStatusbge-large-zh-v1.5embeddingRUNNINGglm4-chatlanguageRUNNING只要这两项都就绪说明模型服务已准备完毕可以被 Langchain-Chatchat 调用。启动 Langchain-Chatchat 主服务回到最初的glm4_text环境conda activate glm4_text配置模型映射关系Chatchat 需要知道去哪里找对应的模型。检查当前模型配置chatchat-config model --show你会看到类似 JSON 输出{ DEFAULT_LLM_MODEL: glm4-chat, DEFAULT_EMBEDDING_MODEL: bge-large-zh-v1.5 }✅ 如果名称与你在 Xinference 中启动的一致则无需修改否则手动设置chatchat-config model --default_llm_model glm4-chat chatchat-config model --default_embedding_model bge-large-zh-v1.5注意这里的模型名必须与xinference list中显示的完全一致初始化知识库可选如果你想测试官方示例文档的效果可以初始化默认知识库chatchat-kb -r这个过程会解析data/samples目录下的文档构建 FAISS 向量库。但首次运行可能报错RuntimeError: 向量库 samples 加载失败。原因是缺少faiss库。解决办法pip install faiss-cpu1.7.4 pip install rank_bm25 -i https://mirrors.aliyun.com/pypi/simple再次执行chatchat-kb -r即可成功。启动主服务一切就绪后启动整个系统chatchat -a该命令会同时启动API 服务Flask监听 7861 端口WebUI 服务Streamlit监听 8501 端口日志末尾出现以下提示即表示成功✔️ Chatchat API Server running at: http://127.0.0.1:7861 ✔️ Chatchat WEBUI running at: http://127.0.0.1:8501访问 WebUI 界面的两种方式由于服务默认绑定127.0.0.1公网 IP 无法直接访问。以下是两种解决方案。方法一使用 AutoDL 代理工具强烈推荐这是最安全、最便捷的方式无需开放防火墙端口。操作步骤登录 AutoDL 控制台进入实例详情页 → “SSH隧道映射”添加新映射- 协议HTTP- 本地端口8501- 远程主机127.0.0.1- 远程端口8501点击“开始代理”系统生成临时域名如xxx.adpai.co浏览器打开该链接即可访问 WebUI优点- 自动 HTTPS 加密- 无需修改任何配置- 支持多人协作调试方法二修改监听地址适用于内网部署如果你希望直接通过your_ip:8501访问可以修改绑定地址chatchat-config server --default_bind_host0.0.0.0确认修改生效chatchat-config server --show输出中应包含WEBUI_SERVER: { host: 0.0.0.0, port: 8501 }重启服务后即可远程访问。⚠️ 注意此方式暴露了服务端口请仅在可信网络环境中使用防止敏感信息泄露。功能验证与测试启动完成后进行两项基本测试1. 通用对话测试输入“你好请介绍一下你自己。”预期输出一段流畅自然的回答表明 LLM 已正确接入。2. 本地知识库问答测试在 WebUI 中上传一份 PDF 或 TXT 文档点击“构建知识库”提出相关问题如“这份文档讲了什么”系统应能准确引用原文内容作答证明 RAG 流程完整可用。服务器重启后的恢复流程当实例重启或中断后需按顺序重新启动各项服务。终端 1重启 Xinference 主服务conda activate llm_tl XINFERENCE_HOME/root/autodl-tmp/xinference XINFERENCE_MODEL_SRCmodelscope xinference-local --host 0.0.0.0 --port 9997终端 2重新加载模型conda activate llm_tl xinference launch --model-name bge-large-zh-v1.5 --model-type embedding xinference launch --model-engine vllm --model-name glm4-chat --size-in-billions 9 --model-format pytorch --quantization none 注意Xinference 默认不会持久化保存模型实例每次重启都需要重新launch。未来可通过容器化持久卷解决。终端 3启动 Chatchat 服务conda activate glm4_text chatchat -a全部启动完成后即可继续使用系统。实用技巧与注意事项使用清华源加速依赖安装国内用户建议始终使用镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple package或配置全局镜像pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple模型命名一致性至关重要Xinference 中的模型名必须与chatchat-config model设置的值完全匹配否则会出现“模型未找到”错误。建议统一命名规范例如LLMglm4-chatEmbeddingbge-large-zh-v1.5如何更换其他模型Xinference 支持多种主流模型例如Qwen1.5-7B-ChatYi-6B-ChatBaichuan2-13B-Chat只需替换--model-name和对应参数即可。例如加载 Qwenxinference launch \ --model-engine vllm \ --model-name qwen1.5-chat \ --model-family qwen \ --size-in-billions 7 \ --model-format pytorch \ --quantization q4_k_m更多模型支持请参考 Xinference 官方文档。这种模块化的设计思路使得 Langchain-Chatchat 不仅是一个问答工具更是一个可扩展的企业级 AI 应用底座。无论是替换更强的模型、集成新的数据源还是对接业务系统都可以在此基础上灵活演进。只要你按照上述步骤一步步操作即使零基础也能成功运行这套强大的本地知识库系统。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考