网站建设客户去哪找十四五专业建设规划

网站建设客户去哪找,十四五专业建设规划,茶庄网站模板,石家庄网站设计培训班WSL2下本地部署Langchain-Chatchat全记录 在企业级AI应用日益普及的今天#xff0c;越来越多团队开始关注“数据不出内网”的私有化智能问答系统。开源项目 Langchain-Chatchat 正是这一需求的理想解决方案——它支持文档上传、语义检索与本地推理#xff0c;完全避免敏感信…WSL2下本地部署Langchain-Chatchat全记录在企业级AI应用日益普及的今天越来越多团队开始关注“数据不出内网”的私有化智能问答系统。开源项目Langchain-Chatchat正是这一需求的理想解决方案——它支持文档上传、语义检索与本地推理完全避免敏感信息外泄。而要在Windows环境下稳定运行这套系统WSL2Windows Subsystem for Linux 2成为了关键桥梁。本文将带你从零开始在 WSL2 中完成 Langchain-Chatchat 的完整部署。整个过程涵盖环境搭建、模型下载、配置调优和启动验证尤其适合对 Linux 和 Python 有一定基础但尚未接触过 AI 本地部署的开发者。系统准备为什么非得用 WSL2直接在 Windows 上跑 Langchain-Chatchat 并非不可能但你会频繁遭遇路径分隔符错误、权限问题、shell 脚本兼容性崩溃以及 pip 包冲突等问题。相比之下WSL2 提供了一个轻量级却功能完整的 Linux 内核环境既能访问 Windows 文件系统又能原生运行 Unix 工具链是目前最稳妥的选择。建议使用Windows 11其对 WSL2 的集成更为成熟自动处理了多数驱动和网络配置问题。如果你还在用 Win10也完全可行只需手动启用虚拟化支持即可。启用 CPU 虚拟化WSL2 基于 Hyper-V 架构依赖硬件级虚拟化技术Intel VT-x 或 AMD-V。若未开启安装时会报错或性能极低。进入 BIOS 设置重启按 F2/Del找到类似 “Advanced → CPU Configuration” 的选项启用Intel Virtualization Technology或SVM Mode。验证是否已开启systeminfo | findstr /C:虚拟机监视器模式扩展输出为“是”表示成功。安装 WSL2 与 Ubuntu 发行版以管理员身份打开 PowerShell执行wsl --install -d Ubuntu这条命令会自动完成以下动作- 安装 WSL 组件- 设置默认版本为 WSL2- 下载并安装 Ubuntu LTS通常是 22.04安装完成后系统会提示你创建用户名和密码请务必记住。之后可通过wsl命令随时进入该环境。确认当前实例版本wsl --list --verbose输出应显示 VERSION 列为2。⚠️ 注意部分旧系统可能默认使用 WSL1需手动升级powershell wsl --set-version Ubuntu 2推荐操作迁移 WSL 实例至非系统盘Ubuntu 默认安装在 C:\Users...\AppData\Local\Packages 下长期使用可能占用数十 GB 空间。如果你的 C 盘容量紧张建议迁移到 D 盘或其他分区。流程如下以迁移到D:\wsl\ubuntu为例# 先关闭所有 WSL 实例 wsl --shutdown # 导出当前系统为 tar 包 wsl --export Ubuntu D:\wsl\ubuntu.tar # 卸载原实例 wsl --unregister Ubuntu # 重新导入到指定路径 wsl --import Ubuntu D:\wsl\ubuntu D:\wsl\ubuntu.tar --version 2 # 删除临时文件 del D:\wsl\ubuntu.tar此后你可以通过资源管理器访问\\wsl$\Ubuntu查看 Linux 文件系统。更换 APT 源为国内镜像Ubuntu 官方源在国外更新软件包速度慢。切换为阿里云镜像可显著提升体验。编辑源列表文件sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak sudo vim /etc/apt/sources.list替换内容为适用于 Ubuntu 22.04 (jammy) 的阿里云源deb https://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse deb https://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse deb https://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse保存后更新索引sudo apt update sudo apt upgrade -y安装 Git LFS 支持大模型下载Langchain-Chatchat 的模型仓库包含大量二进制权重文件如.bin,.safetensors普通 git 无法拉取这些大文件。必须借助Git LFSLarge File Storage。安装命令sudo apt install git-lfs -y git lfs install这一步至关重要否则克隆模型时只会得到占位符导致后续加载失败。NVIDIA 用户注意GPU 驱动配置如果你希望利用 GPU 加速模型推理尤其是生成响应阶段NVIDIA 显卡用户需要额外配置 CUDA 支持。主机端前往 NVIDIA 官网 安装最新驱动推荐通过 GeForce Experience 自动更新确保包含 WSL 兼容的 CUDA 组件。WSL2 端安装完成后在 WSL2 终端中执行nvidia-smi如果能看到显卡型号、驱动版本和 CUDA 版本信息说明 GPU 已就绪。✅ 成功标志无报错输出显存占用和进程状态❌ 失败常见原因主机未安装支持 WSL 的驱动 / WSL2 未正确初始化 GPU 子系统一旦成功后续安装 PyTorch 时可以选择cu118版本以启用 GPU 加速。使用 Conda 创建独立 Python 环境Langchain-Chatchat 对依赖库版本极为敏感特别是 PyTorch、Transformers 和 LangChain 的组合容易因版本不匹配导致崩溃。因此强烈建议使用虚拟环境进行隔离。推荐使用Anaconda不仅提供强大的包管理能力还有图形化工具降低入门门槛。安装 AnacondaWindows 端前往 Anaconda官网 下载 Windows 安装包双击运行全程默认选项即可。安装后你将获得- Anaconda Navigator 图形界面- conda 命令行工具- Jupyter Notebook / VSCode 集成创建专用环境chatchat-env打开 Anaconda Navigator → Environments → CreateName:chatchat-envPython Version:3.10当前兼容性最佳等待创建完成点击绿色“▶️”按钮启动环境并打开终端。此时命令行前缀应显示(chatchat-env)表示已激活。升级 pippip install --upgrade pip克隆项目代码到 WSL2确保你在(chatchat-env)环境中执行cd ~ mkdir lang cd lang git clone --recursive https://github.com/chatchat-space/Langchain-Chatchat.git其中--recursive参数非常重要用于同时拉取子模块如 FastChat、LangChain 等依赖项遗漏会导致后续导入失败。安装项目依赖进入项目目录cd Langchain-Chatchat pip install -r requirements.txt主要耗时包包括-torchPyTorch-transformers-langchain-faiss-cpu或faiss-gpu若启用了 CUDA网络不稳定时可使用清华源加速pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/安装完成后检查关键版本python -c import torch; print(torch.__version__) python -c import transformers; print(transformers.__version__)建议版本范围- torch ≥ 2.0- transformers ≥ 4.35下载本地大模型Langchain-Chatchat 的核心能力依赖两个模型1.基座语言模型负责回答生成推荐chatglm3-6b2.Embedding 模型用于文档向量化编码推荐bge-large-zh-v1.5两者均针对中文优化社区广泛采用。使用 ModelScope 魔搭平台高效下载相比 HuggingFace 国内访问缓慢ModelScope 提供更快的下载速度实测可达 50MB/s。创建模型目录并进入mkdir models cd models git lfs install分别克隆两个模型git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh-v1.5.git⚠️ 注意不要重命名模型文件夹否则需同步修改配置路径。配置核心参数文件批量生成 .py 配置文件项目中许多配置是以.example结尾的模板文件需复制为.py才能被加载。项目自带脚本可一键完成cd ~/lang/Langchain-Chatchat python copy_config_example.py执行后configs/目录下的*.example文件会被复制为同名.py文件例如model_config.py.example→model_config.pyserver_config.py.example→server_config.py❗ 必须执行此步否则启动时报错找不到模块修改模型路径编辑configs/model_config.pyvim configs/model_config.py找到MODEL_PATH字典修改为实际路径MODEL_PATH { chatglm3-6b: /home/yourname/lang/models/chatglm3-6b, bge-large-zh-v1.5: /home/yourname/lang/models/bge-large-zh-v1.5 } 关键点- 替换yourname为你自己的 WSL 用户名- 使用正斜杠/不要混用\- 路径必须绝对准确不能多空格或拼写错误初始化向量知识库首次运行前必须初始化数据库让 Embedding 模型对默认文档进行向量化处理。执行命令python init_database.py --recreate-vs观察现象- CPU 占用飙升文本分块与编码- 内存快速上升建议至少 16GB RAM- 若有 GPU显存开始分配- 终端持续输出日志表示正在处理文档⏱️ 耗时约5–8 分钟取决于硬件性能。✅ 成功标志最后输出Vector store initialized.启动 Web 服务一切就绪后启动主程序python startup.py -a参数-a表示启动所有服务API Web UI。等待数分钟后看到以下日志即表示成功INFO: Uvicorn running on http://0.0.0.0:8000 INFO: Started reloader process [xxxxx] Streamlit app starting... Welcome to Streamlit. Access your app at: http://localhost:8501 打开浏览器访问 http://127.0.0.1:8501❗ 注意http://0.0.0.0:8501无法访问必须使用127.0.0.1或localhost首次加载可能较慢需加载模型到内存耐心等待几分钟。页面出现后即可上传 PDF、TXT、Word 等文档测试语义检索与问答功能。总结与延伸建议Langchain-Chatchat 是当前开源领域中最成熟的本地知识库问答框架之一。通过本次部署我们实现了- 数据完全本地化保障信息安全- 支持多种格式文档解析与向量化- 可扩展性强便于二次开发- 兼容 CPU/GPU 推理适配不同硬件条件对于企业用户而言这套系统非常适合用于- 内部知识库建设- 私有客服机器人训练- 敏感文档智能检索- 合规场景下的 AI 助手部署下一步建议1. 将自有文档放入knowledge_base/test目录2. 重新运行python init_database.py --recreate-vs更新向量库3. 测试多轮对话与上下文理解能力4. 根据业务需求调整模型或前端界面只要按步骤操作即使你是 AI 部署新手也能顺利完成整套流程。祝你顺利打造属于自己的“本地 AI 大脑”创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考