基于LangChain-Chatchat搭建本地知识库问答系统

1. 📃简介

LangChain-Chatchat是基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。可以实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
🌐Githubhttps://github.com/chatchat-space/Langchain-Chatchat

2. 🚀快速部署体验

LangChain-Chatchat支持AutoDL镜像一键部署,非常方便,镜像地址:https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat

2.1 注册autodl账号

AutoDL是一个GPU租用平台,提供稳定可靠、价格公道的GPU算力
🌐官网:https://www.autodl.com/

注册账号后,进行充值。
计费方式:服务器开机开始计费,关机结束计费,可以支持无卡开机,费用更低

2.2 部署镜像

打开镜像地址:https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat
文章中包含了详细的操作说明。
点击AutoDL创建实例

选择3090,或者4090,切CUDA符合文档中要求的版本,如上v0.2.10的镜像,需要CUDA12.2,

创建完成后,可以在控制台看见租用的服务器,点击JupyterLab进入服务器控制台

进入控制台,点击终端,进去服务器

在终端中执行如下命令

1
2
3
cd /root/Langchain-Chatchat/
conda activate /root/pyenv
python startup.py -a

服务启动完成

访问服务器上的服务,选择自定义服务

选择Linux/Mac,按照教程支持

最近AutoDL更新,自定义服务点开后提示框,点击访问后,直接打开页面,但是页面无法正常加载

可以按照原来那种方式,拼接一个ssh连接,复制登录指令,并拼接-CNg -L 6006:127.0.0.1:6006
例如:ssh -CNg -L 6006:127.0.0.1:6006 -p 22478 root@connect.westc.gpuhub.com,再复制密码

Windows打开cmd窗口,复制命令,输入yes,复制粘贴密码,回车

部署完成,在浏览器访问http://localhost:6006/

3. 💻本地文档问答

准备本地文档,以阿里巴巴Java开发手册(规约)-泰山版v1.6.0-共61页为例

根据知识库问答