langchain-chatchat部署验证

开源项目介绍：

https://github.com/THUDM/ChatGLM-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

https://github.com/chatchat-space/Langchain-Chatchat
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。

部署Langchain-Chatchat

部署环境

服务器：ubuntu 22.04
显卡：T4
cpu：32C
内存：128GB

安装英伟达驱动

参考：https://www.murhabazi.com/install-nvidia-driver

卸载已有驱动

sudo apt-get purge nvidia-*

sudo apt-get update

sudo apt-get autoremove

安装依赖

sudo apt install libnvidia-common-530
sudo apt install libnvidia-gl-530

安装驱动

sudo apt install nvidia-driver-530

重启以加载驱动

reboot

检查驱动安装信息

nvidia-container-cli -k -d /dev/tty info

nvidia-smi

无报错即可

后台运行langchain-chatchat

nohup docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7 &

镜像大小43GB，因为镜像下载耗时太久，所在在后台静默执行。
需要等待运行完成

启动容器

查询所有容器

docker ps -a

发现容器没有起来，手动启动容器

docker start [容器ID]

报错：Error response from daemon: could not select device driver "" with capabilities: [[gpu]]

这是由于没有配置好docker运行环境导致的，执行安装容器运行环境

apt-get install nvidia-container-runtime

安装后重新启动docker

systemctl restart docker

再次启动容器

docker start [容器ID]

发现启动成功

访问langchain-chatchat，体验功能效果

LLM对话

容器已经映射服务端口到80，直接访问http://ip

体验LLM问答，响应速度较快，生成内容效果较好。

上下文关联效果较好。

数学计算能力好像有点问题 😂

知识库

新建知识库，导入文档资料到知识库中：

使用知识库问答：

体验效果较差，只能做简单的搜索关联。

文本归纳能力较差。

系统集成

服务本身开放接口可以创建对话、维护知识库等

不如吃茶去