开源项目介绍:
https://github.com/THUDM/ChatGLM-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。
https://github.com/chatchat-space/Langchain-Chatchat
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。
部署Langchain-Chatchat
部署环境
服务器:ubuntu 22.04
显卡:T4
cpu:32C
内存:128GB
安装英伟达驱动
参考:https://www.murhabazi.com/install-nvidia-driver
卸载已有驱动
sudo apt-get purge nvidia-*
sudo apt-get update
sudo apt-get autoremove
安装依赖
sudo apt install libnvidia-common-530
sudo apt install libnvidia-gl-530
安装驱动
sudo apt install nvidia-driver-530
重启以加载驱动
reboot
检查驱动安装信息
nvidia-container-cli -k -d /dev/tty info
nvidia-smi
无报错即可
后台运行langchain-chatchat
nohup docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7 &
镜像大小43GB,因为镜像下载耗时太久,所在在后台静默执行。
需要等待运行完成
启动容器
查询所有容器
docker ps -a
发现容器没有起来,手动启动容器
docker start [容器ID]
报错:Error response from daemon: could not select device driver "" with capabilities: [[gpu]]
这是由于没有配置好docker运行环境导致的,执行安装容器运行环境
apt-get install nvidia-container-runtime
安装后重新启动docker
systemctl restart docker
再次启动容器
docker start [容器ID]
发现启动成功
访问langchain-chatchat,体验功能效果
LLM对话
容器已经映射服务端口到80,直接访问http://ip
体验LLM问答,响应速度较快,生成内容效果较好。
上下文关联效果较好。
数学计算能力好像有点问题 😂
知识库
新建知识库,导入文档资料到知识库中:
使用知识库问答:
体验效果较差,只能做简单的搜索关联。
文本归纳能力较差。
系统集成
服务本身开放接口可以创建对话、维护知识库等