近期大模型可谓是如火如荼，按耐不住也想手动装置布置大模型，近距离接触大模型，废话不多说直接开端装置布置。

布置机器准备

  • 能够在某某云请求GPU服务器，模型会跑的更快；
  • 本地电脑装备尚佳也能够用来跑模型，装备不同呼应作用略有区别；

装置环境

现在绝大多数模型都是运用python言语，这儿我们运用conda办理python环境。

装置miniconda

能够从这儿获取对应版本的装置程序：Latest Miniconda Installer Links，下载完成以后履行指令，这儿我以Linux为例。

bash Miniconda3-latest-Linux-x86_64.sh

按照提示进行装置，完成装置后装备~/.bashrc文件，增加如下一行装备。

conda_dir=/root/miniconda3

履行如下指令使装备收效，之后你会看到指令行前出现base，代表conda收效。

source ~/.bashrc

创建虚拟环境

运用虚拟环境办理python依靠，防止环境被污染，当然假如仅仅布置一套程序，完全能够运用base环境，甚至能够直接运用根底python环境，习惯运用conda了。

# 创建虚拟环境ChatGLM-6B
conda create -n ChatGLM-6B python=3.11
# 启用ChatGLM-6B虚拟环境
conda activate ChatGLM-6B
# 退出虚拟环境
conda deactivate

装置Git

假如没有git环境需求装置，能够经过git –version进行检查。

yum install git
# 便利下载模型权重
yum install git-lfs

下载资源

大模型布置触及的资源基本都是 模型代码+模型权重，ChatGLM-6B开源代码参阅 github.com/THUDM/ChatG…，里面装置步骤其实比较具体，这儿简单顺下。

下载模型代码

git clone https://github.com/THUDM/ChatGLM-6B.git

下载模型权重

模型能够从HF进行下载，这儿我下载量化模型int4为例。

# 下载模型相关根底小文件
git clone https://huggingface.co/THUDM/chatglm-6b-int4
# 下载lfs类型文件，包含模型权重文件
git lfs pull

可能下载速度过慢，能够直接手动下载后将文件放到目录下即可。

布置模型

ChatGLM-6B有多个实例程序，如：web_demo、cli_demo，这儿经过web_demo布置页面UI程序，修正根目录下web_demo.py程序。

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
# 增加server_name使外部浏览器能够拜访，否则是回环地址
demo.queue().launch(share=False, inbrowser=True, server_name='0.0.0.0')

将其中的THUDM/chatglm-6b修正为上方下载模型权重的路径即可，以上代码装备的是有GPU的机器，假如是其他环境能够参阅官方文档支撑。

运转模型

# 前台运转程序
python web_demo.py
# 后台运转，实时显现日志
nohup python -u web_demo.py > nohup.out 2>&1 &

CPU运转

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

MAC运转

model = AutoModel.from_pretrained("your local path", trust_remote_code=True).half().to('mps')

mac运转假如遇到问题能够参阅官方文档进行解决，github.com/THUDM/ChatG…

成果速览

拜访地址：http://127.0.0.1:7860/

十分钟安装部署大模型ChatGML-6B

总结

我是按量买的云服务，贫民真难，看着充值金额不断下降，疼爱啊。本次带来大模型最为根底的布置指南，后续我会持续更新，包含大模型微调、大模型原理等内容，敬请期待哦。