本教程专注在怎样运用现已开源的模型和项目，构建一个能够私有化布置的问答常识库，并且全体效果要有所保障。
主要作业包括：
- 挑选根底模型，openAI，claude 这些商用的，或者其他的开源的，这次咱们挑选 Vicuna-13B；
- 开源有很多的常识库问答体系，这次咱们挑选DB-GPT,优点是支撑多端的拜访；
- 根据项目的全体的要求，尤其是根底模型的要求挑选合适的硬件设备，能够选用云服务，这次咱们挑选阿里云的云服务
- 根据项目说明布置
- 该架构主要由五部分组成，依次为常识库、Embedding、向量存储、大模型（如Vicuna-13B）以及生成（Generate）。全体流程是：常识库经过Embedding处理转化为向量方式，然后这些向量存储到数据库中，大模型经过吸收这些向量化的常识，完结推理和总结的能力，最终进行生成。
- 该架构分为四个步骤：常识库预备、Embedding、向量存储和运用大模型的能力。这是一个面向数据库领域的GPT，它预备了干流数据库的文档，并对其进行分类。Embedding阶段将文本转换成向量进行存储，存储媒介是向量数据库。Embedding后的常识会存储在向量数据库中，以备后续检索。最终，运用大模型的能力，经过In-Context-Learning（ICL），使大模型完结根据现有常识的推理、总结。
- 经过这种架构，能够完结一个根据现有常识库的问答（QA）项目。
LangChain是当时最受欢迎的大型言语模型（LLM）结构，它是一个根据LLM的运用开发结构。为了使运用更强壮且独特，仅依靠大模型的API是不足的。LangChain的规划理念强调数据思维，行将大模型与其他元数据衔接，以及署理思维，让言语模型能与环境互动。这个简单但符合自然法则的规划理念深深吸引了咱们，因而咱们挑选了LangChain。
简单介绍什么是langchain：langchain是一个大言语模型运用开发结构，像django是web运用结构一样，langchain也是咱们后边开发根据大言语模型运用的结构。并且能够方便的在运用中集成其他东西，这些东西能够补偿LLM的缺失的能力。
购买阿里云GPU实例
参考DB-GPT官方挑选硬件
| GPU型号 | 显存巨细 | 功能 |
|---|---|---|
| RTX4090 | 24G | 能够流畅的进行对话推理，无卡顿 |
| RTX3090 | 24G | 能够流畅进行对话推理，有卡顿感，但好于V100 |
| V100 | 16G | 能够进行对话推理，有明显卡顿 |
这次挑选在阿里云购买GPU实例，参考如下
挑选型号之后，还需求挑选体系、GPU驱动、SSD存储、以及实例释放战略等选项。这儿需求留意，云盘的标准不要挑选太小，主张不小于200G， 同时去掉随实例释放的选项，这样后续咱们能够只释放实例，模型数据能够保留。假如此实例，你想长期运用，主张给ECS做个快照备份。当然，考虑到价格原因，也能够挂一块NFS来存储数据 留意，这儿推荐勾选不随实例释放，因为模型，显卡，环境，布置每一步都是钱堆上来的，指不定你什么时候就又要本地布置了，所以把这块盘存下来是明智的挑选
网络装备
运用自己喜欢的SSH东西登录服务器，例如xshell
根底环境建立
装置 git git-lfs ，下载模型需求
g++ docker docker.io，布置项目组件需求
apt-get install git git-lfs g++ docker docker.io -y
模型下载
在预备模型阶段，咱们首先要下载模型。 这儿咱们依靠两个根底模型，分别是vicuna-13B以及sentence-transformer
git clone https://github.com/csunny/DB-GPT.git
git clone --progress https://huggingface.co/Tribbiani/vicuna-13b
git clone https://huggingface.co/sentence-transformers/all-MinilM-L6-v2
cd DB-GPT
mkdir models
cd models
mv ../../vicuna-13b/ ./
大概58G,需求一个小时才干下载完结
装置Mysql实例
直接运用官方仓库供给的指令如下:
docker run --name=mysql -p 3306:3306 -e MYSQL ROOT PASSWORD=aa12345678 -dit mysql:latest
装置python环境
python 环境咱们要起是大于3.9，这儿咱们用3.10来进行装置首先咱们需求装置conda环境，咱们运用miniconda3
wget https://repo.anaconda. com miniconda/Miniconda3-py310 23.3.1-0-Linux-x86 64.sh
sh Miniconda3-py310 23.3.1-0-Linux-x86 64.sh
装置完结之后，需求收效一下环境变量，并创建虚拟环境和激活虚拟环境
source /root/.bashrc
conda create n dbgpt env python=3.10
conda activate dbgpt env
装置依靠
在项目目录下，履行下面的语句
pip install -r requirements.txt
留意，履行如下指令，装备项目途径
echo "/root/DB-GPT”> /root/miniconda3/env/dbgpt_env/lib/python3.10/site packages/dbgpt.pth
发动服务端和客户端 web
# 服务端发动
export PYTHONPATH=SPYTHONPATH:/root/DB-GPT
python pilot/server/llmserver.py
# 客户端发动
export PYTHONPATH=SPYTHONPATH:/root/DB-GPT/
python pilot/server/webserver.py
设置阿里云安全组
装备阿里云的安全组，这些能够在自己机器拜访
拜访IP:7860，看到什么了
构建常识库
这样咱们能够运用文档构建自己的问答常识库
