引言

  • 当时LLM模型火出天边，可是做事还是需要脚踏实地。
  • 此文仅仅日常学习LLM，随手收拾所得。
  • 本篇博文更多偏重对话、问答类LLM上，其他方向（代码生成）这里暂不涉及，能够去看总述来了解。

之前LLM模型整理

  • 图来历： A Survey of Large Language Models | Github Repo

LLM总结（持续更新中）

后LLaMA模型整理

flowchart LR
A([LLaMA]) --> B([Alpaca]) --> D([FreedomGPT])
B --> B_1(Chinese-alpaca-lora)
B --> B_2(japanese-alpaca-lora)
A --> C([Vicuna])
A --> E([Koala])
A --> F([ChatLLaMA])
A --> G([ColossalChat])
A --> H([Baize])
A --> I([gpt4all])
click A href "https://github.com/facebookresearch/llama" _blank
click B "https://github.com/tatsu-lab/stanford_alpaca" _blank
click C "https://github.com/lm-sys/FastChat" _blank
click D "https://github.com/ohmplatform/FreedomGPT" _blank
click E "https://github.com/young-geng/EasyLM" _blank
click F "https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama" _blank
click G "https://github.com/hpcaitech/ColossalAI/tree/main/applications/Chat/coati" _blank
click H "https://github.com/project-baize/baize-chatbot" _blank
click I "https://github.com/nomic-ai/gpt4all" _blank

BLOOM （BigScience）

LLaMA (Meta)

  • 缺乏指令微调

Alpaca (斯坦福)

  • 由Meta的LLaMA 7B微调而来，52k数据，功能约等于GPT-3.5
  • 由Self-Instruct: Aligning Language Model with Self Generated Instructions论文启发，运用现有强言语模型自动生成指令数据
  • 衍生项目：
    • Chinese-alpaca-lora
    • japanese-alpaca-lora

Vicuna (UC伯克利、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校)

  • 与GPT-4功能相匹配的LLaMA微调版本， 130亿参数
  • 经过在ShareGPT搜集用户共享对话对LLaMA进行微调而来，在超过90%的情况下，完成了与Bard和ChatGPT相匹配的能力

LLM总结（持续更新中）

  • 练习流程：
flowchart LR
A(ShareGPT搜集70k对话数据) --> B("优化Aplaca练习脚本，处理多轮对话和长序列问题") --> C("PyTorch FSDP 8个A100 一天练习") 
C --> D("质量评估，80个问题，用GPT-4对模型输出进行评价")

三者之间汇总比照

LLM总结（持续更新中）

Koala (UC伯克利 AI Research Institute（BAIR）)

  • 运用网络获取的高质量数据进行练习，能够有效地回答各种用户的查询，比Alpaca更受欢迎，至少在一半的情况下与ChatGPT的作用平起平坐
  • 得出有效结论：正确的数据能够显著改善规划更小的开源模型
  • 研究人员专心于搜集一个小型的高质量数据集，包含ChatGPT蒸馏数据、开源数据等

ChatLLaMA (Nebuly)

  • 一个能够运用自己的数据和尽可能少的核算量，来创立个性化的相似ChatGPT的对话帮手
  • 库的意图是经过笼统核算优化和搜集大量数据所需的作业，让开发人员无忧无虑
  • ChatLLaMA旨在协助开发人员处理各种用例，所有用例都与RLHF练习和优化推理有关。以下是一些用例参阅：
    • 为笔直特定使命（法令、医疗、游戏、学术研究等）创立相似ChatGPT的个性化帮手；
    • 想在本地硬件基础设施上运用有限的数据，练习一个高效的相似ChatGPT的帮手；
    • 想创立自己的个性化版本类ChatGPT帮手，一起防止成本失控；
    • 想了解哪种模型架构（LLaMA、OPT、GPTJ等）最符合我在硬件、核算预算和功能方面的要求；
    • 想让助理与我的个人/公司价值观、文化、品牌和宣言保持一致。

FreedomGPT (Age of AI)

  • 建立在Alpaca之上，回答问题没有成见或偏袒，并且会毫不犹豫第回答有争议或争论性的论题
  • 克服了审查约束，在没有任何保证的情况下迎合有争议性的论题。标志是自在女神像，标志自在。

ColossalChat (UC伯克利)

  • 根据LLaMA模型，只需不到100亿个参数就能到达中英文双语能力，作用与ChatGPT和GPT3.5适当。
  • 复刻了完好的RLHF进程，是现在最接近ChatGPT原始技能路线的开源项目
  • 发布了中英双语练习数据集，其中包含大约100,000个中英文问答对。
    • 该数据集是从社交媒体平台上的真实问题场景中搜集和清理的，作为种子数据集，运用self-instruct进行扩展，标注成本约为900美元。
    • 与其他self-instruct办法生成的数据集比较，该数据集包含更真实和多样化的种子数据，包含更广泛的主题。该数据集适用于微调和RLHF练习。
    • 在供给优质数据的情况下，ColossalChat能够完成更好的对话交互，一起也支撑中文。
  • 完好的RLHF管线，共有三个阶段：
    1. RLHF-Stage1: 运用上述双语数据集进行监督指令微调模型
    2. RLHF-Stage2: 经过对同一提示的不同输出手动排序来练习奖励模型，分配相应的分数，然后监督奖励模型的练习
    3. RLHF-Stage3: 运用强化学习算法，这是练习进程中最复杂的部分。

Baize （加州大学圣迭戈分校、中山大学和微软亚研）

  • 包含四种英文模型（白泽-7B、13B、30B）和一个笔直范畴的白泽医疗模型，计划未来发布中文的白泽模型。
  • 值得注意的是，该办法的数据处理、练习模型、Demo等全部代码均已开源，真是良知，由衷点赞。
  • 作者提出一种自动搜集ChatGPT对话的流水线，经过从特定数据集中采样[种子]的方法，让ChatGPT自我对话，批量生成高质量多轮对话数据集。如果运用特定范畴数据集，比方医学问答数据集，就能够生成高质量笔直范畴语料。

LLM总结（持续更新中）

gpt4all（Nomic AI）

  • 根据GPT-3.5-Turbo的800k条数据进行练习，包含文字问题、故事描绘、多轮对话和代码。
  • 该计划供给了完好的技能陈述，包含搜集数据、收拾数据、练习代码和模型权重。

ChatYuan-large-v2 （元语智能）

  • 这个模型的商业气味较浓一些。不过，这也是无奈之举。
  • ChatYuan-large-v2是一个支撑中英双语的功能型对话言语大模型。ChatYuan-large-v2运用了和 v1版本相同的技能计划，在微调数据、人类反馈强化学习、思维链等方面进行了优化。
  • ChatYuan-large-v2是ChatYuan系列中以轻量化完成高质量作用的模型之一，用户能够在消费级显卡、 PC乃至手机上进行推理（INT4 最低只需 400M ）。

Firefly（yangjianxin1）

  • Firefly（流萤） 是一个开源的中文对话式大言语模型，运用指令微调（Instruction Tuning）在中文数据集上进行调优。一起运用了词表裁剪、ZeRO、张量并行等技能，有效降低显存消耗和进步练习效率。 在练习中，运用了更小的模型参数量，以及更少的核算资源。结构了许多与中华文化相关的数据，以提高模型这方面的体现，如对联、作诗、文言文翻译、散文、金庸小说等。
  • 由于该项目首要选用LLMPrunner对原始BLOOM模型进行此表裁剪，所以作用有限，优势在于小，缺点也在这里。

BELLE （链家）

ChatGLM-6B （清华）

langchain-ChatGLM （imClumsyPanda）

  • 该项目是根据本地常识的ChatGLM应用完成。根据本地文档类常识来增强ChatGLM的回答。这应该是最能落地的项目了。
  • 全体流程如下图：

LLM总结（持续更新中）

参阅资料

  • 开发者笑疯了！ LLaMa惊天走漏引爆ChatGPT平替狂潮，开源LLM范畴变天
  • 练习ChatGPT的必备资源：语料、模型和代码库完全攻略
  • 用ChatGPT练习羊驼：「白泽」开源，轻松构建专属模型，可在线试玩
  • 笔记本就能运行的ChatGPT平替来了，附完好版技能陈述