关于 Llama 2 的一切资源，我们都帮你整理好了

Llama 2 是一个由 Meta 开发的大型言语模型，是 LLaMA 1 的继任者。Llama 2 可通过 AWS、Hugging Face 获取，并能够自由用于研讨和商业用途。Llama 2 预练习模型在 2 万亿个符号上进行练习，比较 LLaMA 1 的上下文长度增加了一倍。它的微调模型则在超过 100 万个人工标注数据下完结。

这篇博客包含了一切的相关资源，以协助您快速入门。

来自 Meta 官方的公告能够在这里找到：ai.meta.com/llama/

LLaMA 2 是什么？

Meta 发布的 Llama 2，是新的 SOTA 开源大型言语模型（LLM）。Llama 2 代表着 LLaMA 的下一代版别，可商用。Llama 2 有 3 种不同的巨细 —— 7B、13B 和 70B 个可练习参数。与原版 LLaMA 比较，新的改善包含：

  • 在 2 万亿个符号的文本数据上进行练习
  • 允许商业运用
  • 默许运用 4096 个前后文本视界
  • 70B 模型采用了分组查询注意力（GQA）
  • 能够在 Hugging Face Hub 上直接获取 hf.co/models?othe…

立刻解锁 Llama2

有几个不同的游乐场供与 Llama 2 来测验：

HuggingChat

在我们推出的 HuggingChat 中运用 Llama 2 70B： hf.co/chat

Hugging Face Space 运用

我们在 Space 运用上供给了三个巨细的 Llama 2 模型的体验，分别是:

  • 7B hf.co/spaces/hugg…
  • 13B huggingface.co/spaces/hugg…
  • 70B huggingface.co/spaces/ysha…

Perplexity

Perplexity 的对话 AI 演示供给 7B 和 13B 的 Llama 2 模型: llama.perplexity.ai/

Llama 2 背后的研讨工作

Llama 2 是一个根底大言语模型，它由网络上公开可获取到的数据练习完结。别的 Meta 一起发布了它的 Chat 版别。Chat 模型的第一个版别是 SFT（有监督调优）模型。在这之后，LLaMA-2-chat 逐步地经过人类反馈强化学习（RLHF）来进化。 RLHF 的进程运用了回绝采样与近端战略优化（PPO）的技能来进一步骤优谈天机器人。 Meta 目前仅发布了模型最新的 RLHF (v5) 版别。若你对此进程背后的进程感兴趣则请查看：

  • Llama 2: 开源并已微调的谈天模型 arxiv.org/abs/2307.09…
  • Llama 2: 一个超赞的开源大言语模型 www.interconnects.ai/p/llama-2-f…
  • Llama 2 的全面拆解 www.youtube.com/watch?v=zJB…

Llama 2 的功能有多好，基准测验？

Meta 表明

Llama 2 在众多外部基准测验中都优于其他开源的言语模型，包含推理、编程、熟练程度与知识测验。

关于其功能你能够在这里找到更多信息：

  • Hugging Face 开源大言语模型排行榜 huggingface.co/spaces/Hugg…
  • Meta 官方公告 ai.meta.com/llama/

怎么为 LLaMA 2 Chat 写提示词 (prompts)

Llama 2 Chat 是一个开源对话模型。想要与 Llama 2 Chat 进行高效地交互则需要你供给适宜的提示词，以得到合乎逻辑且有协助的回复。Meta 并没有选择最简单的提示词结构。

以下是单轮、多轮对话的提示词模板。提示词模板遵从模型练习进程，你能够在这里查看到详细描述:

  • Llama 2 论文 huggingface.co/papers/2307…
  • Llama 2 提示词模板 gpus.llm-utils.org/llama-2-pro…

单轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_message }} [/INST]

多轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_msg_1 }} [/INST] {{ model_answer_1 }} </s><s>[INST] {{ user_msg_2 }} [/INST] {{ model_answer_2 }} </s><s>[INST] {{ user_msg_3 }} [/INST]

怎么练习 LLaMA 2

因 LLaMA 2 为开源模型，使得能够容易的通过微调技能，比方 PEFT，来练习它。这是一些非日适合于练习你自己版别 LLaMA 2 的学习资源：

  • 扩展指引：指令微调 Llama 2 www.philschmid.de/instruction…
  • 在 Amazon SageMaker 上微调 Llama 2 (7-70B) www.philschmid.de/sagemaker-l…
  • 运用 PEFT 技能微调 huggingface.co/blog/llama2…
  • Meta 供给的 Llama 模型示例以及方案 github.com/facebookres…
  • 在本地机器上微调 LLAMA-v2 最简单的方法！ www.youtube.com/watch?v=3fs…

怎么布置 Llama 2?

Llama 2 能够在本地环境布置，运用托管服务如 Hugging Face Inference Endpoints 或通过 AWS、Google Cloud、Microsoft Azure 等。

你能够查阅下述资源:

  • llama.cpp github.com/ggerganov/l…
  • 运用文本生成接口与推理终端来布置 LLama 2 huggingface.co/blog/llama2…
  • 运用 Amazon SageMaker 布置 LLaMA 2 70B www.philschmid.de/sagemaker-l…
  • 在你的 M1/M2 Mac 上通过 GPU 接口来本地布置 Llama-2-13B-chat gist.github.com/adrienbraul…

英文原文: www.philschmid.de/llama-2

原文作者: Philipp Schmid