机器之心专栏
编辑：杜伟、马梓文
程序员们又有了一款 AI 代码生成东西。
随着近年来大模型的火热，呈现了很多作用冷艳的言语大模型、视觉大模型和多模态大模型。与此同时，大模型范畴还在不断向更多笔直领域拓展，代码就是一个重要方向。
2022 年 9 月，HuggingFace 与 ServiceNow Research 联合发起了一个全新的代码大模型项目 BigCode，旨在环绕 AI 代码生成东西树立一个敞开社区并开发大言语模型代码。
昨日 BigCoder 宣告推出 155 亿参数开源代码大模型 StarCoder 和 StarCoderBase，它们具有 8k token 的上下文，在 80 多种编程言语的数据上进行练习。StarCoder 在 HumanEval 基准测验中的一次经过率达到了 40.8％，能够充任技能帮手。相关论文的作者有 68 位。
- 试用地址：t.co/4XJ0tn4K1m
- 论文地址：drive.google.com/file/d/1cN-…
StarCoder 不仅能够用来聊天，还能协助用户集成最新 VSCode 插件进行编码。你还能查看当时代码是否在预练习数据集中（按下 CTRL+ESC 即可）。
StarCoder 在 JupyterNotebooks 上练习，而且使用推特用户 @JiaLi52524397 供给的 Jupyter 插件，它能够利用曾经的代码、markdown 单元格和输出来预测下一个单元格。
英伟达人工智能科学家 Jim Fan 对此表示，「编码的 LLaMA 时间来了！开源 LLM 社区正以超人的速度前进。」
代码大模型 StarCoder 和 StarCoderBase
整体而言，StarCoder 和 StarCoderBase 是在 GitHub 的答应数据上练习的大型代码言语模型（Code LLMs），数据源包含 80 多种编程言语、Git commits、GitHub issues 和 Jupyter notebooks。
与 LLaMA 相似，项目团队首先使用来自 The Stack（具有查看东西和 opt-out 流程的答应 GitHub 库调集）上的 1 万亿个 token 练习了 StarCoderBase。然后在 350 亿个 Python token 上对 StarCoderBase 进行微调，形成了一个新模型 StarCoder。
下表 1 和 2 分别为 StarCoder 的练习数据。
研究发现，StarCoderBase 在流行编程基准上优于现有开源代码 LLM，并媲美或逾越了一些关闭模型，如 OpenAI 开始的 Codex 模型。
StarCoder 模型上下文长度超过 8000 个 token，能够比其他任何敞开 LLM 处理更多的输入，从而完结大量风趣的使用。例如，经过向 StarCoder 模型提示一系列的对话，能够使它们充任技能帮手。此外 StarCoder 模型还能够用来主动完结代码，经过指令对代码进行修改，并以自然言语解释一个代码片段。
下表 11 为 StarCoder 的模型架构。
基准评价
项目团队全面评价了 StarCoder、几个相似的模型以及各种基准，其中包含流行的 Python 基准 HumanEval（用来测验模型是否能够根据签名和文件串补全函数）。
结果发现，StarCoder 和 StarCoderBase 的体现都超过了一些最大的模型，包含了 PaLM、LaMDA 和 LLaMA。这两个模型的体现也超过了 CodeGen-16B-Mono 和 OpenAI 的 code-cushman-001（12B）模型。
项目团队还发现了模型的一个失败用例即发生代码，这可能是因为这种类型的代码通常是练习的一部分。为了让模型生成实际的解决方案，项目团队挑选添加了一个 prompt ，创建了 StarCoder-Prompted 模型，使得 HumanEval 的经过率从 34% 大幅提高到 40% 以上。
StarCoder 的一个风趣的方面是支持多言语。项目团队在 MultiPL-E 上对它进行了评价，并观察到 StarCoder 在许多言语上的体现都有过之而无不及。
另外在一个名为 DS-1000 的数据科学基准上，StarCoder 模型明显打败了绝大多数其他敞开模型。
更多技能及评价细节请参阅原论文。
参阅链接：twitter.com/BigCodeProj…
