现在,GPT-3.5 Turbo 支撑自定义微调了!

只需上传自己的数据,就能够运行专属的定制大模型。

开发者狂喜!不少人惊呼:Awesome!

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

前期测验表明,经过微调的 GPT-3.5 Turbo 版本在某些使命中乃至能够超越 GPT-4。

更新之余,OpenAI 还直接明示了定价方案,微调费用首要分为初始练习费用和运用费用。

一个具有 10 万 tokens 练习数据集的微调作业(3 个 epoch 练习)本钱大概在 2.40 美元。

此外,OpenAI 还透露了 GPT-4 微调将于本年秋天推出。

不过也有人不吃这套,吐槽微调本钱太高,其生本钱钱是根底模型的 8 倍,必须要依照他们所说 “将提示巨细减小 90%”,才能从中获取效益。

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

开发者自己进行监督微调

OpenAI 首要给出了指南手册,微调能够用来改善这些模型功能。

  • 可操纵性的改善,模型能够更好地遵从指令。比如输出简洁答复或始终以给定的语言呼应。
  • 一致的格式化呼应,开发人员可用微调将用户提示转换为高质量 JSON 代码片段,随后用于自己的体系。
  • 定制口气,微调能够更好磨炼模型输出的质感,比如口气,让它更适合企业品牌的声音。

除了提高功能之外,还能缩短提示时间,确保相似功能。另外,微调目前仅支撑处理 4000 tokens,这也是此前微调类型的两倍。16k tokens 微调将于本年秋季推出。

前期测验人员经过对模型自身指令进行微调,加快了 API 调用还降低本钱,让 prompt 减少了 90%。

函数调用结合和 gpt-3.5-turbo-16k 的微调支撑将在本年秋季晚些时候推出。

详细微调步骤,分为四步:

准备数据

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

上传文件

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

创立微调作业

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

运用微调模型

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

OpenAI 透露,未来他们将推出微调 UI,这样轻松访问正在进行中的作业。

定价方面,分为练习本钱和运用本钱。

  • 练习:0.008 美元 / 1000 tokens;
  • 运用输入:0.012 美元 / 1000 tokens;
  • 运用输出:0.016 美元 / 1000 tokens。

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

不过能够看到的是,价格的确比根底模型高了不少。

更新了 GPT-3 模型

与此同时,OpenAI 还在 API 端口更新了 GPT-3 模型:babbage-002 和 davinci-002。

这些模型都能够用新的 API 端点进行微调。

OpenAI开放大模型微调功能!上传自己数据就可定制GPT-3.5Turbo

原始根底模型 (ada, babbage, curie, 和 davinci) 将于明年 *(2024 年)1 月 4 日封闭。

好了,感兴趣的朋友能够开始定制自己的 GPT-3.5Turbo 了。

参考链接:
[1]openai.com/blog/gpt-3-…
[2]news.ycombinator.com/item?id=372…