来源 | 梦晨、克雷西
作者 | 量子

ChatGPT一夜间再次进化,OpenAI一口气推出大量更新!

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来

最核心的是API新增函数调用(Function calling)才能,与网页版的插件类似,API也能运用外部东西了。这个才能被交到开发者手上,ChatGPT API原本不具备的才能也都能靠各种第三方服务解决了。有人以为,这是一个杀手级特性,也是自ChatGPT API发布以来最重要的更新。

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
别的这次关于ChatGPT API的更新每一个都很重磅,不只才能加量,价格还更低了:

  • 推出新版别gpt-4-0613和gpt-3.5-turbo-0613模型
  • gpt-3.5-turbo上下文长度增涨400%,从4k增长到16k
  • gpt-3.5-turbo输入token降价25%
  • 最先进embeddings model降价75%
  • GPT-4 API大规模敞开,直到清空排队列表停止

消息到了国内,也有网友以为这是国内大模型面临的重大挑战。

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来

何时运用东西,API自己决定

依据OpenAI官方介绍,函数调用一起支撑新版GPT-4和GPT-3.5。开发者只需求模型描述需求用到的函数,何时调用哪个函数都是模型依据提示词自己决定的,与ChatGPT调用插件的机制一样。关于详细运用方法,官方给出了三个例子:

第一,聊天机器人调用外部API执行操作或回答问题,如“给或人发邮件”或“今日的气候如何?”。

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
第二,将自然语言转换为API调用或数据库查询,如“上个月有多少订单?”会主动生成SQL查询语句。
ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
第三,从文本中主动提取结构化数据,如只需求定义好需求的“人名、生日、位置”,再给个网页链接,就能够主动提取一篇维基百科文章中说到的一切人物信息。
ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
这一新功用让广阔网友、特别是开发者为之欢呼,表明有了它工作效率将大大提高。

以前,想要让GPT调用函数需求借助LangChain的东西才能完成。
……
虽然LangChain理论上具有更高的运行效率,但可靠性要逊于经过专门调教的新GPT。

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来

更新版别,更低价格

目前,新版别的模型现已逐渐开端迭代。 最新版gpt-4-0613、gpt-3.5-turbo-0613与扩充上下文长度的gpt-4-32k-0613都支撑函数调用。gpt-3.5-turbo-16k不支撑函数调用,供给4倍上下文长度,意味着一次恳求可支撑约20页文本。旧模型也开端逐渐抛弃。 运用初始版别gpt-3.5-turbo、gpt-4的使用将于6月27日主动升级到新版别需求更多时间过渡的开发者也能够手动指定持续运用旧版别,但9月13日之后一切旧版别恳求将彻底抛弃。

说完这个时间线,咱们再来看看价格。 升级之后,OpenAI不只没有让产品提价,反而下调了价格。首先是运用量最大的的gpt-3.5-turbo(4k token版)。输入token的价格降低了25%,现在0.0015美元每千token,也便是1美元66.6万token。而输出token每千token的价格则为0.002美元,也便是1美元50万token。换算成英语文本的话,大致是1美元700页。嵌入模型(embeddings model)的价格更是大跳水,直接降低了75%。每千token只需0.0001美金,也便是1美元一千万token。此外,新推出的16K token版GPT3.5-Turbo供给了4K版别四倍的处理才能,但价格只要两倍。输入及输出token的价格分别是0.003和0.004美元每千token。别的还有少数网友反响,当月账单直接从100到降到几美分了,目前还不清楚详细什么情况。

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来

最终,有需求的话也不要忘掉去排队GPT-4 API的测验资历。(传送门放在文末)

OpenAI捕“Chain”,微软在后

不少网友指出,OpenAI新出的“函数调用”基本便是Langchain里“Tools”的翻版。

或许接下来,OpenAI还会翻版Langchain的更多功用,如Chains和Indexes。

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
Langchain是大模型范畴最火的开源开发框架,能够把各种大模型才能整合起来快速构建使用程序。团队最近也刚刚取得1000万美元种子轮融资。虽然OpenAI的这次更新还不至于直接“杀死”Langchain这个创业项目。但是开发者们本来需求LangChain才能完成一些功用,现在的确不再需求了。
ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
再看Langchain一方的反响,求生欲也的确很强。在OpenAI官推发布更新的10分钟之内,Langchain立马宣布“现已在做兼容工作了”。
ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
而且不到一个小时就发布了新版别,支撑官方新功用之外,还能够把开发者现已写好的tools转换成OpenAI的functions。
ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
一众网友除了排队感叹这快得离谱的开发速度,还思考起一个无法逃避的问题:

OpenAI把你的创业项目给做了怎么办?

对此,OpenAI首席执行官Sam Altman最近刚好做过一次表态。在5月底Humanloop举办的沟通会上,Altman曾表明:

除了ChatGPT类型的消费级使用之外,尽量避免与客户竞赛。

现在看来,开发东西似乎不算在避免竞赛的范围之内。而与OpenAI形成竞赛联系的除了创业公司,还有一个不可忽视的存在:微软,OpenAI最大金主,经过Azure云也对外供给OpenAI API服务。就在最近,有开发者反馈,从OpenAI官方API切换到微软Azure版别后,功能显著提高

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
详细来说:

  • median latency从15秒削减到3秒
  • 95th percentile latency从60秒削减到15秒
  • 平均每秒处理的token数量增加了三倍,从8个增加到24个。

再算上Azure给的一些折扣,乃至比原来还便宜了。

ChatGPT大更新!API新增杀手级能力还降价,新模型、4倍上下文都来
但微软Azure的更新速度一般要比OpenAI慢上几周。开发阶段快速迭代用OpenAI,大规模部署转去微软Azure,你学到了么?