1. GPT-4 面世
1.1 GPT-4 模型发布，科技职业热火朝天
北京时刻 3 月 15 日清晨 1 点，OpenAI 总裁兼联合创始人 Greg Brockman 在推特上发帖开端推广 GPT-4：
比较于 ChatGPT，GPT-4 在文字问答上能够接收 25 万字，有着近 8 倍的才能提高，这对语义了解模型、数据量和优质数据的挑选都有着很高的要求，由于文字问答和文字生成是彻底不同的概念，但 GPT-4 做到了这一点，还做得不错。
我们知道 ChatGPT 是基于大规模言语模型的对话体系，其间练习时的海量数据、超大的规模架构和技能长期的堆集，是目前国内大部分做 ChatGPT 的厂商遇到的难点。
1.2 GPT-4 才能大增，可解析更多文本，也可辨认图片
而 GPT-4，又是在 ChatGPT 的根底上进一步优化了架构模型，加大了练习数据的成果。不仅如此，GPT-4 还支持图画辨认，并了解图片的内容。
GPT-4 介绍视频【不支持刺进视频，链接放下面了】：
www.ign.com.cn/tech/43174/…
OpenAI 的工程师也说道：GPT-4 是世界第一款高体验，强才能的先进 AI 体系，我们希望尽快把它面向所有人
视频中举例了 GPT-4 模型的最新才能，比方处理一些日子难题：
怎么清洁装满食人鱼的水箱（How do you clean the inside of a tank filled with piranhas）？
GPT-4 给出了完整答案：
- 将绳子系在金属垫圈上（Tie a string to a metal washer）
- 将金属垫圈粘在海绵上（Glue the metal washer to a sponge）
- 将海绵放入水族箱（Lower the sponge into the aquarium）
- 运用磁铁引导海绵（Use a magnet to guide the sponge）
- 用绳子取回海绵（Retrieve the sponge with the string）
除了处理日常难题，GPT-4 还提供了哥特式浪漫故事的写作才能，编写 python 脚本做数据剖析的才能。
写一个关于电脑的哥特式浪漫故事（Write a gothic romance about a computer）
编写一个 python 脚原本剖析我每月的购买量（Write a python script to analyze my monthly purchases）
而且在图片辨认，和处理物理问题时也毫不含糊：
Q：What happens when the glove drops，这个手套掉下来会发生什么？
A：It will hit the wood plank and the ball wil fly up，击中木板并弹飞气球。
2. GPT开展进程
五年技能堆集，一朝闻名天下
GPT, 全称是 Generative Pre-Trained Transformer，即依据根底算法模型 transformer，运用预练习技能得到的通用文本模型。
2018 年 6 月，OpenAI 发布了第一版 GPT-1
GPT-1 运用了 transformer 模型（NLP、翻译软件等也在用）的 decoder 架构+使命微调的形式，简略来说就是输入一种言语的句子，然后将其翻译成别的一种言语进行输出。
而且 GPT-1 在使命进程中，会把上游句子的成果作为参数（当然中间进行了一些转化，比方句子向量）作为新特征传输到下一次使命中，以此来练习模型的准确度，相当于机器学习。
这时的 GPT 还没有什么特别出彩之处，运用的模型也是“平平无奇”，究竟当时如火如荼的 NLP，也用到了 transformer。
到了 2019 年 2 月，第二版 GPT-2 发布
比较第一版，OpenAI 优化了 decoder 网络架构，以及增加了数据规模约 10 倍，具体呈现在预练习数据和使命微调上。
全体来说，GPT-2 是一个不小的优化，但和谷歌同期产品 BERT 的比照，仍是稍显逊色，所以 GPT-2 也没有登上 AI 模型的热榜第一名。
到了 20 年 5 月，OpenAI 发布了 GPT-3
一年多今后，OpenAI 的 GPT-3 带着更优的网络架构，更大的数据规模（比起 GPT-2 约增加了 100 倍）出场了，这次练习出的模型现已初露峥嵘，也奠定了 GPT 帝国的根底。
但实际上，GPT-3 和 GPT 第二版的模型和练习方式上没有本质上的差异，只是练习的数据更多了，模型内容更大了。
2022 年 11 月 30 日，ChatGPT 正式发布
GPT-3 两年今后今后，OpenAI 又发布了 ChatGPT 和 InstructGPT 这对姐妹模型，其间 ChatGPT 是 GPT-4 之前发布的一个预热模型，又叫做 GPT-3.5。
比较 GPT-3，ChatGPT 运用了指示学习和人工反应的强化学习来辅导模型的练习，共分为三个进程：
- 有监督微调（SFT）
- 奖赏机制（RM）练习
- 通过 PPO 依据奖赏模型进行强化学习
总而言之，这时的 ChatGPT 现已能听懂人话、辨认代码，做一些根本问答和小作文写作的工作了。
以下是 GPT-3.5 模型的对话问答：
做二元一次方程：
菜谱：
当然，也会出现一些意料之外的对话（写情诗，你给我看这个？）
对对联：
比较 GPT-3，ChatGPT 现已能够做一些简略问答，根本算术以及作文生成相关的工作了。但偶尔也会一本正经的胡言乱语，而且对自己的答复坚信不疑。
依据小说记载，三体人会在四百年后到达地球，当时的时刻布景是2007年，所以ChatGPT的答案彻底不对。
要实现以上对话，ChatGPT 至少集成了五个方面的模型才能：
| 模型 | 才能 | 想要到达的效果 |
|---|---|---|
| GPT-3 | 天然言语根底模型 | 了解人类言语，让 GPT 说话能够天然流通 |
| Codex | 代码言语根底模型 | 了解机器代码，给代码找BUG/生成简略代码 |
| davinci-instruct-beta | 监督下的指令微调 | 听从人类指令，并生成答案 |
| text-davinci-001/002 | 人类反应指令微调 | 生成人类更喜爱承受的答案 |
| text-davinci-003 | 强化学习指令微调 | 持续强化上述的对话才能 |
2023 年 3 月 15 日，GPT-4 发布
GPT-4 在 GPT-3.5 的模型根底上，不仅模型更为安全牢靠，文本更赋有构思，而且还扩展了新才能。它的首要优化和突破有：
- 更大模型加持：GPT-4 到达了 1700 亿+个模型参数，比较 GPT-3 大了约 10 倍，在处理大规模文本数据、文本生成和言语建模方面性能更好；
- 练习功率更高效：GPT-4 用了更优的练习技能和算法模型，使得练习功率极大提高，在处理大规模文本数据和模型练习时更加牢靠；
- 数据安全做的更好：GPT-4 在数据加密和隐私文本上做了更多处理，使得其对话的安全性大大增加；
- 新增多模态模型才能：除了文本，GPT-4 还可接收图画输入，并对其进行图画内容辨认，然后以文本的方式输出答案。
为了比对两个模型之间的使用差异，OpenAI 还依据不同场景的测验和专业考试上对它们做了剖析。
比方，一些专业测评和学术基准测验上，GPT-4 的体现和人类水平相当：其间包括但不限于律师专业测验，SAT 测验（美国高考），GPT-4 的分数都在应试者前 10% 左右。其间，SAT 阅览考试乃至拿到了 710+ 的水平（分数线前 7%），上斯坦福都轻轻松松。比较而言， GPT-3.5 的得分只能在倒数 10% 左右。
和人类比照，GPT 在这么短的时刻内发生飞跃式的成绩跳跃，会被怀疑在考试时邻近坐了个学霸。
而 GPT-4 不仅是学霸，仍是学神，它能够在短时刻内读完一整篇 InstructGPT 的论文，并总结出摘要。它还能够快速阅览税务法则，来计算夫妻一年要缴纳多少税，而且写出计算进程。对此，Greg Brockman 大为赞赏，由于这些税务文件，他自己读了半个小时也没搞懂，但是 GPT-4 能够快速给出答案。
在 GPT-4 发布的公告中，OpenAI 说明晰这个模型练习完结于 2022 年 8 月，现已承受了 6 个月左右的安全培训，在内部对立真实性的评价中，GPT-4 的得分比 ChatGPT 高出许多。这也意味着，GPT-4 的商业化进程，又在前面的根底上前进了一大步。
接下来，或许就是本钱和需求实现完善度的衡量了，究竟，ChatGPT 一条问答的初始本钱就需要几毛钱，练习一次的代价就是几百万美金，而 GPT-4 的模型版本更大，数据更多，运转起来的本钱也会越发昂扬。
微软 Bing 查找现已集成 GPT-4
微软对 OpenAI 的投资总计高达一百多亿美金，约合 900 亿元。在 GPT-4 发布的几周前，微软现已在新版必应查找用上了 GPT-4，微软 CEO 纳德拉表示：它们的查找现已优于谷歌了！
所以，如果你并非开发者或者付费用户，但实在想尝鲜，微软的新版 Bing 或许是一个很好的挑选。
3. 智能化和商用化
回首 GPT 的开展进程，我们发现 GPT 一直是在围绕查找和创造两大方面来不断完善模型，OpenAI 的工程师也说过：GPT 旨在放大人类的或许，实现科技的价值。
幻想一下，如果你的孩子读 5 年级，拥有一个无限耐性的 GPT 教学帮手一定是十分美好的工作。
这只是在教培范畴，跟着 GPT 的不断优化，它未来在商业化范畴也必定会遍地开花。比方护工职业，GPT-4 的视觉功能现已能够帮助盲人和低视力用户；互联网职业，GPT 可进行商业化的数据剖析、代码编程等；自媒体职业，GPT 能够主动生成用户喜爱的宣传和推广文案。
而同时，2023 年 3 月 16 日下午 15 点，百度被称作我国版 ChatGPT 的 ”文心一言“ 发布会完毕了，发布会分别向观众科普了 ”文心一言“ 的技能剖析，商业价值等元素。从推理布置、弹性服务化、主动混合并行推理等才能来看，文心一言在国内市场仍是挺大的，而且在技能层面比国内其它厂商也做得更好一些。
希望未来国内的生成式对话产品也飞速开展（尽管此前在 GPT-4 发布时，有百度的内部职工戏弄：文心一言的发布会或许变 “遗言”），但我个人觉得 OpenAI 的 GPT 不或许彻底占据国内市场，要么会合作多赢，要么就百家争鸣。
未来无限或许，我们拭目而待！
