家人们，GPT-4的参数或许还真不止1万亿！
近来，美国知名骇客George Hotz在承受采访时泄漏，GPT-4由8个220B模型组成。
这么算来，8 x 220B = 1.76万亿。
就连PyTorch的创建者Soumith Chintala对此也深信不疑。
GPT-4：8 x 220B专家模型用不同的数据/任务分布和16-iter推理进行练习。
如果真是这样的话，GPT-4的练习或许愈加有用。
1.76万亿「八头蛇」？
在GPT-4还未放出之前，GPT-3有1750亿个参数，一众网友猜想GPT-4岂不是要逆天，最起码1万亿。
而George在承受Latent Space的采访时，对GPT4架构的描绘着实让人震动。
他的部分原话如下：
GPT-4每个head都有2200亿参数，是一个8路的混合模型。所以，混合模型是当你想不出方法的时候才会做的。OpenAI练习了相同模型8次，他们有一些小技巧。他们实际上进行了16次推断。
他特别强调，OpenAI做了8个混合专家模型，任何人能够花8倍资金都能练习出来。
也就是说，人们能够练习更小模型更长时间，微调后，就能找到这些技巧。
OpenAI从前发表类似关于让核算量不变的情况下，让练习更好的算法，比较像BatchNorm和NoBatchNorm。
一起看看George Hotz具体的介绍视频：
，时长01:33
网友热评
就像George所说，这是8个较小的模型，如果有满足资金练习8个混合模型，这是一个微乎其微的解决方案。
所以，GPT-4是GPT-3的10倍，而1月份的所有小圈圈大圈圈的meme实际上是……真的？！
网友得知诀窍后，计划自己也要练习一个LLaMA集合体与GPT-4竞争。
还有网友称，这有点像LLM-Blender。
我早就听到了略微可信的传言，说GPT-4将是MoE，但从未得到证明。MoE和大约1万亿个参数不会让我感到惊奇，这听起来极为合理。
还有网友进行深度分析：
老实说，我估计这将是人工智能架构的下一阶段。咱们现已看到特定任务模型在任务中的表现比一般模型好得多。
因而，将许多特定任务模型组合在一起将是下一个合乎逻辑的步骤。这几乎使升级体系变得容易得多，一次只能处理一个模型。
话虽如此，OpenAI以一种未来或许会，也或许不会的方法做到了这一点。明显，组合体系或许会有更多的小模型，而不是几个更大的模型。
如果这是真的，这是否意味着每个220B模型也有32K的上下文长度？
网友下了功夫，给它命名为「九头蛇」。
参考资料：
www.latent.space/p/geohot#de…
