有剖析公司算出来，才三个月英伟达就卖出了 800 多吨 H100。但是市值已超万亿的英伟达，竟是一个「无方案、无报告、无层级」的公司。
仅在本年第二季度，英伟达就现已卖出了 816 吨 H100！
假如这个速度不变，它有望在本年卖出 3,266 吨 H100。并且，在接下来的每年里，英伟达都会卖出 120 万张 H100。
现在，云服务供应商的大规模 H100 集群容量行将耗尽，全球堕入 GPU 短缺，硅谷大佬们都急了——整体算来，全球公司需求约 432000 张 H100。
最近一起大火的，还有黄仁勋办理英伟达的办法。
「没有方案、没有报告、没有层级」，如此随性，如此佛系，甚至能够说，如此张狂。
便是这种办理办法，让英伟达市值超越 1 万亿，在半导体公司中一时风头无两。
半导体巨人
英伟达声称，在 2024 财年第二季度，他们售出了价值 103 亿美元的数据中心硬件。
价值 103 亿美元是什么概念？
今日，商场研究公司 Omdia 给出了让咱们更简单理解的单位——816 吨 H100！
依据 Omdia 估量，第二季度英伟达的 H100 GPU 出货量超越了 816 吨。
一个英伟达 H100 GPU，再加上散热器，均匀分量超越了 3 公斤，因而，第二季度的 H100 发货量，保存估量也有 30 万个。
Omdia 的估算精确吗？
要知道，H100 有三种不同的外形尺寸，分量也不尽相同。
H100 PCIe 显卡重达 1.2 千克，H100 SXM 模组的分量尚不清楚，而带散热片的 OAM 模组分量可达 2 千克，它与 H100 SXM 的尺寸和 TDP 大致相同。
假设 H100 出货量 80% 是模组，20% 是显卡，那么单个 H100 的均匀分量应为 1.84 千克左右。
所以，Omida 的估算能够认为大致精确。当然，实践分量或许少于 816 吨这个数字。
816 吨是多重？
为了便于理解这个分量，咱们能够拿以下这些东西来类比——
4.5 架波音 747
11 架航天飞机****
181,818 台 PlayStation 5
32,727 只金毛
假如英伟达在未来几个季度坚持相同的 GPU 销量，那么它有望在本年售出 3,266 吨 H100。
假如这个速度坚持不变，每年英伟达都会卖出 120 万个 H100。
并且，还不止这些。
还有 H800，以及上一代的 A100、A800、A30。
这样算的话，英伟达每季度实践出售的 GPU 数量远远高于 30 万个，分量总计远超越 816 吨。
即使如此，依然不能满足全球的 GPU 荒——依据工作内部消息，英伟达 H100 2023 年的产值，早已出售一空，现在交钱订货，至少要到 2024 年中才干拿到货。
现在，H100 早已一卡难求。
甚至还有外媒爆料：英伟达要在 2024 年，将 H100 的产值从本年的 50 万张左右直接提高到 150-200 万张。
显然，随着英伟达芯片在生成式 AI 的热潮中愈加紧俏，这个预测并不夸大。
黄仁勋「第一性原理」
与此一起，GPU 的销量暴涨，也让英伟达到为了世界算力霸主，成功进入万亿美元俱乐部。
这背面离不开领导人黄仁勋的「张狂式」的办理策略。
老黄表明，当你创立一家公司时，很自然地从第一性原理开始。
「就像咱们正在建造一台机器如何运作一样，什么是输入，什么是输出，处在什么条件下，工作标准又是什么…..」
用老黄的话来说，英伟达的任务是，处理世界那些几乎不或许的核算问题。假如一个问题能够由一般的电脑处理，英伟达就会不做。
为了完成这一任务，英伟达招引许多许多超卓的人才，聚集在一起。
一起还需求，老黄办理这些人才的尖端策略，具体包含：
直接办理 40 名部属，没有 1:1 会议
英伟达不需求「金字塔」式的办理，而是将权力下放给每一个人。
老黄信奉扁平化的安排最富有才能，以便信息能够快速传达。
其中，安排的第一层——公司高层，就必须要考虑愈加周全。他从不向任何人高管供给工作建议，由于办理团队中没有人来向他寻求工作建议。
「他们现已成功了，他们做得很好」。
另外，老黄从不进行 1 对 1 会议，一切工作都在小组讨论中进行。
「假如你有一个战略方向，为什么只告知一个人？应该让每个人都知道」。
每个人都能随时了解一切情况
在公司内部，从来都不会举行副总裁会议、总监会议。
老黄称，自己参加的会议里，有来自不同安排的人，刚刚结业的大学生，任何人都能够参加并发表意见。
不做状况报告，而是 email「前五件工作」
在英伟达，每个人都不需求做状况报告，由于老黄认为这像是「元资讯」，太过精炼，基本上没有有益的讯息。
相反，公司里的任何人都能够经过电子邮件向他发送自己的「前五件工作」。
你所学到的，你所观察到的，你行将要做的，无论是什么工作，他每天早上都会阅览 100 + 邮件，去了解大家的 TOP 5 things。
比方，你去了一家十分棒的餐厅、有了一个心爱的 baby…，这才是真实重要的信息。
没有正式的定期方案
关于，如何去做规划，让公司最底层的想法展现出来、让最好的工程师履行。
老黄表明，关于我来说，没有 5 年方案，也没有 1 年方案，会依据不断变化的事务和商场条件进行重新评估。
总结来说，英伟达优化安排结构的意图是：（1）招引优秀人才；（2）坚持尽或许小的团队规模；（3）使信息传达尽或许迅速
就连英伟达深度学习研究员 VP Bryan Catanzaro，直接现身证明，悉数为真。
那么，在这样的安排工作是一种什么样的体验？
Bryan 表明，在许多方面，这是一个十分安稳的环境。许多资深员工现已在英伟达工作了几十年。这种风格并不适合每一个人，但对许多人来说却很有用。这是一个充满活力的环境。
与马斯克不同的是，老黄很少对外叙述自己办理公司的办法。
本年在台大的讲演中，老黄曾叙述了界说了今日英伟达样貌的 3 个故事。这当中，离不开他的决议计划和判别，现已思考。
最初，英伟达与 SEGA 签约，为其打造游戏机。经过一年的开发进程，却发现运用的技能架构是错误的。
但是，黄仁勋发现即使纠正过来，也无济于事，由于这一产品发明与微软的 Widows 体系并不兼容。
所以，他联络了 SEGA 履行长，解说英伟达无法完成这个任务，并还得到了 SEGA 的帮助，所幸没有破产。
第二件事，便是 2007 年英伟达宣告的 CUDA GPU 加速核算技能。
为了向全世界推广 CUDA 技能，还专门创办了 GTC 的会议。经过多年努力，英伟达这项技能成为 AI 革命重要的推动引擎。
第三件事，做出放弃手机商场的艰难决议，将重心放在显卡上。
正如老黄所说，「战略性的撤退、牺牲、决议放弃什麽是成功的中心，十分关键的中心。」
一位 X 的工程师称，这一办理方式与马斯克 X 公司的操作十分类似。
还有网友戏称，老黄的这种办理方式，都能够在多模态智能体大模型体系中建模了。
假如老黄，能够像马斯克一样出一本列传，信任每个人都乐意去拜读一下。
看看，英伟达的 GPU 如何取得成功，成为大厂的铲。
全球 GPU 缺口超 40 万张
H100 的短缺，早就让硅谷大佬们都慌了！
Sam Altman 就曾自曝，GPU 现已告急，希望用 ChatGPT 的用户能少一点。
「GPU 十分短缺，运用咱们产品的人越少越好」
Altman 表明，受 GPU 约束，OpenAI 现已推迟了多项短期方案（微调、专用容量、32k 上下文窗口、多模态）。
OpenAI 联合创始人兼职科学家 Andrej Karpathy 也泄漏过，现在谁家得到了多少块 H100，都是硅谷的尖端八卦。
这张在社区广为流传的图曾做出如下估算——
-GPT-4 或许在大约 10000-25000 张 A100 上进行了练习
-Meta 大约 21000 A100
-Tesla 大约 7000 A100
-Stability AI 大约 5000 A100
-Falcon-40B 在 384 个 A100 上进行了练习
– Inflection 运用了 3500 和 H100，来练习与 GPT-3.5 才能相当的模型
现在不光是科技公司排着队购买 H100，连沙特阿拉伯和阿联酋都出手了，一下就买了几千个 H100 GPU。
马斯克直言，现在想买到 H100 现已难如登天。
依据马斯克的说法，GPT-5 或许需求 30000-50000 个 H100。此前，摩根士丹利曾表明 GPT-5 运用 25000 个 GPU，自 2 月以来现已开始练习，不过 Sam Altman 之后澄清了 GPT-5 没有进行训。
而一篇名为「Nvidia H100 GPU：供需」文章曾推测，小型和大型云供给商的大规模 H100 集群容量行将耗尽，H100 的需求趋势至少会持续到 2024 年末。
微软的年报中也向投资者强调，GPU 是其云事务快速增长的「关键原材料」。假如无法取得所需的基础设施，或许会出现数据中心中断的风险因素。
据推测，OpenAI 或许需求 50000 个 H100，而 Inflection 需求 22,000 个，Meta 或许需求 25k，而大型云服务商或许需求 30k（比方 Azure、Google Cloud、AWS、Oracle）。
Lambda 和 CoreWeave 以及其他私有云或许总共需求 100k。Anthropic、Helsing、Mistral 和 Character 或许各需求 10k。
整体算来，全球公司需求约 432000 张 H100。按每个 H100 约 35k 美元来核算，GPU 总需求耗资 150 亿美元。
这其中，还不包含国内大量需求 H800 的互联网公司。
并且，H100 不光不愁卖，利润率还高得吓人。
业界专家曾称，英伟达 H100 的利润率接近 1000%。
参考资料：
twitter.com/danhockenma…
www.tomshardware.com/news/nvidia…
