正文
所以我认为这里其实有两个概念。我并不想把它说得太绝对，因为谁也无法给出一个精准的数字。但有些基本观点是我非常确信的。
首先，我坚信加速计算才是未来。如果你在建设数据中心，却没有采用加速计算系统来填充它，那么你的构建方式就错了。而我们与 Cisco、Dell、HPE 等各种企业 IT 设备厂商的合作，目的正是要实现加速计算。这是第一个要点。
第二点是「AI 工厂」的概念。像通用汽车（GM）会建立 AI 工厂，特斯拉已经在做 AI 工厂，就像他们拥有汽车工厂一样，他们还需要 AI 工厂来支持这些汽车的智能化。今后，凡是有工厂的公司都会配备 AI 工厂；凡是有仓库的公司，也会有 AI 工厂；凡是有实体店的公司，也会有为运营这些店而设立的 AI 工厂。比如电子零售 (e-tail) 商店，亚马逊的电子零售就有一套 AI 系统在运转，沃尔玛的数字商店也一样。而在未来，实体店也会搭载 AI 系统，甚至在里面运行的机器人系统也都将由 AI 驱动。
所以，世界上这些部分目前还没有被量化。还没有分析师意识到这一点。不过用不了多久，这就会成为常识。我坚定地认为，在全球约 120 万亿美元的行业中，有很大一部分——规模达数万亿美元——都会与 AI 工厂相关。就像当今世界存在“能源制造”这样一个庞大的产业，未来也会存在“智能制造”这样一个庞大的产业，而我们所打造的正是这类工厂。
而且目前还没有人对这部分做出正确的量化评估，但这其实是我们业务中最大的一层。同时，在这个过程中，我们也会彻底改变数据中心的构建方式，我相信未来所有的数据中心都会走向 100% 的加速计算平台——在这个十年结束之前，这一点我坚信不疑。
【Q】昨天你们传递的一个关键信息是，推理（inference）的规模效应正越来越明显，主要原因在于强化推理的测试时（test-time）扩展。我的问题是，NVIDIA 在推动推理的“帕累托前沿”（Pareto frontier）这一工作，将如何影响你们对推理市场规模以及自身竞争定位的看法？另外，能否简要谈一下 Dynamo？我们在评估这套优化软件带来的生产力提升时，是否有办法将其效果单独量化或隔离出来加以考虑？
我先从后往前说。正如你所知道的，人们常说 NVIDIA 之所以能够拥有如此强大的地位，是因为我们的软件栈非常强大，其中包括训练部分的软件，而且它并不只是一项功能，因为训练本身是一个分布式难题。我们的整个计算栈——无论是在 GPU 上、CPU 上、两者结合的环境中、交换机上，或是其他各个部分——都需要运行这套软件。因此，你必须要弄清楚要使用哪种框架、哪些库、哪些系统来把它们整合到一起。由于全球并没有任何一家公司能够从头到尾、从整体上把所有用于训练的软件都开发完备，我们只能将它拆分成许多部分，然后再把这些部分整合到众多系统里。这也正是我们能力如此受人尊敬的原因：你几乎在任何一个角落，都能看到 NVIDIA 的软件组件。确实如此。
现在说到推理，它涉及到的软件规模扩张是前所未有的。推理本身极其复杂，原因正如我昨天想要解释的：给你们一些背景和细节，这是个极端、全球最极端的计算难题，因为每一个细节都至关重要，它其实是一个高性能计算（超级计算）难题，而在其中，一切因素都非常重要。这样的情况相当罕见。
超级计算机和超级计算应用通常是给少数人用的，不会有数百万人同时用，而在这种大规模推理场景里，每个人都关注结果、并且结果非常重要。所以我们必须开发大量的软件来支撑这一切，我们把它们统一称为 Dynamo。Dynamo 下包含了许多技术模块。它的核心益处在于，如果没有它，就好比没有 NVIDIA 整个训练软件栈一样，你根本没法在大规模环境中运行推理。
Dynamo 的第一个优势是，它让企业能够实现大规模推理。有一家非常创新的 AI 公司，名叫 Perplexity，他们在使用 Dynamo 以及与我们合作的过程中看到了巨大的价值，因为他们需要为非常庞大的用户群提供 AI 服务。所以，这就是 Dynamo 的背景。
要准确量化它能带来多大的提升其实并不容易，可能会在 10 倍以内——也就是说，当你做得好和做得不好之间会有显著差距，但如果你没有 Dynamo，就根本无法完成这项工作。所以它的重要性不言而喻，但要给它一个具体的倍数并不简单。
谈到推理（inference），关键在于：‘推理’本身会生成远多于以前的 token。推理的机制，就像 AI 自己在和自己对话。你们明白我的意思吗？它实际上是在思考，相当于自言自语。
举个例子：过去，我们觉得每秒 20 个 token 足够支撑聊天机器人，是因为人类的阅读速度也差不多只能跟上这个水平。如果对话时人类只能每秒读这么多，推理速度再快也意义不大。但在‘思考’场景中，AI 的思考速度可以非常快。我们现在清楚，我们需要极高的推理性能，让 AI 能够一部分想给人听，大部分则留给自己‘内在思考’。这大概就是 AI 将来的工作方式：先进行内部思考、再进行‘外在思考’，然后生成最终答案。接着，或许还要进行人机交互，增加更多背景或解释等等。
但这种‘思考’过程不再是一锤子买卖（one-shot）。思考与不思考的区别，就像你给出一个不经思考的答复，和给出一个经过思考的答复，两者在 token 数量上相差至少 100 倍。要我定一个数字，其实并不现实，所以我只是随手画了一个上升的箭头，因为我知道没法用一个简单的数字去定义——你们也知道，人们往往喜欢一个更简洁的答案，但我偏偏总会想到事情复杂的一面。不过就我的判断而言，100 倍这个数字轻而易举就能达到，几乎可以说是最常见的情况。
接下来这个部分才是真正的“X 因素”。这是许多人没考虑到的。现在我们要生成大量的 token，而且还得以非常快的速度来生成。原因在于，谁也不会愿意一直等 AI 想完。毕竟它还是一个互联网服务，服务的响应速度会直接影响用户体验，就像搜索引擎一样。如果等待太久，而且足够明显地慢，人们就会放弃，不会再使用它。
所以，你需要在使用更大的模型（因为其推理能力更强）同时生成更多的 token，还要比以前快得多。那么，需要多少计算才能支持这一切？这也就是为什么 Blackwell 恰逢其时地出现。Grace Blackwell 配备了 NVLink72、FP4 算法、更好的量化机制，以及 Grace 的高速内存。该架构的每一个部分都让人觉得不可思议，仿佛大家在问：“你们是怎么想到这些设计？怎么把它们准备得如此完备？” 而如今，Grace Blackwell 的 NVLink72 正好赶上了这个时机。
我认为，Grace Blackwell 提供的 40 倍（相较于 Hopper）性能提升非常显著，但我依然觉得，这个提升依旧不够，还需要几个数量级的飞跃才行。不过这对我们来说是好事：我们希望在今后十年或者更长时间里，依然在不断推动和追赶这项技术。
【Q】关于你昨天展示的那张图，比较了 Hopper 与 Blackwell 的市场进展。图中显示：到 2024 年，Hopper 的出货量大概是 130 万张；你提到年初至今 Blackwell GPU 的出货量已经达到 360 万张。如果考虑到每个单元包含两个芯片，那么相当于 180 万颗 Blackwell 芯片。我要如何解读这张图呢？因为 180 万颗 Blackwell 芯片可能意味着价值 500 亿、600 亿、甚至 700 亿美元。需求看起来很旺盛，但这个数字也太大了。所以你能不能解释一下，这张图具体想告诉我们什么，该如何解读？以及在今年剩余时间里，我们应该从中得出怎样的结论？
是的，我非常感谢这一点。其实我一直在跟自己纠结要不要这么做，Stacy。而我想回答的问题是：大家都在说，R1 出来了，需要的计算量好像归零了，云服务提供商（CSP）们会缩减投入，还有谁要取消订单的传言，声音很多。但我非常清楚系统内部实际上发生了什么。在系统内部，需要的计算量已经爆炸式增长，大家都疯狂地想要更多算力，恨不得从别人手里抢过来。我也不知道如何在不直接给出预测数据的情况下说清楚这点，所以我就把大家问到的焦点——主要是那四家最大的云服务提供商（CSP）——拿出来对比了一下，那些正是所有人都会关注的资本支出（CapEx）重点。
所以我就把那四大 CSP 拿来做了一个年对年的比较。显然，这在一定程度上低估了真正的需求，但这样做只是想说明，那四大 CSP 在全力投入，已经订了大量的 Blackwell，而且他们的资本支出是相当稳固的。
这里面还有一些我没包含进去，但其实规模也相当大的部分。比如，那些并非公共云的互联网服务公司——像 X 和 Meta 等等，我都没算进去；另外也没包含企业、汽车公司以及 AI 工厂方面的需求；也没有国际市场的部分；还有大批需要 AI 算力的初创企业没算进去。像 Mistral、SSI、TMI 这些正在做 AI 的优秀公司，我都没算进去；机器人公司也都没包括。基本上，绝大多数都没包含进去。
我当然知道这一点，也因此会有一个问题——我自己在台上也在问自己：‘那你为什么还要发这个图？’ 但原因是关于 CSP（云服务提供商）投资的问题被问太多了，我就想，干脆让这些疑惑告一段落。我希望它起到了一定的作用。
我认为这些 CSP 都在全力投入、全力参与，其中有两个驱动力。一是它们需要从通用计算转向加速计算，在数据中心里继续用传统计算模式已经没人觉得合适了。所以大家都转向使用现代的机器学习方式来进行计算。二是还有很多只为单一用途而打造的 AI 工厂——但大多数人并没有很好地追踪或量化它们。我认为，未来这些专门的 AI 工厂会逐渐发展壮大，这也是我为什么称其为 AI 工厂。它们是专为特定 AI 任务而建设的工厂。对我来说，未来整个行业将会变成这样，规模甚至超过那 1 万亿美元的数据中心市场。
【Q】那个数字具体指什么？也就是说，在今年的前 11 周里，这四家客户的出货量加上订单量就是那 360 万张吗？
