主要观点总结
本文总结了红杉资本发布的关于生成式人工智能（AI）的年度报告的关键内容。报告探讨了AI的当前进展，特别是其在推理层的发展，以及对未来商业和社会的影响。文章还提及了多个新兴自主型应用的出现以及不同层级的投资机会，并探讨了AI对SaaS生态的可能影响。
关键观点总结
关键观点1: 报告概述
红杉资本的报告聚焦当前科技界最热门的生成式AI话题，总结了AI在过去一年的进展，并分析了其对未来商业格局和社会发展的影响。
关键观点2: 新的 scaling law 和模型质量突破
报告指出，通过“推理时计算”所取得的一般推理能力的重大进展代表着AI的一大进步。尤其是Strawberry（草莓）模型的发布，展示了真正的通用推理能力，这一成就是通过推理阶段的计算实现的。
关键观点3: AI 在不同领域的应用和发展趋势
报告强调了AI在各个领域的应用潜力，特别是在认知架构和用户界面改变方面的趋势。AI正在从快速生成预训练结果转向深度思考，打开了一系列全新自主型应用程序的大门。
关键观点4: 系统 1 与系统 2 的转变
报告讨论了AI研究正从预训练的“本能反应”（“系统 1”）到深度推理（“系统 2”）的飞跃。现在，AI需要的不只是记住知识，而是能在作出决策前停下来思考、评估信息、进行实时的推理。
关键观点5: 新的扩展法则和推理云的未来
报告揭示了推理层面的新扩展法则：投入更多的计算资源和数据不再是唯一的方式提高模型表现，赋予模型更多的推理时间也能提高模型的推理能力。这一变革可能带我们进入推理云的时代。
关键观点6: 对SaaS生态的影响
报告讨论了生成式AI对SaaS生态的潜在影响，包括自主型应用的出现、认知架构的挑战以及市场策略的转变。AI的崛起可能引发一场与SaaS类似的业务模式的全面变革。
关键观点7: 投资机会
报告分析了不同领域的投资机会，包括基础设施、模型、开发者工具和基础设施软件以及应用程序等。特别是在应用程序层面，可能会出现更多的创新公司和颠覆性技术。
正文
2、AlphaGo 与大规模语言模型（LLM）的结合
那么，模型在停下来思考时到底在做什么呢？
我们可以回到 2016 年 3 月，地点是首尔。在那里发生了深度学习历史上具有划时代意义的时刻：AlphaGo 对战围棋传奇李世石。这不仅仅是一场 AI 对人类的胜利，也是 AI 开始展示超越简单模式模仿、真正“思考”的开端。
与早期的游戏 AI 系统（如深蓝）不同，AlphaGo 在预训练时不仅模仿了人类专家的决策，它还会在作答前“停下来思考”。在推理阶段，AlphaGo 会模拟多个未来可能的棋局，评估它们的得分，然后选择最优的应对方式。它使用的时间越多，表现越好。如果没有推理时计算，AlphaGo 无法击败顶尖的人类棋手，但随着推理时间的增加，它的表现逐步提升，最终超过了人类。
将这一概念移植到 LLM 上的难点在于如何构建价值函数，也就是如何对模型的响应进行评分。如果是围棋，模型可以通过模拟对局直到结束来确定最佳策略。如果是编程，可以测试代码的正确性。但如果是评估一篇文章的初稿、制定旅行计划或总结文件的关键术语，该如何打分呢？这就是推理在目前技术中的难点，也是 Strawberry 在逻辑领域（如编程、数学、科学）表现强大，但在较为开放的领域（如写作）表现相对不足的原因。
虽然 Strawberry 的具体实现细节仍是保密的，但核心思想是围绕模型生成的“思维链”进行强化学习。对这些思维链的审查表明，模型正在发生一些类似人类思维的突破性变化。例如，o1 展现了遇到瓶颈时能够“回头反思”的能力，这是一种推理时间扩展的自然结果。它还能像人类一样通过可视化思考来解决几何问题，甚至能够以超越人类的方式解决编程难题。
此外，还有许多新的研究方向正在推动推理时计算的发展，例如计算奖励函数的新方法、缩小生成器与验证器之间差距的新途径。研究团队正在不断改进模型的推理能力。换句话说，深度强化学习再次成为焦点，并为全新的推理层奠定了基础。
3、系统 1 vs 系统 2
思维 AI 研究正进入一个全新的阶段，从预训练的“本能反应”（“系统 1”）到深度推理（“系统 2”）的飞跃，成为下一个突破点。如今，AI 需要的不仅仅是记住知识，而是能够在作出决策前停下来思考，评估信息，进行实时的推理。
预训练可以看作是“系统 1”的过程。无论是像 AlphaGo 那样，通过数百万盘围棋对局数据训练，还是像 LLM 那样，用海量互联网文本进行预训练，其核心都是模仿模式——无论是模仿人类的棋局还是语言模式。然而，模仿虽然强大，但并非真正的推理，它在应对复杂且未知的问题时表现有限，尤其是样本外的情境。
这就是“系统 2”思维的重要性所在，也是目前 AI 研究的重点。当模型“停下来思考”时，它并非简单地复述过去的经验或模式，而是生成一系列可能的方案，考虑不同结果，并基于逻辑推理作出决策。
对于许多简单任务来说，“系统 1”已经足够。例如，正如 Noam Brown 在我们最新一期《Training Data》中提到的，花更多时间思考不丹的首都是什么并不会有帮助——你要么知道答案，要么不知道。在这种情况下，快速的模式识别和记忆完全足够。
但是，当面对更复杂的问题时，比如数学和生物学上的重大突破，简单的本能反应已经不够。这样的进展需要深度思考、创造性地解决问题，最重要的是需要时间。同样，对于 AI 来说，处理这些高难度的、有意义的问题，必须超越快速的“样本内”响应，花时间去进行深度推理，这也是推动人类进步的关键。
