正文
我非常喜欢的另一个例子是 Anthropic 最近在研究的一个可解释性 AI Agent。它的主要功能是寻找大语言模型中的神经回路。这真的非常酷，原因之一在于我们并没有专门训练它来做这件事情。我们训练它的目的是让它成为一个编码 AI Agent。但它能够将编码能力与它对心智理论等概念的理解相结合，从而能够与它试图理解的模型进行对话，推理分析其内部机制，并利用诸如可视化神经元和神经回路等工具。它甚至能够成功完成一个名为 “审计游戏” 的有趣的对齐安全 EVal。在这个游戏中，模型会以某种方式被修改，而 AI Agent 需要找出模型的问题所在。它能够做到这一点：与模型对话，生成关于模型潜在问题的假设，并运用所有这些工具。我认为这极好地展示了这些模型在配备工具、拥有记忆等能力后所能達到的泛化能力。
关于
AI Agent
的可靠性进展
，我非常喜欢 Meter EVal。我确实认为，衡量模型在特定时间跨度内的成功率，是评估 AI Agent 能力扩展的正确方法。而且，我认为我们正在取得长足的进步。当然，在可靠性方面，我们还没有达到百分之百。这些模型并非总能成功。当模型被要求执行一次任务时的表现，与被要求尝试 256 次时的表现之间，仍然存在显著差距。有许多 EVal，在多次尝试的情况下可以完全解决，但在第一次尝试时并不能保证成功。尽管如此，我看到的每一条趋势线都表明，我们正朝着在我们训练的大多数任务上实现专家级的超人可靠性的目标稳步前进。
关于改变看法的条件，我想，如果我们偏离了当前的进展趋势。比如说，到明年年中，你开始观察到这些模型在能够行动的时间跨度上遇到了某种瓶颈。我认为应该密切关注这一点，编码能力通常是 AI 领域的领先指标。所以，你会首先在编码任务上看到这种能力的衰退。但这或许反映了算法本身固有的局限性，而我坚信这种局限性并不存在。但也存在其他类型的局限，例如任务分布可能比预想的更为复杂；或者因为某些领域可用的数据较少，导致模型学习过程异常艰难。举个例子，对于那些操作计算机的 AI Agent，它们所需要的那类数据本身就不是天然存在的。但与此同时，我们在这些方面也取得了令人难以置信的进展，所以在我看来，我们目前所处的情况并非如此。
关于通用
AI Agent
的时间表
，
我常开玩笑说，希望能达到 “个人行政事务逃逸速度”，意思是能把一项任务一直拖延到 AI 可以代劳的程度。完全正确。这取决于具体情况。我仍然认为，这在很大程度上取决于公司是否专注于让模型进行充分的练习。就好比你从街上随便找一个人，说： “你具备通用智能，现在请你帮我处理会计事务，并且不能出任何差错。” 你找来的这个人很可能会犯些错误，对吧？但是，如果他们做过类似的工作，或者是一位出色的数学家，或者是一名律师等等，也就是说，如果他们有可以从中归纳和迁移的经验，那么他们完成任务的成功率就会高得多。
所以，这在很大程度上取决于具体的任务。到明年年底，我认为我们应该能看到非常明显的进展，AI Agent 的这种能力几乎是可以保证的。甚至到今年年底，趋势就应该相当清晰了。到明年年底，这些 AI Agent 就能够在你的浏览器中为你处理许多事务了。
03
编码能力的战略意义与AI加速科研
主持人提问：
Anthropic 的模型在编码方面非常出色，这背后的原因是什么？是公司内部的优先策略吗？编码能力的发展以及这些 AI Agent，如今是否正在加速 AI 研究的进程？我们如何规划发展蓝图，让这些 AI Agent 未来能够自主提出有价值的研究方向呢？我们最终得到的会是那种编码能力超强，但在一些更抽象、更模糊的领域却毫无进展的模型吗？
Sholto Douglas 实录：
Anthropic 确实非常注重优先发展我们认为重要的领域，而我们坚信编码至关重要。因为编码是加速 AI 研究本身的第一步。因此，我们高度关注编码，并致力于衡量在编码方面的进展。我们认为它是衡量模型能力最重要的领先指标。这是一个战略重点。
关于 AI 加速 AI 研究，它们极大地加速了我的工作，基本如此。它们显著加快了工程进度。我认为，即便是询问那些顶尖的工程师，他们被加速了多少，也是一个很有意思的问题。我的许多朋友，那些我视为合作过能力最强的人，他们表示即使在自己非常熟悉的领域，AI Agent 也能带来大约 1.5 倍的效率提升；而在他们不太熟悉的领域，效率提升能达到 5 倍左右。所以，如果涉及到新的编程范式、新的编程语言，或者是你有一段时间没有接触过的技术，AI Agent 会是一个非常强大的加速器。现在，在讨论 AI 能在多大程度上加速 AI 进展时，一个需要考虑的关键因素是，你认为我们目前是受限于算力，还是不受限于算力。以及，你是否认为，如果部署了能够辅助研究的 AI Agent，所获得的收益就能与新增的研究人员数量成正比？
关于 AI Agent 提出研究方向，目前来看，大部分工作仍然是工程性质的工作。它们何时能提出新颖的想法？老实说，我不确定。或许在未来两年内。我认为人们已经开始看到一些由 AI 提出的有趣的科学提案之类的东西了。此外，在当前这些模型的算法框架下，需要考虑的一个重要因素是：只要为模型提供针对特定任务的反馈循环，它们就能在该任务上成为真正的专家。所以，关键在于要让模型有机会进行练习，就像人类学习一样。
有一点很重要，那就是机器学习 研究实际上是具有极高可验证性的。比如说，模型的损失是否降低了？对吧？所以，如果你能让 AI Agent 达到可以为机器学习研究提出有意义的提案的程度，你就拥有了世界上最好的强化学习 (RL) 任务。在某些方面，我甚至认为其可验证性比一般软件工程更高。那么，在可验证性较低的领域我们能取得进展吗？我对此非常有信心。OpenAI 最近发表的一篇关于医学问题的论文就是一个有趣的例证。你注意到他们是如何进行评估和打分的吗？他们推出了新的医学 EVal。就是那些新的 EVal。他们采用了分级反馈机制。也就是说，他们设计了许多类似于考试中长篇问答题的问题，并根据答案的质量给出评分。这种方法将一个原本不像编程或数学那样具有内在可验证性的领域，转化成了一个更易于验证的领域。我认为这个问题很有可能得到解决，甚至可以说基本上已经解决了，并且几乎肯定最终会得到解决。
04
未来趋势是单一、原始的大语言模型，通过个性化定制满足特定需求，而非行业专属模型
主持人提问：
我们何时能拥有一个在医学或法律等领域表现优异的模型？这类能力会成为更广泛模型的一部分，还是会出现例如法律专用或医学专用的模型？您对模型持续进步非常有信心，这种进步将如何渗透到社会中？未来几年内，这些模型会对全球 GDP 产生怎样的影响？您认为对于每一种白领职业，我们都能建立某种奖励模型，就像在医疗健康评估 (EVals) 中所做的那样吗？
Sholto Douglas 实录：
在接下来的一年内。在这方面，我算是一个大语言模型的坚定支持者。大多数研究人员确实如此，完全正确。我确实认为，在很多重要方面，模型的个性化都至关重要，对吧？比如，你希望模型能理解你的公司、你关心的事务，甚至理解你本人。因此，针对特定需求调整模型确实非常重要。但我认为这并非指行业专属模型，而更多的是针对公司或个人的定制化。
大家知道，Anthropic 与 Databricks 就有合作，进行公司层面的定制化开发。但在基础能力层面，我坚信未来是单一、原始的大语言模型的天下。我这么认为有几个原因：首先，这是我们迄今为止观察到的趋势；其次，从长远来看，小型模型和大型模型之间的区别没有理由继续存在。我们应该能够根据给定任务的难度，自适应地调用适量的工作资源，或者说适量的 flops。因此，我认为这意味着未来的趋势会向大语言模型倾斜。
关于对GDP的影响，我想，最初的影响将是巨大的。这场变革的速度会快得多，您将会亲眼见证。不过，这里有几点重要的区别需要阐明。其一，我认为我们现在几乎可以保证，到 2027 年、2028 年，或者最迟到这个十年末，我们将拥有能够有效自动化任何白领工作的模型。
话虽如此，这是因为那些任务非常容易受到我们当前算法状态的影响。比如，你可以在计算机上进行多次尝试，并且有海量的数据可供使用。互联网确实存在，但同样的数据资源对于机器人技术或生物学来说却并不存在。因此，一个模型若要成为超人级别的程序员，只需要我们已经能够提供给模型的那些便利条件即可。并且你需要采用这些现有算法并将它们规模化。一个模型若要成为超人级别的生物学研究员，则需要自动化的实验室，使其能够以高度并行化的方式提出并运行实验。或者，要让它在现实世界中变得和我们一样能干，就需要它能通过机器人技术在环境中行动。
因此，你需要海量的机器人，模型才能真正收集数据并在特定限制条件下完成这些任务。所以，我认为我们可能会看到的一种不匹配——实际上我也担心我们会看到——就是对白领工作的巨大冲击。无论这看起来仅仅是显著的能力增强 (其具体影响有待观察) ，你都会看到那个世界发生巨大变化。我们需要加速推进那些能极大改善我们生活的重大转型。因此，为了推动医学进步，为了在现实世界中实现富足，我们需要真正解决云实验室、机器人技术这类问题。是的，完全正确。所以 AI 的进展非常迅速。但我们需要确保与现实世界建立有效的反馈循环，以便在切实改变世界 GDP 这类事情上取得实质性成果。
关于建立奖励模型，完全正确。而且，我认为我们已确凿无疑地证明，模型可以学会很多东西。到目前为止，在我们能够教会模型的任务上，我们还没有触及到智力的天花板。不过，它们在样本效率上确实比人类低一些。但这也没关系。因为我们可以并行运行数千个模型的副本，它们可以与任务的不同变体进行交互，它们可以积累相当于人类几辈子的经验。所以，它们的样本效率即便低一些也是可以接受的。因为即便如此，你仍然能在该任务上获得专家级人类的可靠性与性能表现。
05
当前“预训练+强化学习”范式足以实现AGI，能源与算力是未来瓶颈
主持人提问：
您似乎认为当前“预训练+强化学习”的范式几乎能引领我们达成最终目标，这与一些认为需要其他算法突破的观点有何不同？这方面的限制因素会是能源和算力吗？我们何时会开始真正面临这些瓶颈的压力？在当前这波模型改进浪潮中，哪些指标值得关注？哪些方面最值得努力去优化和提升？作为一家基础模型公司，拥有好的评估体系在你们必须克服的问题中处于怎样的优先位置？让模型应用开发者分享评估方法是否重要？
Sholto Douglas 实录：
这很有道理。我认为目前该领域的大多数人相信，我们迄今探索过的，诸如“预训练加上强化学习 ” 这类范式，其本身就足以实现 AGI。我们尚未看到相关趋势线出现放缓或停滞的迹象。这种组合方法是有效的。
是否存在其他能让我们更快到达目标的路径？完全有可能。我的意思是，Ilya 此前可能已开创了这两种范式中的一种或全部。那我有什么资格去质疑他呢？我看到的每一项证据都表明我们现有的方法是足够的。也许 Ilya 朝那个方向努力，是因为他有此意愿，或者他目前没有那么多可用资本，又或者他认为那是一条更好的路径。这些都是完全有可能的。我不会与 Ilya 对赌。但我确实认为，我们当前拥有的技术和方法足以让我们最终实现目标。
关于能源与算力瓶颈
，
