如何理解美国AI大佬们在吵架的“AI放缓了” |【经纬低调研究】

正文

请到「今天看啥」查看全文

现在看来，这一趋势即将结束。再加上摩尔定律的物理限制，大模型的大规模扩展可以说要到头了。 而从我自己的经验（大量失败的研究）来看，效率是无法欺骗的。如果量化失败，那么稀疏化也会失败，其他效率机制也会失败。 如果这是真的，那么我们现在就已经接近最优了。

AI大神Andrej Karpathy（OpenAI创始成员、特斯拉前AI高级总监）也转发了这条推文

也就是说，Scaling本质上还是扩大算力，在之前AI增长很快的这几年里，“大力出奇迹”一直是那根点石成金的“魔法棒”，但如今再用老办法去做，可能不管用了。未来需要重新寻找，去“点”哪里的问题，也就是得重新思考，把巨量算力以什么方式、用在什么地方。

并且，“数据饥饿”问题也越来越凸显，它也在限制大模型的迭代速度。 在过去几年的飞速发展中，大模型一直在使用来自互联网、书籍和各种来源的公开文本等，进行预训练，而如今这类数据几乎已被“榨干”。

据The information报道，在OpenAI的下一代旗舰模型“Orion”中，虽然已经开始尝试在训练阶段引入AI生成数据，但同时又面临一个新问题，即Orion最终可能在某些方面与旧型号的大模型相似。

OpenAI研究员Noam Brown在上个月的TED-AI会议上表示，开发更先进的模型在经济上可能并不可行。特别是如今数据中心昂贵的建造成本，可能也难以支撑起继续指数型迭代，所需的庞大算力要求。 “我们真的要训练花费数千亿美元或数万亿美元的大模型吗？有时候，Scaling law的范式也会崩溃。”Noam Brown说。

2

A Ilya被忽视的后半句话：

现在的关键，是找到在什么地方去Scaling

Ilya Sutskever在接受路透采访时的前半句话是：“扩大预训练规模的结果已经达到稳定状态”（意思就是撞墙了）， 但他的后半句话是：“现在的关键，是找到在什么地方去Scaling。” （当然，llya也没有说未来到底去scaling什么因子）

最近，Anthropic的CEO Dario Amodei，与Lex Fridman进行了一次对谈，也聊到了Scaling law是否放缓的问题，比较好的解答了这个问题，当然他主要站在不认为Scaling law撞墙的那一派。下面我们节选了一些干货部分（如果你对这个访谈感兴趣，可以去看原视频： Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Huma nity | Lex Fridman Podcast https://www.youtube.com/watch?v=ugvHCXCOmm4）：

Lex Fridman： 今天我们处于 scaling law 的什么阶段？

Dario Amodei： 对我来说，真正的转折点是在2014年到2017年之间，那时我真正确信：通过扩大模型规模，我们就能完成各种复杂的认知任务。

其实 scaling law 在发展的每个阶段都会有各种各样不同的质疑。 刚开始我也觉得可能是我错了，比如 Chomsky 认为，尽管模型可以做到句法分析，但仍然无法理解语义，还有一种观点认为，句子可以是有意义的，但还是不能让段落连贯起来。

现在最新的质疑就包括，数据马上就要耗尽了，或者数据的质量不够高，或者模型不能进行推理等等。但面对这些质疑，我们每次都能找到解决的办法，或者持续做scaling就能解决问题。

请到「今天看啥」查看全文