Transformer能否推理引争议，DeepMind连夜更新论文开源数据集：Transformer...

主要观点总结

这篇文章主要讨论了DeepMind新推出的基于Transformer模型的棋类AI，它无需搜索就能实现大师级的下棋水平，引发了广泛讨论。文章从多个角度分析了这一研究的背景、重要性、技术细节和未来影响。

关键观点总结

关键观点1: DeepMind使用Transformer模型实现了大师级的下棋水平，无需搜索，引发关注。

这项研究展示了Transformer模型在推理能力方面的潜力，引发了关于AI是否能模仿人类思维的讨论。

关键观点2: DeepMind的模型基于监督学习从大规模数据集中学习策略，无需借助任何搜索算法。

该模型的成功进一步验证了Transformer模型在泛化和学习推理规则方面的潜力。

关键观点3: 这项研究对AI行业的影响是多方面的，不仅为AI推理和学习的未来提供了新的方向，也为小模型的研究和应用带来了里程碑式的意义。

行业趋势表明，轻量化正逐渐成为市场主流，小模型的优势在于参数少、计算量小、推理速度快、成本低，适合更广泛的部署场景。

正文

请到「今天看啥」查看全文

换句话说，目前我们只能从实验数据上看到模型的表现，而要真正确认Transformer能不能像人类一样推理，还需要更多理论研究。

1

算法到模型的通用方法

DeepMind这篇论文在推特引发的激烈讨论，不仅限于技术本身。

有位网友在深入研究论文细节后认为，这项研究展示了一个重要突破，即将任意概率算法提炼成神经模型的通用方法。

他还乐观地表示“我们正处于整个计算机科学从图灵机的起源开始重写的边缘。”

Gary Macus对此持怀疑态度，他在与论文作者交流后指出，论文中的Transformer模型虽然在标准国际象棋上取得了成功，但在更复杂的棋盘变体（如Fischer随机象棋）上表现不佳，也无法推广到更大的棋盘（如8x12）。这说明了模型在泛化能力上的局限性。

他还指出，这类模型的优秀表现往往局限于国际象棋这类封闭的环境，在更开放、更复杂的环境中会面临严峻挑战。

也有人不赞同这种说法，认为Gary Macus低估了神经网络的繁华能力。虽然模型的适用性不够广，但这种方法却是可以推广的。像MCTS（蒙特卡洛树搜索）这样的算法也可以被蒸馏成模型，这可能也适用于语言处理。

推特上关于这篇论文的争论愈演愈烈。DeepMind也于10月21日在arxiv上更新了论文，并推出了名为ChessBench的大规模数据集。

ChessBench数据集包含了1000万个国际象棋局面及其走法与价值注释，共计超过150亿个数据点，这些数据全部由最先进的国际象棋引擎Stockfish 16提供。

研究团队还开源了ChessBench数据集、模型权重以及所有训练和评估代码，方便学术界进行下一步研究。

更新的第二版论文里，也提到了“蒸馏”这件事。

研究人员表示，尽管可以通过监督学习将Stockfish的搜索算法的近似版本蒸馏到Transformer中，但完美的蒸馏仍然遥不可及。

这也反映了深度学习领域的一个核心问题：即使模型在某些特定领域（如象棋、围棋）表现出了卓越的性能，但它们仍然依赖于大量计算资源和规则化的训练环境。

像AlphaZero就是依靠强化学习，通过与自己反复对弈，最终超越了传统棋类引擎，一旦应用到更复杂、更少规则约束的环境，也难免暴露出缺乏泛化能力的问题。

DeepMind的这篇论文就提供了一条可行的路。

论文在结尾强调Transformer不应该只是单纯的统计模式识别器，而应该被当作是一种近似通用算法的强大技术。再结合Transformer模型在实验中展示的强泛化能力，也许可以被视作AI模型泛化问题的一种解法。

2

请到「今天看啥」查看全文