OpenAI 发布大模型现实世界软件工程基准测试 SWE-Lancer

正文

请到「今天看啥」查看全文

该项目旨在推动对 AI 在软件工程领域经济影响的研究，特别是潜在的生产力提升和对劳动力市场的影响。通过将模型性能与货币价值联系起来，SWE-Lancer 展现了 AI 在软件工程中的实际影响，并凸显了持续优化 AI 技术的重要性。

在基准测试中表现最好的模型是 Claude 3.5 Sonnet，在独立编码任务中的成功率为 26.2%，这表明 AI 能力仍有很大的提升空间。许多模型在需要深度上下文理解或评估多个提案的任务方面表现不佳，这表明未来的模型可能需要更复杂的推理能力。

一些评论表示对 SWE-Lancer 的实际应用表示怀疑，认为可能只对特定群体有吸引力，另一些人则认为这是理解 AI 对软件工程社会经济影响的关键一步，与行业向 AI 驱动的生产力工具发展的整体趋势相契合，正如 Gartner 2027 所预测的软件工程智能平台的广泛采用。

用户 Alex Bon 表示：

终于有机会让 AI 证明它也能在零工经济中生存下来了！

独立黑客 Jason Leow 则表示：

我喜欢这个发展方向。用全栈问题进行测试，将其与市场价值联系起来，这正是日常开发工作所面临的东西。我一直觉得旧的基准测试有些不太对劲。

请到「今天看啥」查看全文