正文
对于需要编辑大型文件的 API 开发者来说,GPT-4.1 在跨多种格式的代码差异分析方面更加准确。在Aider 的多语言差异基准测试中,GPT-4.1 的得分是 GPT-4o 的两倍多,甚至比 GPT-4.5 还高出 8%。OpenAI专门训练了 GPT-4.1遵循差异格式的能力,开发人员无需重写整个文件,从而节省成本和延迟。
GPT-4.1 在前端代码方面也比 GPT-4o 有了显著提升,能够创建功能更强大、更美观的 Web 应用。在我们的面对面对比中,付费人工评分员 80% 的评分结果显示,GPT-4.1 的网站比 GPT-4o 的网站更受欢迎。
除了上述基准测试之外,GPT-4.1 在遵循格式方面表现更佳,准确性更高,并且减少了无关编辑的频率。在OpenAI的内部评估中,代码中的无关编辑从 GPT-4o 的 9% 下降到了 GPT-4.1 的 2%。
OpenAI开发了一个内部教学跟踪评估系统,将每个类别分为简单、中等和困难提示。GPT-4.1 在困难提示方面的表现尤其优于 GPT-4o。
GPT-4.1 能够更好地从过往对话中识别信息,从而实现更自然的对话。在 MultiChallenge 的基准测试中,GPT-4.1 的表现比GPT-4o 提高 10.5%。
GPT-4.1 在 IFEval 上的得分也为 87.4%,而 GPT-4o 的得分为 81.0%。IFEval 使用带有可验证指令的提示(例如,指定内容长度或避免使用某些术语或格式)。
智谱的 GLM-Z1-32B-0414 在IFEVAL上也表现优异,以84.5%的分数和GPT o1-mini分庭抗礼。
GPT-4.1、GPT-4.1 mini 和 GPT-4.1 nano 最多可以处理 100 万个上下文tokens,而之前的 GPT-4o 型号最多可以处理 128,000 个。100 万个tokens相当于整个 React 代码库的 8 个以上副本,因此长上下文非常适合处理大型代码库或大量长文档。
GPT-4.1 能够准确地处理长达 100 万个上下文中的信息。此外,它能比 GPT-4o 更准确地识别相关文本,并忽略长短上下文中的干扰项。长上下文理解是法律、编码、客户支持以及许多其他领域应用的关键能力。
下图是 GPT-4.1 检索位于上下文窗口内各个位置的隐藏信息(“针”)的能力。GPT-4.1 能够始终如一地准确检索所有位置和所有上下文长度的针,最大检索tokens数可达 100 万个。无论这些tokens在输入中的位置如何,它都能有效地提取与当前任务相关的细节。