正文
为了不使巨额投资“打水漂”，研究人员试图通过小规模试运行来最大限度地降低这种失败的几率。
但是，GPT-5的计划似乎从一开始就存在问题。2023年年中，OpenAI开始了一次训练运行，同时也是对Orion拟议的新设计的测试。但这个过程进展缓慢，这表明更大规模的训练可能需要非常长的时间，而这反过来又会使成本变得异常高昂。
OpenAI的研究人员决定进行一些技术调整来增强Orion，他们还发现，要让Orion变得更智能，就需要更多高质量、多样化的数据。模型的测试是一个持续的过程，大规模的训练运行可能需要几个月的时间，数万亿个token会被“投喂”给模型。
然而，公共互联网上的新闻文章、社交媒体帖子、科学论文等数据已不足以满足需求。DatologyAI首席执行官Ari Morcos说：
“这变得非常昂贵，而且很难找到更多同等高质量的数据。”
为解决这一问题，OpenAI选择从头开始创建数据。他们雇佣软件工程师和数学家等专业人士编写新代码或解决数学问题，以此作为训练数据。
公司还与理论物理学等领域的专家合作，解释他们将如何处理该领域最棘手的问题，但这个过程非常缓慢，GPT-4的训练使用了大约13万亿个token。即便有1000人每天写5000字，数月之内也只能产生10亿个token。
OpenAI也开始开发“合成数据”，利用AI生成的数据来训练Orion，并认为可以通过使用其另一个AI模型o1生成的数据来避免故障。
今年，随着谷歌推出了最受欢迎的新AI应用程序NotebookLM，OpenAI更慌了。
由于Orion停滞不前，公司开始开发其他项目和应用程序，包括精简版的GPT-4和可以制作AI生成视频的Sora。但知情人士表示，这导致了开发新产品的团队和 Orion研究人员之间需要争夺有限的计算资源。
另外，OpenAI也正在开发更先进的推理模型，认为通过让AI“思考”更长时间，可以解决训练中未遇到过的复杂问题。
然而，这些新策略也面临挑战。苹果公司的研究人员发现，包括OpenAI的o1在内的推理模型很可能只是在模仿训练数据，而非真正解决新问题。此外，o1生成多个答案的方法也大大增加了运营成本。
