OpenAI放了一个重磅大招，AI医疗已经提上日程。

主要观点总结

OpenAI发布了一个全新的开源健康基准HealthBench，用于评估大模型在真实医疗场景中的表现。该基准由医生共同开发，涵盖多轮医疗对话，支持多语言，并提供了详细的评分标准，全面考察模型在准确性、沟通质量、上下文感知等多个维度的能力。文章还讨论了HealthBench对未来AI医疗技术的影响以及OpenAI在医疗方向的相关举措。

关键观点总结

关键观点1: OpenAI发布HealthBench基准

HealthBench由262名医生共同开发，涵盖5000个多轮医疗对话，涉及60个国家、26个专业，支持多语言。医生自定义的评分标准全面考察模型在多个维度的能力。

关键观点2: HealthBench的影响及OpenAI的举措

HealthBench对AI医疗技术有重大影响，OpenAI已组建健康和医疗团队，并将其作为未来的重点方向。作者认为这是OpenAI在医疗方向的一个重要举措，且HealthBench是开源的。

关键观点3: Evals的重要性及结构

评估（Evals）在AI的下半场比训练更重要。明确要解决什么问题以及如何评估问题的解决效果变得至关重要。文章提供了一个具体的Evals示例，包括用户问题、AI回复以及针对回复的评分标准和等级。

关键观点4: 不同模型在HealthBench上的表现

OpenAI使用HealthBench基准测试了市面上主要模型在医疗方面的表现。其中o3表现最好，得分为60%，其次是Grok 3和Gemini 2.5 Pro。Claude 3.7的表现稍差一些。

关键观点5: HealthBench的意义及未来展望

HealthBench为医疗领域的垂直AI代理提供了关键的评估标准。过去大多数基准关注通用LLM的表现，而HealthBench更注重准确性和实际场景的相关性。作者认为这推动了行业建立专业AI评估标准的开端。

正文

请到「今天看啥」查看全文

第二，HealthBench 的核心其实是 Evals，从中，我们能看到 OpenAI 是怎么写 Evals 的。

OpenAI 的研究院和 CPO 最近都提到，AI 的下半场，将从 “解决问题” 转向 “定义问题”。在这个新阶段，评估（Evals）比训练更重要。明确要解决什么问题，以及如何评估问题的解决效果，会变得至关重要。

论文地址： https://cdn.openai.com/pdf/bd7a39d5-9e9f-47b3-903c-8b847ca650c7/healthbench_paper.pdf

请到「今天看啥」查看全文