Nature Methods | GPT-4领衔：大语言模型（LLMs）推动基因功能探索新高度

正文

请到「今天看啥」查看全文

为了确保结果的可靠性，研究采用了多层验证机制。首先，模型生成的分析报告经过人工科学家逐句验证，以筛查潜在的“幻觉”（hallucination）问题，即生成看似合理但无法验证的陈述。其次，研究开发了一种自动化引文系统，要求模型为关键结论附上参考文献，进一步增强输出的可信度。 通过这些方法，研究不仅全面展示了LLMs在基因功能分析中的能力，还探索了其在生成具有科学依据的新假设方面的潜力。

大语言模型（LLMs）在基因集功能分析中的方法流程、任务评估和模型性能比较 （Credit: Nature Methods ）

(a) 提示设计与功能生成流程

图中左侧的框架说明了研究所用的 LLM 提示（prompt）设计，强调提示内容对生成结果的重要性。提示包括系统内容、详细的推理链条指令，以及一个示例基因集查询。研究通过在提示的“用户输入字段”中插入具体的基因列表，让模型生成三个核心输出：

功能名称：对基因集功能的简洁描述；

支持性分析：模型生成的功能注释的详细解析；

自信度评分（confidence score）：模型对自身输出的信心评估。

右侧的流程图清晰展示了这一数据处理和分析生成的过程。

(b) LLMs 与 Gene Ontology (GO) 命名的对比

展示了任务 1 的评估结果。研究比较了五种 LLM（GPT-4、GPT-3.5、Gemini Pro、Mixtral Instruct 和 Llama2 70b）生成的基因功能名称与 GO 数据库中人工注释名称的匹配程度。 GPT-4 的表现最为突出，显示其在 功能恢复任务中优于其他模型。

(c) 组学数据基因集功能的探索

任务 2 的结果展示了 GPT-4 在处理真实组学数据中的表现： 模型根据不同来源（如药物处理、病毒感染、癌症蛋白互作）的基因集生成功能描述。 GPT-4 在功能分析的创新性和准确性评分上表现优异。

基因功能的复现能力

在复现 GO 基因功能任务中，GPT-4 展现了显著优势。其生成的功能描述在 73% 的情况下与 GO 标准命名高度相似，并在 60% 的情况下达到语义相似性得分的 95 百分位以上。这表明 GPT-4 不仅能够有效学习已有数据，还可以生成高度贴合的功能描述。例如，对于 GO 术语“DNA 损伤反应和修复”，GPT-4 的输出“DNA 损伤反应和修复”得到了 0.54 的高语义相似性评分，超过了 99% 的 GO 数据库其他条目。

GPT-4的功能描述更具特异性

在任务二的基因簇分析中，GPT-4生成的功能描述比传统工具更具特异性。例如，在一个涉及癌症蛋白互作的基因簇中，GPT-4提出了“Cullin-RING泛素连接酶（CRL）复合物的调控”作为功能描述。这一描述覆盖了16个基因簇成员中的多数，并结合文献支持了其对蛋白质降解和细胞稳态的作用。相比之下，传统工具虽然能够生成更通用的描述，但缺乏对基因簇中特定基因的细化解释。

LLMs能够有效评估功能描述的可信度

GPT-4引入了自信度评分机制，能够通过分析基因间的功能一致性评估命名的可靠性。在面对“随机基因集”或“掺杂基因集”时，GPT-4在87%的情况下拒绝生成功能描述，表明其在区分无关基因方面具有显著优势。这种保守的策略使得GPT-4的输出更加可信。

请到「今天看啥」查看全文