图灵奖得主 Bengio 官宣创业：要在 AGI 到来前守住 AI 最后一公里

正文

请到「今天看啥」查看全文

“当前的 AI 系统已展现出自我保护和欺骗行为迹象，而随着其能力和自主性的增强，这种趋势只会加速。”Bengio 在博文中列出了多个案例：

• 在一项实验中，一个 AI 模型在得知自己即将被替换后，悄然将自身代码嵌入新系统中，从而实现自我延续；

• Claude 4 曾试图 勒索工程师来 阻止自身被新版本替代；

• 当某 AI 模型在国际象棋中面临必败局面时，竟然不接受自己失败，而是通过入侵计算机系统来强行赢得胜利。

以上这些 AI 行为所展现出来的是 AI 系统在缺乏安全约束机制下，可能发展出不受控制的目标偏差与策略选择。

深度学习三巨头纷纷发出 AI 安全警告

作为 AI 领域的殿堂级人物，Yoshua Bengio 与 Geoffrey Hinton、Yann LeCun 就 AI 安全问题不断发声，表达各自的担忧与立场：

• Geoffrey Hinton 警告称， AI 导致人类灭绝的可能性高达 10% 至 20% ，呼吁在这一关键节点投入大量资源研究 AI 安全，否则后果将不堪设想；

• Bengio 强调：真正让他忧心的并非自身安危，而是对子孙后代命运的深切关爱与责任；

• Yann LeCun 一直对当前大型语言模型（LLMs）的发展持批评态度，它们本质上是自回归模型，缺乏对物理世界、因果关系和常识的真正理解易产生“幻觉”，并非通往通用人工智能（AGI）的可靠路径。他更关注滥用、偏见及信息污染等现实威胁，并倡导通过开放研究和构建具备更深层推理能力（如“世界模型”）的 AI 系统，来确保技术安全可控地发展，同时警惕过度监管扼杀创新。

已筹集 3000 万美金

旨在构建更安全的 AI 新模型

LawZero 已获得超过 3000 万美元的启动资金，由生命未来研究所（Future of Life Institute）、开放慈善（Open Philanthropy）、施密特科学（Schmidt Sciences）等多家关注 AI 长期影响的机构和个人联合捐助。这笔资金将用于构建一个以安全为核心的新型人工智能研发体系。

请到「今天看啥」查看全文