正文
计算的耗损能多快增加?你作为一个神经网络,它的forward backward训练(前向传播和反向传播训练),使它不是GPU问题,而是传输问题。如果是一张变成两张传输还好,如果是100万张变成200万张,传输就会成为瓶颈。
●
还有一个,世界上有多少电?
——最后它计算的结果大概是2030年。
他的说法是说从GPT-2到4,从2019年到2023年,4年时间提升的level,和从GPT-4到AGI大概是一样的level。也就是从幼儿园到高中生,从高中生到天才,是类似提升。如果第一个提升(幼儿园到高中生)花了4年;第二个提升(高中生到天才)需要7年,就表示有diminishing return(边际效益递减)。
我们可以期待Scaling Law(规模定律)继续往下走,但它不会像以前那么快,而且非常、非常贵。
做到AGI要花多少钱?它说了一个超级天文数字。不见得一个公司做得起。
《潜望》:所以,我们的第二条路,是用生态去抵抗,是吗?
李开复:
对。
每个应用公司都可能自己也做AGI,AGI只要有了竞争,就表示垄断会比较难。
《潜望》:应用公司需要先自己形成生态,有商业化利润再去追求AGI,而不能从今天就去追逐AGI?
李开复:
不管生态和商业化,只追求AGI,可能在追求梦想途中,你就没有弹药跑下去了,谈何实现?
《潜望》:但我有一个疑问,如果我们现在第一目标不是追求AGI,没有像在AGI主航道里那样让模型能力快速提升,应用会大爆发吗?
李开复:
OpenAI在5个月前推出GPT-4o模型,现在10美元一个million tokens,今天我们的Yi-Lightning模型反超了GPT-4o(五月版本)。我们在5个月之间,API定价几乎降了数十倍,还有盈利空间。同时,这样的价格普惠点有可能推动更多应用。
《潜望》:以上,你提供了一个技术价值观
:
如果美国有可能实现AGI霸权,中国应该如何形成合力对抗他们。
除了推理成本的降低,还有什么我们需要做?
李开复:
我们全中国把只落后美国5个月的模型先用起来,让应用比美国跑到更前面,后发制人。
我乐观认为,中国App最后一定做得比美国好,虽然今天还没有,但未来会发生。因为从移动互联网到AI 1.0已经发生过两次。
中国现在特别强大的,就是那批会做PMF的人。我们后发先至的力量就是这批会做PMF的人。
他们有PM(产品经理)、工程师。他们要跟模型专家在一起,最后能做出点燃火焰的超级应用。
“我们千万不要低估它”
《潜望》:业界同仁说你对海外十分熟悉,曾经在Google、微软、苹果这些大公司担任过高级管理人员,和各个大公司有密切的交流。
他们想让我帮忙问问海外进展:一是,有什么是未来1-2年能出来但还没形成共识的?二是,应用端预计在什么时候会出现一些显著性变化?
李开复:
我刚从硅谷回来,这次见了很多人。几个比较大的认知——
OpenAI还藏了很多好东西没有放出来,我们千万不要低估它。
它GPT-5训练得不是很顺利,但是,为了融资,就丢了一个o1出来。
它手中还有很多牌,不急着出这些牌。
因为它每次出一张牌,全球技术公司包括中国的,就会看它出了什么牌、去猜、去做。就算不能打平,也能做到八九成。所以,它并不想把牌打光。它想留到最后AGI有望的时候,再比较有信心地打出来。
所以,这是一个技术实力非常强大的公司。
我觉得它跟Google的距离,不是Google在拉近,而是差得越来越远。
当一个公司有这么多技术储备,可以战略性决定什么时候放出技术。比如,需要融资、需要show muscle(显示实力)的时候。
但是,GPT-5训练碰到挑战,意味着3年达到AGI的预测可能过度乐观。本来GPT-5应该现在已经出来。现在看,即便出来,最快也是半年后了。不过,o1能递补上来,把这次融资完成。
o1本身并没有带来那么大推理和理解提升,但它把快思考、慢思考做成两套东西,以后相辅相成。对一个做技术的人来说,1年半前把全部精力放在pretrain(预训练),因为这个难度大,没人做过,只有一两家公司做过。现在,很多公司学会了。之后就发现,一个很难的硬骨头是要把post train(后训练),尤其强化学习做好。今天强化学习做得好的公司非常少。
这次又抛出了第三个,是推理时的Scaling Law。
o1最厉害的就是推理时的Scaling-Law,推理花越多时间思考做得越好,这是之前ChatGPT没有的。开阔了很多人的思考。
我预测,推理阶段的进步将会远远不止今天o1里的技术。
我们内部讨论,可能是什么做成了o1,我们公司内部就出了3种不同方案。你再把它乘以20-30个很牛的公司,还有比我们更大的公司。几百个方案,一定有是前所未做过或想过的。
回到创业生态,现在一个“标准硅谷共识”就是Sequoia(红杉美国)那篇文章。
你应该看了吧?
《潜望》:o1之后发的那一篇对吗?
(《Generative AI's Act o1: The Agentic Reasoning Era Begins》(生成式AI的o1行动:代理推理时代的开启))
李开复:
对。它以o1为title,但要读到最后,投资逻辑写得很清楚。国内创业者朋友可以看一看。这符合我跟硅谷创业者、投资人的沟通。
美国的感觉是,啊,大模型的pretrain会集中在少数几家公司手中,再投新做的大模型,看起来有人做了很酷的东西,但投资回报未必最好。从Infra(基础设施)来说,他们认为一些好的公司已经差不多出来了,不是最好的投资点。
投App,还有投Service as a Software(服务即软件)最重要——这个硅谷共识会带来美国投资的一种方法,中国VC可能会跟风。
我不完全认可他说的。在我看来,大模型——如果你有推理优势,可以做出不同打法;Infra——美国VC没有很懂Infra价值在哪,还是有机会;App——对投App我是同意的,但不能过度乐观。
过去大家说App是PMF。大模型时代我加了两个字是TC-PMF(技术成本x产品市场契合度),除了PMF,还需要知道TC——我需要多强的技术,比如多模态还是视频;还有推理优化,以降低成本和提升性能;还要预测这个技术谁可以做出来、什么时候做出来、以多低成本、什么时候这个成本足够低,并且需要对第一线市场保持敏锐,把这些要素对接起来,综合能力门槛非常高。谁最先找到TC-PMF,谁就能成为大模型时代的Super App,类似移动互联网时代的抖音。
一个好的App创业者,他需要对市场敏感,知道怎么做一个产品,这个产品对模型和技术的需求,怎么调这样一个模型,什么时候可以调好,调好时推理成本会不会够低。难度比以前加倍了。
零一万物比较有信心,因为模型在自己手中,这几个点的对齐,相对简单一点。
《潜望》:你对巨头的动作也很熟悉,能不能评价一下海外Google、微软、英伟达、特斯拉等巨头的动作,以及国内巨头,比如火力全开的字节。
李开复:
英伟达肯定是现在最大获利者。之后它可能面临,随着大部分GPU不再做训练,而是做推理,优势能不能持续?
这是它面临的一个问题。也许会持续,我不知道。
Meta是最大搅局者——它什么事情赢不了,就开源,用开源来做卡位。
我蛮佩服他们放一大批人做广告。他们能靠广告赚一笔钱,然后开源来做一个卡位。他们技术比不上OpenAI,
但开源卡位,很多人用它的开源模型,以后看有什么机会再推进。虽然我觉得Mark(扎克伯格)对AI不是很懂,但他就这么一招——打不过人家就开源——已经两次成功了。第一次是TensorFlow跟PyTorch,这次也好像蛮成功。Meta位置是OK的。
微软是位置最好的。它一方面靠AI赚很多钱,虽然投资养着OpenAI,但占了很多股,是可攻可守的一个位置。
它的挑战是自己的模型一直没做好。OpenAI跟微软是合作,但这个蜜月期可能会结束。OpenAI肯定做了Plan B,微软如果没有Plan B,到时候比较麻烦。
但现在它处于非常好的短中期情况。长期如果做不出模型,跟OpenAI闹掰了,有挑战。现在微软和英伟达是最大获利者。
OpenAI是特别强大、垄断型的公司,Sam Altman(OpenAI CEO)可能会是有史以来最大的垄断者。
我讲这个不是贬义,是陈述事实。他今天还没成为垄断者,但他的谋略,他的野心,他把一二三步棋都想清楚,这些我很佩服他。但从一个从业者的角度,也很担忧他。
xAI执行力非常强,来自Elon Musk(马斯克)管公司就跟中国公司一样。他公司一些小将我都认识,非常能干,玩命帮他干。他今天得到的成就是,复刻了OpenAI跟Google早期的一些技术,他能这么快复刻,在美国比较罕见。要看他以后能不能结合特斯拉的具身和自动驾驶,加上xAI。
无论如何,不能低估Elon Musk,他现在是一匹黑马。
理论上它应该最强——最厉害的大模型论文是Google做的,最厉害的Reinforcement Learning(强化学习)是DeepMind(Google旗下)做的,这两个并在一起,没有产生很大杀伤力。
一方面大模型让一些用户有问题不先去搜索引擎,而先去ChatGPT,带走了一些量。更严重的是,最近很多用户买东西直接去Amazon。在中国大家觉得本来就这样,买东西去淘宝或拼多多,其他搜索去百度。但现在同样的情况在美国发生。很多人要做commercial search(商品搜索)不在Google做了,直接在Amazon做。所以,它这两面受敌。
再加上它的两难是,到底放不放大模型到搜索里去?放的话,有三种方法:
●
第一种是,取代你的搜索,就把所有广告业务都拆没了,公司可以关门了;
●
第二种是,不放进去,做成两个入口,是掩耳盗铃嘛。明明是一件事,为什么放两边?
●
第三种是,两者并存,就是你做一个Google搜索,看到有一个Gemini Overview,再放搜索结果在旁边。这样你既会少收广告,用户体验也不极致,因为你给那么一点点overview,不解决问题。我问一个问题,我要一个答案,你给我一个overview干什么?
于是,它就是变成“四不像”
——又有搜索结果,一大堆链接,又有广告,还给overview,就不给我答案。这是它现在选择的做法。
另外有很多奇怪的事,比如Google的Gemini不能问大选的事,怎么会这样?还有之前碰到各种问题,什么吃胶水啊、吃石头啊,很多问题存在,理由是什么?我不太知道。
Google短期不看好。但Google有很强技术积淀,能不能触底反弹?就不知道了。
《潜望》:Perplexity是一个对的产品形态吗?它有可能颠覆、取代Google吗?
李开复:
它是很好的产品。倒不是说Google做不出Perplexity,Google分分钟就可以做一个Perplexity,可是基于刚才的考量——它不能做。
Perplexity可以少赚钱甚至赔钱去弄一堆用户。Google每个搜索产生的收入是1.6美分。今天Perplexity Pro的用户收20块钱,但搜索成本很高,不能cover所带来的搜索,它用GPT-4o嘛。但Perplexity不在乎啊,它说我就赔钱——免费用户我当然赔钱,付费用户我也赔一些钱——只要烧出用户来,我就基于用户成长得到投资。Google呢?它不太能反击——
这是Perplexity最大的优势,它产品做得不错,但没什么特别了不起的。
Perplexity做得很好的是,把可信的问题,部分让用户以为化解了,其实并没有。它用citation(引用)的模式,让你觉得这篇回答里有这么多citation,我可以一个个点开,看是哪来的,大部分靠谱,就觉得你没有幻觉了。其实绝对不是——
我们衡量过Perplexity的幻觉,还挺高的——但用户觉得有citation,看到了放心。这是很有意思、很值得学习的一个用户体验的trick(把戏)吧。
还有使用场景,你如果要做research(研究)、得到insight(洞察),Perplexity的UI是正确的——它出各种图、视频、点击、文章、延伸、citation,像一个图书馆。Perplexity自称,公司愿景是做一个“瑞士刀”。有一把小刀,你搬出来什么都有。开瓶的、剪刀、小刀、开信封的,一个工具可以做比如12样事。
但我更相信Larry Page( Google创始人之一)曾经说的。
一次,我在Google早期一个会上,Larry Page说:我们的搜索打几个字,出一堆链接是不对的;正确搜索形态应该是问一个问题,得到一个正确答案。
我们现在的技术更能贴近一个问题、一个答案,反而做非常复杂的research tool(研究工具),未必是每个人需要的。但对分析师、研究员、教授、学生、记者,是好工具。
所以,Perplexity我是认可的。但说它取代Google,还是很困难。
《潜望》:它似乎慢慢变成了一个内容产品,而不是一个搜索入口。