主要观点总结
前Google大脑高级研究科学家Yi Tay在离开Google勇闯AI创业圈20个月后决定重回Google DeepMind从事AI和LLM研究。他在创业过程中学到了很多,但也面临了巨大的身心压力。同时,AI领域的高速发展既是技术竞赛也是资本对抗,资源争夺与行业洗牌加剧,越来越多的AI人才选择回归大厂。
关键观点总结
关键观点1: Yi Tay的创业经历
Yi Tay在离开Google后创立了Reka公司,并担任Reka AI的联合创始人/首席科学家。在创业期间,他学会了如何应对不可靠的GPU、供应商和计算资源,并基于自己的经验在WebConf的LLM Day发表主旨演讲。尽管取得了部分成就,但他最终决定回归Google DeepMind。
关键观点2: Yi Tay回归Google DeepMind的原因
Yi Tay更倾向于科学家/研究员的身份,他在创业过程中虽然学到了很多,但高强度的工作和不健康的生活方式给他的身心健康带来了很大的损害。此外,AI领域的高速发展对企业的财力和执行力提出了严苛要求,许多初创企业最终未能持久。因此,Yi Tay决定回归Google DeepMind,继续他的研究之路。
关键观点3: AI领域的发展状况
计算能力和存储成本的大幅下降以及互联网的发展推动了AI的迅猛发展。更多的宏观因素共同作用创造了AI实际应用的理想条件。同时,AI领域的高速发展也是一场资本对抗,资源争夺与行业洗牌加剧,越来越多的AI人才选择回归大厂。
正文
这是我回来的第一周,我非常兴奋。
1、在 Google 任职的 3.3 年
对于 Yi Tay 而言,这一次看似以“失败”告终的创业也并非当时的一时冲动。和许多心怀大志的年轻人一样,彼时 33 岁的 Yi Tay 想试试自己在未来 3.3 年里究竟能有多少成长。
至于为什么是以 3.3 年为周期,Yi Tay 曾透露,他花了约 3.3 年的时间攻读博士学位。一毕业之后就以研究员身份加入 Google 美国山景城园区的研究团队,随后回到新加坡,作为“新加坡办公室的唯一研究员”继续工作。
而后他成为 Google Research 美国研究团队的技术主管,致力于 Transformer 扩展和架构。在此期间,他还为大约 20 款产品的发布做出了贡献。随后,Yi Tay 加入 Google Brain 团队,成为一名高级研究科学家,致力于大模型和 AI 的研究,这一干又是一个 3.3 年。
这段时间里,Yi Tay 参与并推动了 Google 不少前沿研究工作,如 PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard 和 MUM 等。此外,他在 ViT-22B 和 PaLI-X 等大型多模态模型的开发中也发挥了重要作用,并担任新 PaLM-2 和 PaLM API 的建模联合负责人。
同时,他在 Google 任职的 3.3 年时间里共撰写了约 45 篇论文,其中约 16 篇为第一作者或共同第一作者。
有了丰富的经验积累,
Yi Tay 想要开启自己下一个冒险之旅。于是在