专栏名称: 算法专栏
算法专栏,每日推送。算法是程序员内功,分享算法知识、文章、工具、算法题、教程等
目录
相关文章推荐
芋道源码  ·  API key 和 token 有什么区别? ·  12 小时前  
芋道源码  ·  全是坑!慎用 Arrays.asList... ·  昨天  
共产党员  ·  黄宗德:英雄无悔 许党报国 ·  2 天前  
共产党员  ·  黄宗德:英雄无悔 许党报国 ·  2 天前  
Java编程精选  ·  因“过于痴迷”AI,50+岁程序员被公司开除 ... ·  3 天前  
51好读  ›  专栏  ›  算法专栏

没日没夜创业“卷”了20个月、胖了30斤,AI大牛:还是重回Google香!

算法专栏  · 公众号  ·  · 2024-11-30 18:00

正文

请到「今天看啥」查看全文


在 Google 任职的 3.3 年

对于 Yi Tay 而言,这一次看似以“失败”告终的创业也并非当时的一时冲动。和许多心怀大志的年轻人一样,彼时 33 岁的 Yi Tay 想试试自己在未来 3.3 年里究竟能有多少成长。

至于为什么是以 3.3 年为周期,Yi Tay 曾透露,他花了约 3.3 年的时间攻读博士学位。一毕业之后就以研究员身份加入 Google 美国山景城园区的研究团队,随后回到新加坡,作为“新加坡办公室的唯一研究员”继续工作。

而后他成为 Google Research 美国研究团队的技术主管,致力于 Transformer 扩展和架构。在此期间,他还为大约 20 款产品的发布做出了贡献。随后,Yi Tay 加入 Google Brain 团队,成为一名高级研究科学家,致力于大模型和 AI 的研究,这一干又是一个 3.3 年。

这段时间里,Yi Tay 参与并推动了 Google 不少前沿研究工作,如 PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard 和 MUM 等。此外,他在 ViT-22B 和 PaLI-X 等大型多模态模型的开发中也发挥了重要作用,并担任新 PaLM-2 和 PaLM API 的建模联合负责人。

同时,他在 Google 任职的 3.3 年时间里共撰写了约 45 篇论文,其中约 16 篇为第一作者或共同第一作者。

有了丰富的经验积累,Yi Tay 想要开启自己下一个冒险之旅。于是在去年 3 月,Yi Tay 和 Meta 研究科学家 Mikel Artetxe 等人一拍即合,创立了 Reka 公司,而他担任 Reka AI 的联合创始人/首席科学家。


融资 1 亿元,15 个人共同 创业的一年半

在百模大战期间,Reka 也不负团队的共同努力,发布了在文本、代码、图像、视频和音频数据上从头开始进行训练的多模态语言模型 Reka Core (67B)、Flash (21B)、Edge (7B) 和 Spark (2B) ,效果都不错,同时 Reka 也和英伟达、Oracle 和阿里云等公司有着不同程度的合作。







请到「今天看啥」查看全文