专栏名称: 量子位
վ'ᴗ' ի 追踪AI行业和技术动态,这里更快一步!关注我们,回复“今天”,更多大新闻等你来发现
目录
相关文章推荐
机器之心  ·  SIGGRAPH ... ·  11 小时前  
AI前线  ·  字节 AI ... ·  昨天  
深度学术搜索  ·  AI 文献搜索的革命性功能上线,高效,免费! ·  2 天前  
深度学术搜索  ·  AI 文献搜索的革命性功能上线,高效,免费! ·  2 天前  
爱可可-爱生活  ·  #听见微博# #微博声浪计划# ... ·  3 天前  
爱可可-爱生活  ·  《爱可可微博热门分享(6.9)》 ... ·  3 天前  
51好读  ›  专栏  ›  量子位

谷歌大脑全军出击!Jeff Dean领衔全面解答AI现状与未来

量子位  · 公众号  · AI  · 2017-09-14 08:06

正文

请到「今天看啥」查看全文


我们都想要更多的资源,不过,资金充裕的学术实验室现在确实能获得很多计算资源,做很多有意思的研究。

学术界,以及所有做开放研究的人,如果能获得更多计算资源,当然是好事,这也是我们推出TensorFlow Research Cloud(TFRC)的原因,TFRC会向机器学习研究界提供每秒180千万亿次浮点运算的计算能力,还免费。

总有些实验室计算资源比别人多一点,这些实验室的研究者有资源去做一些大规模实验,只要研究结果发表出来了,这个圈子都受益。这也是我们坚持发表、传播我们的论文的原因。

AI研究的现状

有一个问题,Google Brain团队回答得非常踊跃: 你们觉得哪些项目excited?为什么?

Nicolas Le Roux 对高校大规模优化感兴趣,想了解如何以在线方式从包含少量信息的数据点来手机和保留信息,来确保训练快速高效。

Fernanda Viégas 说对人类与AI交互中的各种可能性感兴趣,期待各种不是机器学习专家的人进入机器学习前沿领域,开辟新的可能性,比如社会学家、历史学家、建筑师、舞者……

PAIR(人类+AI研究计划,People+AI Research Initiative)项目的 Martin Wattenberg 也关注人与机器学习系统的交互,不过和Viégas不同,他关注的是普通人,与机器之间互动的新途径。

Vincent Vanhoucke 关注的是机器人领域,他认为建立模拟和现实世界之间的连接非常一颗赛艇,现实世界中很难给机器人reward,但是通过把机器人问题转换成大规模机器学习问题。

Jascha Sohl-Dickstein 从理论研究的角度来看,说有四方面正在进行的研究,包括:表达——深度神经网络可以计算什么类型的函数?如何映射到我们想模拟的现实世界?可训练性、泛化、可解释性。

Jasmine Hsu 说在机器人操作研究的模仿学习中还有很多工作可做,对模拟与现实世界迁移的研究也在快速变化,内在动机的积极强化学习也是他的兴趣所在。

也有人要求Google Brain团队 谈谈用深度学习解决问题过程中遇到的失败或者痛点 ,如果是大规模监督学习就更好了。

Vincent Vanhoucke

我们有几个人试着和《纽约客》漫画编辑Bob Mankoff(我看他今年还发了一篇NIPS论文)合作,用这本杂志上的漫画训练一个神经网络标题生成器,给漫画写说明,结果就不太好。甚至一点都不好玩。

按深度学习的标准,就算可以在其他形式的漫画上对视觉表现进行预训练,我们的数据量也不算大。

我还是希望有一天能赢得《纽约客》那个给漫画自动生成标题的比赛,但可能得用一些传统的方法了。

Bob Mankoff的NIPS论文:https://arxiv.org/abs/1709.03570

Bob Mankoff

Google Brain高级研究员 Greg Corrado 说:

明确地说深度学习在某某任务上不行,我是很紧张的。比如说2012年的时候,深度学习做不了机器翻译,四年过去了,它又大获全胜。

当我们尝试某种方式,发现不行,我们会后退一步喘口气,可能换个角度再试一次。

有些问题确实不能被看某个可用数据集上的监督学习,在这种情况下,深度学习这个锤子确实不管用。

同样一位用户,还问了个关于无监督学习的问题: Google Brain团队怎么看目前无监督学习方法的状态?你们认为未来几年会有概念性的重大进步吗?

Vincent Vanhoucke

人们终于意识到自动编码(autoencoding)是个坏主意了。

可行和不可行的无监督学习之间的区别在于,像语言模型这样可行的无监督学习,通常是预测有因果关系的未来,比如说下一个词、下一帧图像,而不是像autoencoding那样预测现在。

我很高兴看到,有不少人已经开始用我们去年开源的push数据集,对“预测未来”的工作做基准测试了,真是没想到。

push数据集:https://sites.google.com/site/brainrobotdata/home/push-dataset

Yann LeCun也对他那个“樱桃vs蛋糕”的说法做了修改,不再是关于无监督学习,而是关于预测学习。

关于Google Brain目前在做的研究,有网友问得非常细致: 你们有生物学或者基因组学方面的项目吗?

还真有。

Pi-Chuan Chang 说,Google Brain深入参与了一系列生物学和基因组学的项目,比如通过眼底照片来筛查糖尿病视网膜病变,从病理影响中识别癌细胞,用深度学习从下一代DNA测序数据中筛查遗传变体。

他们最近还创建了一个基因组学团队,Alphabet里也有其他团队把深入学习技术用在生物数据上,比如Google Accelerated Sciences、Verily Life Sciences、Calico等等。

关于TensorFlow

去年,关于TensorFlow的问答还主要集中在“你们什么时候支持XXXX”上,而今年,由于PyTorch的快速普及,网友开始关心起更深层的问题:







请到「今天看啥」查看全文