正文
我们都想要更多的资源,不过,资金充裕的学术实验室现在确实能获得很多计算资源,做很多有意思的研究。
学术界,以及所有做开放研究的人,如果能获得更多计算资源,当然是好事,这也是我们推出TensorFlow Research Cloud(TFRC)的原因,TFRC会向机器学习研究界提供每秒180千万亿次浮点运算的计算能力,还免费。
总有些实验室计算资源比别人多一点,这些实验室的研究者有资源去做一些大规模实验,只要研究结果发表出来了,这个圈子都受益。这也是我们坚持发表、传播我们的论文的原因。
AI研究的现状
有一个问题,Google Brain团队回答得非常踊跃:
你们觉得哪些项目excited?为什么?
Nicolas Le Roux
对高校大规模优化感兴趣,想了解如何以在线方式从包含少量信息的数据点来手机和保留信息,来确保训练快速高效。
Fernanda Viégas
说对人类与AI交互中的各种可能性感兴趣,期待各种不是机器学习专家的人进入机器学习前沿领域,开辟新的可能性,比如社会学家、历史学家、建筑师、舞者……
PAIR(人类+AI研究计划,People+AI Research Initiative)项目的
Martin Wattenberg
也关注人与机器学习系统的交互,不过和Viégas不同,他关注的是普通人,与机器之间互动的新途径。
Vincent Vanhoucke
关注的是机器人领域,他认为建立模拟和现实世界之间的连接非常一颗赛艇,现实世界中很难给机器人reward,但是通过把机器人问题转换成大规模机器学习问题。
Jascha Sohl-Dickstein
从理论研究的角度来看,说有四方面正在进行的研究,包括:表达——深度神经网络可以计算什么类型的函数?如何映射到我们想模拟的现实世界?可训练性、泛化、可解释性。
Jasmine Hsu
说在机器人操作研究的模仿学习中还有很多工作可做,对模拟与现实世界迁移的研究也在快速变化,内在动机的积极强化学习也是他的兴趣所在。
也有人要求Google Brain团队
谈谈用深度学习解决问题过程中遇到的失败或者痛点
,如果是大规模监督学习就更好了。
Vincent Vanhoucke
:
我们有几个人试着和《纽约客》漫画编辑Bob Mankoff(我看他今年还发了一篇NIPS论文)合作,用这本杂志上的漫画训练一个神经网络标题生成器,给漫画写说明,结果就不太好。甚至一点都不好玩。
按深度学习的标准,就算可以在其他形式的漫画上对视觉表现进行预训练,我们的数据量也不算大。
我还是希望有一天能赢得《纽约客》那个给漫画自动生成标题的比赛,但可能得用一些传统的方法了。
Bob Mankoff的NIPS论文:https://arxiv.org/abs/1709.03570
△
Bob Mankoff
Google Brain高级研究员
Greg Corrado
说:
明确地说深度学习在某某任务上不行,我是很紧张的。比如说2012年的时候,深度学习做不了机器翻译,四年过去了,它又大获全胜。
当我们尝试某种方式,发现不行,我们会后退一步喘口气,可能换个角度再试一次。
有些问题确实不能被看某个可用数据集上的监督学习,在这种情况下,深度学习这个锤子确实不管用。
同样一位用户,还问了个关于无监督学习的问题:
Google Brain团队怎么看目前无监督学习方法的状态?你们认为未来几年会有概念性的重大进步吗?
Vincent Vanhoucke
:
人们终于意识到自动编码(autoencoding)是个坏主意了。
可行和不可行的无监督学习之间的区别在于,像语言模型这样可行的无监督学习,通常是预测有因果关系的未来,比如说下一个词、下一帧图像,而不是像autoencoding那样预测现在。
我很高兴看到,有不少人已经开始用我们去年开源的push数据集,对“预测未来”的工作做基准测试了,真是没想到。
push数据集:https://sites.google.com/site/brainrobotdata/home/push-dataset
Yann LeCun也对他那个“樱桃vs蛋糕”的说法做了修改,不再是关于无监督学习,而是关于预测学习。
关于Google Brain目前在做的研究,有网友问得非常细致:
你们有生物学或者基因组学方面的项目吗?
还真有。
Pi-Chuan Chang
说,Google Brain深入参与了一系列生物学和基因组学的项目,比如通过眼底照片来筛查糖尿病视网膜病变,从病理影响中识别癌细胞,用深度学习从下一代DNA测序数据中筛查遗传变体。
他们最近还创建了一个基因组学团队,Alphabet里也有其他团队把深入学习技术用在生物数据上,比如Google Accelerated Sciences、Verily Life Sciences、Calico等等。
关于TensorFlow
去年,关于TensorFlow的问答还主要集中在“你们什么时候支持XXXX”上,而今年,由于PyTorch的快速普及,网友开始关心起更深层的问题: