IBM实现了创纪录的深度学习性能：完败Facebook微软

正文

请到「今天看啥」查看全文

4%的准确率提升是巨大的飞跃，以往的优化通常只能带来不到1%的准确率提升。我们创新的分布式深度学习（DDL）方法不仅提高了准确率，还利用10s服务器的性能实现了在短短7小时时间里训练ResNet-101神经网络模型。这些服务器配备100s的英伟达GPU。

此前，微软花了10天时间去训练同样的模型。为了实现这一成绩，我们开发了DDL代码和算法，克服在扩展这些性能强大的深度学习框架时固有的问题。

这些结果采用的基准设计目标是为了测试深度学习算法和系统的极限，因此尽管33.8%的准确率听起来可能不算很高，但相比于以往已有大幅提升。给予任何随机图像，这个受过训练的人工智能模型可以在2.2万种选择中给出最高选择对象（Top-1精度），准确率为33.8%。

我们的技术将帮助其他人工智能模型针对特定任务进行训练，例如识别医学影像中的癌细胞，提高精确度，并使训练和再训练的时间大幅缩短。

Facebook人工智能研究部门于2017年6月在一篇论文中介绍了，他们如何使用更小的数据集（ImageNet-1k）和更小的神经网络（ResNet 50）来实现这一成果：“深度学习需要大型神经网络和大规模数据库才能快速发展。然而，更大的网络和数据库会造成更长的训练时间，不利于研究和开发进度。”

讽刺的是，随着GPU的速度越来越快，在多台服务器之间协调和优化深度学习问题变得越来越困难。这造成了深度学习的功能缺失，促使我们去开发新一类的DDL软件，基于大规模神经网络和大规模数据集运行热门的开源代码，例如Tensorflow、Caffe、Torch和Chainer，实现更高的性能和精确度。

在这里，我们可以用“盲人摸象”来形容我们试图解决的问题，以及所取得的初步成果的背景。根据维基百科上的解释：“每个盲人去摸大象身体的不同部位，但每个人只摸一部分，例如侧面或象牙。然后他们根据自己的部分经验来描述大象。对于大象是什么，他们的描述完全不同。”

尽管最初有分歧，但如果这些人有足够多的时间，那么就可以分享足够多的信息，拼凑出非常准确的大象图片。

类似地，如果你有大量GPU对某个深度学习训练问题并行处理几天或几周时间，那么可以很容易地同步这些学习结果。

请到「今天看啥」查看全文