四大深度学习框架+四类GPU+七种神经网络：交叉性能评测

机器之心 · 公众号 · AI · 2017-03-10 13:17

正文

请到「今天看啥」查看全文

。

第一个评测对比不同 GPU 在不同神经网络和深度学习框架下的表现。这是一个标准测试，可以在给定 GPU 和架构的情况下帮助我们选择合适的框架。

第二个测试则对比每个 GPU 在不同深度学习框架训练时的 mini-batch 效率。根据以往经验，更大的 mini-batch 意味着更高的模型训练效率，尽管有时会出现例外。在本文的最后我们会对整个评测进行简要总结，对涉及到的 GPU 和深度学习架构的表现进行评价。

GPU、深度学习框架和不同网络之间的对比

我们使用七种不同框架对四种不同 GPU 进行，包括推理（正向）和训练（正向和反向）。这对于构建深度学习机器和选择合适的框架非常有意义。我们发现目前在网络中缺乏对于此类研究的对比。

这是首次针对不同 GPU（Tesla K40，Titan-X Maxwell，GTX 1080 和 Titan-X Pascal）与不同网络（AlexNet，Overfeat，Oxford VGG，GoogLeNet，ResNet-50，ResNet-101 和 ResNet-52）在不同深度学习框架下（Torch，Caffe，TensorFlow 和 Neon）的评测。在评测中，除了 Neon，所有框架都使用了英伟达 cuDNN 5.1。我们在每个 minibatch 里使用了 64 个取样，每次进行超过 100 次推理和训练。图表中缺失的数据意味着该次测试遭遇内存不足。

用于 TensorFlow 的 Minibatch 效率

训练深度学习框架时知道每个 minibatch 中的样本数量将会加快训练。在第二个测评中，我们分析了 minibatch 尺寸与训练效率的对比。由于 TensorFlow 1.0.0 极少出现内存不足的情况，我们只使用它进行这项评测。这次实验中我们重新评估了 100 次运行中的平均正向通过时间和和正向+反向通过时间。