ICLR 2020| 训练15000个神经网络，加速NAS，仅用0.1秒完成搜索

正文

请到「今天看啥」查看全文

NAS-Bench-201是什么？

NAS-Bench-201把15000多个神经网络在三个数据集（CIFAR-10，CIFAR-100，ImageNet-16-120）上基于不同的随机数种子基于不同的超参数训练了多次。提供了每个训练epoch之后的训练和测试耗时，模型在训练集/验证集/测试集的损失函数和准确度，训练之后的模型参数，模型大小，模型计算量等重要信息。NAS-Bench-201将这些有用的诊断信息整理起来，提供了方便的API来获取他们。执行 “pip install nas-bench-201”可以一键安装NAS-Bench-201的API，你将会拥有15000+个神经网络的全部信息！下图是15000+个网络性能可视化。

利用NAS-Bench-201能干什么？

1，加速NAS算法，利用NAS-Bench-201，Regularized Evolutionary Algorithm / Random Search / REINFORCE等NAS算法可以在0.1秒内完成搜索过程并给出发现的网络的性能。

2，实时跟踪NAS算法表现，对于One-shot NAS算法，利用NAS-Bench-201就可在任意时间节点，观测当前预测的网络结构的性能表现而无需重新训练该结构。

3，公平对比每一个NAS算法。不同的文章在重训练搜索出的网络结构时，使用的超参数/数据增强/正则/等都不尽相同。现在利用NAS-Bench-201的API，每位科研人员可以公平地对比搜索出来的网络结构。

请到「今天看啥」查看全文