正文
半导体在促进 AI 发展中的角色
半导体(或芯片)是 AI 研究和应用进步的关键驱动因素,这是因为 AI 模型经常需要训练大量数据来学习特定任务(如图像识别)。
GPU 成为 AI 模型训练的得力助手,很大部分原因是其能提供比 CPU 更强大的并行计算能力。这意味着更快的训练速度和迭代。
硬件之战:
更多 GPU 会让训练速度更快,构建规模更大、功能更强大的模型。
AI 硬件对深度学习意义重大
AI 模型性能随着数据规模和模型参数提高,计算量提高。
毫无疑问,GPU 越来越受到开发者的欢迎。
然而,GPU 更擅长处理图像任务,并进一步扩展到高性能的计算和 AI 任务。
训练时虽然广泛使用 GPU,但它却并不擅长推理。
虽然大多数情况下,GPU 性能优于 CPU,但数据中心大量的 CPU 使其成为一个有用且广泛使用的平台。
例如,在 Facebook,GPU 基本上被用于线下训练,而不是实时用户数据处理。
处理器内核时钟频率没有变得更快,摩尔定律产生的能量有限。
GPU 和新型硅片的租金价格太高,意味着计算资源会受限于资金预算。
虽然谷歌的 TPUv2 价格更贵,但是模型训练速度更快,更加经济。
在 Google I/O 2018 上,谷歌发布了第三代 TPU。
在 2018 年 5 月的 GTC 上,英伟达发布了 HGX-2,可同时用于高精度要求的科学计算和低精度要求的 AI 负载任务。
很多企业在开发定制 AI 芯片,包括 IC(集成电路)供应商英特尔、高通、英伟达等,科技巨头和 HPC(高性能计算)供应商谷歌、亚马逊 AWS、三星等,IP 供应商 ARM、新思科技等,中国创业公司寒武纪、地平线机器人等,以及全球的创业公司 Cerebras、Wave Computing 等。
大型云服务商在制造专用 AI 硬件,并大幅提高预算支出。
图像场景理解
传统计算机视觉通过检测物体来描述视觉场景
然而,检测出图像中的物体还不足以理解真实场景
真正的视觉场景理解需要理解动作和常识
使用深度学习和标记目标动作的视频来学习常识是一种可行的方法
大规模视频理解数据
创建训练机器学习模型理解视频的数据集
如果深度学习模型能够识别和消除视频中行为中的细微差别,那么它具备了关于世界的常识。这也被称为“直观物理学”(intuitive physics)。
文本语义理解
深度学习模型实际上可以理解视频中的动词和名词。
机器还可以通过学习从不同视角理解视觉场景
目标导向的强化学习:以游戏为例
AlphaZero 表明深度强化学习可以通过学习击败世界围棋冠军
AlphaZero 是一个无人类干预或历史玩家数据输入,通过自我对弈即可预测从一特定棋盘位置走棋输赢概率的 AI 系统。让人震惊的是,AlphaZero 系统超越所有其他版本的 AlphaGo(基于两套神经网络),经过 40 天的训练即超越人类最高水平。
OpenAI 的多代理强化学习系统学习复杂的实时战略游戏《魔兽争霸 2》
OpenAI Five 是由 5 个 RL 代理组成的团队,通过强化学习自我对弈优化游戏策略每个代理的神经网络经过强化学习训练都可观察局部和高维环境来生成长期动作规划。这些强化学习代理可以组团打败人类玩家,它们采取的多样化行动和大范围地图互动十分引人关注。
怎样保证模型训练无偏见?
机器学习偏见例 1: 刻板印象
土耳其语中性别是中立的,但是谷歌翻译会在英语 - 土耳其语转换时产生性别区别,反之亦然。
例 2: 种族歧视
当训练数据中未合理标识皮肤颜色时,计算机视觉系统会做出冒犯性的种族偏见的行为,比如一些人脸识别系统无法识别黑皮肤的人。