教程 | 如何使用谷歌Mobile Vision API 开发手机应用

机器之心 · 公众号 · AI · 2017-05-19 11:58

正文

请到「今天看啥」查看全文

1.Barcode API

支持 1D 条形码和 2D 二维码类型
支持多种条形码格式
应用场景：跟踪并识别任意条形码或二维码

2.Face API

捕捉脸部图像，支持不同的角度以及非常夸张的表情
生成 Facial Landmarks 用于定位等业务
脸部表情分类
应用场景：生成用户趣味头像，识别商品并推荐购买方式，等等等等

3.Text API

支持 20 种以上拉丁语系语言
支持段、句、词分析
应用场景：信用卡信息提取，名片信息提取，实时翻译，等等等等

在详细讲解代码之前，Hisu 先介绍了 Mobile Vision API 的基础概念与使用案例。最简单的使用案例就是图像检测：如果想要建立一个检测器，先要提供一张图像，然后运行算法产生检测结果。

Google Mobile Vision (GMV) 同时支持 iOS 与 Anriod 平台，用户只需根据 API 与业务需求简单地设定以下三个类即可构建完整的图像处理 Pipeline：设定 Detector 类用于捕捉图像内容；设定 Processor 类允许用户灵活地处理单张或多张图像（即 Focus 模式与 Multi 模式）；最后用户只需完整地重构 Tracker，根据图像信息完成业务逻辑。无论是 iOS 还是 Andriod，遵循以上流程即可构建 GMV 应用。

以上是完整的流程。摄像头源内部使用了 Camera API，它将图像帧传递给检测器，检测器运行算法来生成检测结果。然后结果被传递给处理器。处理器是首个后处理（post-processing）步骤，它负责筛除、合并、或传递检测到的 item 到相关 Tracker。

总结来就是两个步骤：

1. 配置追踪管道；

2. 部署 Tracker 实时追踪时间变化。

图中的 Camera Source、Detector、Processor 都由 Mobile Vision API 提供，用户要做的就是基于自己商业逻辑编写代码，实现 Tracker。

Barcode API

如今二维码处处可见，开发手机端的二维码扫描应用也变的非常常见。使用 Barcode API 前，只需在不同的平台中部署相应的 Dependency。Android 平台由 Google Play 提供服务；而在 iOS 平台中可以使用 CocoaPods 包管理工具安装。下面是开发安卓手机二维码应用的代码演示。

首先，开发者需要指定具体的编译工具与运行环境依赖，不同的 GMV API 需要不同的依赖，开发者只需根据业务指定 android:value 为 barcode, face 或 text。在用户第一次使用时，开发者所制定的内容会自动下载到设备中（即需要用户连接至网络环境中）；一旦下载完成后，用户即可在无网络连接的环境下使用相应的 GMV 应用和服务。