正文
打开手机百度App,点击拍照按钮,在通用模式下对准九大城门的老照片拍照,点击“发现AR动画”,然后继续对准手绘的城门触发图,便可看到已经消逝的北京老北京九大城门复现出来。
方法二:搜一搜
打开手机百度App,搜索九大城门关键词,点击搜索结果中信息卡片(阿拉丁卡片),摄像头自动调起,对准任何纹理丰富的物体(如手心、键盘、杂志、公交卡等等),即可看到九大城门的AR效果(见下图)。
手机百度搜索“正阳门”,手心触发AR
方法三:实景触发
正阳门的实景触发也已经实现,并采用 SLAM 技术(Simultaneous Localization And Mapping,即时定位与地图构建技术)。只需用手机或平板对准正阳门,就能触发 3D AR 内容(见下图)。不过这次只演示了 Demo ,用户还无法使用。
SLAM 技术和 UDT 技术
百度此次展示的 AR 技术比复原朝阳门时更进一步,上一次用户只能用手机百度对准老城门的画作来触发 AR,这次是直接对准老照片,识别难度更高。同时还新增了搜一搜和实景触发两种玩法,背后分别对应的是 UDT 技术和 SLAM 技术。
SLAM 技术
本次在正阳门实景触发测试中,百度采用了自主研发的 SLAM 技术。SLAM 技术是机器人(计算机)在未知的环境下,利用传感器 (camera, laser, IMU 等) 来估计自身的姿态 (包括位置和朝向),同时建立周围环境的地图。SLAM 在无人车、无人机和 AR 上都有非常重要的应用。百度研发的 SLAM 技术可以做到低功耗、高实时性,支持多种数据源,比如单目、双目、RGBD 等。
SLAM 与 IMU 技术的区别:
手机端 IMU (Inertial Measurement Unit) 惯性测量单元误差较大,只适合估计手机朝向(3 自由度),比如横屏/竖屏,倾斜等方向,不能用来估计位置计算。SLAM 不仅能估计手机三维朝向,还能估计手机的三维位置(6 自由度)。
SLAM技术与IMU技术区别图
对于 AR 来讲,传统的虚实结合是在二维图像上叠加虚拟三维物体。视觉 SLAM 算法可以使得 AR 系统理解周围的三维环境,从而把虚拟的物体放到合适的位置。更进一步,虚拟物体可以与现实的三维环境发生交互,产生更有趣的交互方式。
SLAM的核心有两个部分:
对于 AR 广告,SLAM 可以让广告不再受限于预先制定好的海报、平面包装等。例如,用户可以在家里打开手机百度,查看一款网上的沙发和客厅是否搭配,或者可口可乐公司做一款AR广告,让运动员围绕可乐罐跑步等。
百度 SLAM 技术基本情况与上线时间
百度 ARLab 负责人吴中勤向雷锋网介绍了百度 SLAM 技术的基本情况,并透露未来三个月这项技术将上线到手机百度,他说:
其实 SLAM 这套技术百度最早有积累的,我们最早有一个无人机的团队,在那个团队里面我们要解决无人测试导航定位的问题,一定要先上这一套技术,当时我们开始了研发。无人机那个项目做了一段时间之后,就觉得它的场景比较偏少,所以我们同时还有一个无人车的项目,其实无人车的项目里面我们 SLAM 得到了最大的应用发挥。
这一次的这套技术其实跟那个框架有类似的地方,它的特点就是不像无人车一样具有这么好的传感器和这么丰富的电源,所以更多的使用一些额外的技术。比如说我们这边使用的技术就会更加考虑视觉帧与帧之间的关联和空间中的定位。它对性能的要求特别高,而手机本身的计算能力不是特别强,同时支持多帧的采样,这个角度我们做了大量工作。
我们技术上基本上准备好了,后面有很多优化工作让他体验更好,等大小和体积这方面打磨好,我们就会在大概三个月的时间上线这样一个功能。
UDT 技术
传统基于图像跟踪的 AR 技术需要预先确定一张图片,用户必须有一张完全相同的图像,才能展示AR。通过 UDT (User Defined Target) 用户自定义目标技术,这个限制被去掉,让用户随手找一张有纹理的图案即可展示AR效果(如公交卡,图书,手心、键盘等)。UDT利用多线程、GPU等加速算法,可以实时估计图像中的复杂特征信息,从而计算出空间三维位置。
成立 AR Lab,打造 AR 平台
借着展示复原老北京九大城门这个机会,百度今天宣布成立第四大实验室——增强现实实验室(AR Lab),由吴中勤负责,属于由首席科学家吴恩达负责的百度研究院。百度研究院此前已经拥有了三大实验室:硅谷人工智能实验室、北京深度学习实验室(原深度学习研究院)和北京大数据实验室。