正文
-
看到一幅作品,对绘画有个初步的概念;
-
学习作品中的绘画风格与笔法;
-
临摹上述风格和笔法,重新绘画。
提取不同名画的风格,就能渲染出不同效果的照片
但只出现在网页端的DeepArt服务耗时过长,渲染出一张新照片至少需要20分钟,并且收费不菲。Gatys等人没能看到移动市场的机会,这让年轻的Alexey一下子抓住了灵感,让他坚信移动端的“AI+图像处理”必定大有可为。
Alexey清楚,在移动端成功的关键,是能够显著降低图像处理过程的耗时,也就是大幅度提升神经网络的运行效率。为此,他对Gatys等人的算法研究了两个月,在不影响移动端图像效果的前提下,尽可能简化神经网络所需要处理的细节。此处的优化,使得Prisma的耗时仅需几秒钟,处理速度相比DeepArt提升了1000倍。
随后的开发过程,仅用了一个半月。6月11日,Prisma在苹果应用商店上线。两周时间,下载量就超过160万次;三个月后,全球下载量突破7000万;到年底,Prisma一举拿下Google和苹果两大平台的“年度最佳应用”。
Prisma的迭代升级一直是围绕“提速”来进行的,关键就是不断改进图像处理的算法。
最初,Prisma的3个神经网络都部署在云端。用户选取照片效果后,手机上的Prisma应用便将照片上传至服务器,云端的卷积神经网络在解读照片后,会根据用户选择的效果重新渲染出一张新照片,并下载到用户的手机上。
随着Prisma开始海外扩张,海外用户与Prisma位于莫斯科的服务器通讯问题,成为Prisma加载缓慢的主因。为此,Alexey不得不考虑解决办法,也就要设法在手机上完成照片渲染的过程。2016年8月,直接使用iPhone处理器,Prisma成为第一个能够离线运行风格转换神经网络的手机应用。一张1080×1080分辨率的照片,半秒就能转换成全新的风格。
可以看出,在手机上部署机器学习算法的需求是极强的。
毕竟,采用AI来编辑或制作照片的不止Prisma一家。2016年3月,SnapChat的动态相机效果Lenses一经发布便大受欢迎,这项技术是SnapChat从它2015年9月收购的那家乌克兰公司Looksery身上买来的。Facebook紧随其后,于8月份开始,先后在Instagram、Messenger、WhatsApp上推出能跟SnapChat竞争的滤镜效果。Facebook的技术则来自它在2016年3月份买下的白俄罗斯公司Masquerad。
于是,从今年开始,Facebook和Google相继把它们的机器学习框架转向移动端,在手机应用上直接运行AI算法的趋势几乎不可逆转。紧接着,便有了我们今天的主角Core ML横空出世。
与Google TensorFlow、Facebook Caffe2不同,
苹果的Core ML它专门为iOS移动端的机器学习进行过优化,最大限度减少内存的占用和功耗
。而且,即便是网络连接丢失,它还能保证应用的正常工作与响应。