正文
结构光先驱PrimeSense(苹果收购)方案分析
以色列公司PrimeSense创立于2005年,于2006年研发出3D传感器,在当年的 E3 大展上与微软建立了联系,在2009年E3大展时,微软发布了内置PrimeSense 3D传感器的Kinect一代。2010年年底,PrimeSense 与华硕合作开发了Xtion Pro,和Kinect采用了同样的3D传感器。2012年,PrimeSense推出了当时世界上体积最小的3D传感器Capri。由于Primesense在2013年被苹果收购,不再对外输出技术,因此微软在2014年的Kinect 2.0上开始使用自己的3D传感器。
Primesense的核心技术为Light Coding光编码技术,属于结构光技术的一种,是目前最具代表性的结构光技术。
结构光技术就是用光源照明给需要测量的空间编上码,将一维或二维的特定图像投影至被测物体上,根据图像的形变情形,判断被测物体的表面形状和深度信息。与普通结构光方案(如英特尔Realsense结构光方案)不同的是,Light Coding的光源称为“激光散斑”,是激光照射到DOE衍射光栅后形成的衍射斑点,只要在空间中打上这样的结构光散斑,整个空间就被做了标记,把一个物体放进这个空间,只要分析物体上面的散斑图案,就可以知道这个物体的位置信息,从而可以非常快的进行景深信息的采集和捕捉。
Primesense的Light Coding 就是以红外线发出激光,透过镜头前的DOE(衍射光栅)形成激光光斑,随后均匀分布投射在测量空间中,再透过红外线摄像头记录空间中的每个散斑,获取原始资料后,再透过芯片计算成具有3D深度的图像。
因此,拆解微软Kinect1代产品,我们可以看到,其主要的零部件包括:红外光发射器、红外CIS传感器、可见光传感器、核心数据处理芯片(PS1080)。
Primesense结构光方案的工作流程是:红外激光器发射近红外光,经过DOE等光学器件的编码形成激光散斑,随后投射到空间物体上;激光光斑投射到物体上之后会发生位移变化,红外CIS采集变形之后的光斑信息,将信息传送至PS1080芯片,经过芯片内算法的计算可以得到物体的Z轴深度信息;可见光CIS采集物体的XY轴平面图像信息,同样传送至PS1080芯片,平面信息与深度信息综合处理便可以得到空间内物体的三维信息。
在芯片方面采用的是Primesense自制的PS1080系统级SOC芯片,可以提供640*480分辨率图像,x/y平面分辨率3mm(2m距离情况下),深度精度为1cm。PS1080芯片拥有超强的并行计算逻辑能力,可控制近红外光源,进行图像编码并主动投射近红外光谱。同时,通过一个标准的红外CMOS图像传感器接收投影的Light Coding 红外光谱并且将编码后的反射斑点图像传输给PS1080,PS1080对此进行处理并生成深度图像。
通过拆解结构光先驱Primesense的产品结构,可以看到整个结构光产品方案主要由四部分组成:TX发射部分(IR Projector,主要为红外光发射器IR LD)、RX接收部分(IR Camere,主要为红外光图像传感器IR CIS)、RGB可见光图像传感器(Vis CIS)、专用数据处理芯片(Processor Chip)。
3D视觉结构光方案的产品结构,我们也可以在英特尔Realsense近距离结构光方案中得到证实。英特尔Realsense近距离3D视觉方案主要基于结构光原理,由一个红外发射器、一个红外传感器、一个可见光色彩传感器和一颗实感图像处理芯片组成。红外发射器发射近红外光到物体表面,红外传感器与色彩传感器分别采集物体的深度图像和平面图像,最终经过实感芯片的处理得到三维位置信息。
因此,我们可以总结出,典型结构光3D视觉系统的工作原理为:
首先红外激光发射器(IR LD)发射出近红外光(IR Light)特定图案(如激光散斑等),经过物体(如人手或人脸等)的反射之后,形变之后的图案被红外图像传感器(IR CIS)所接收,经过算法计算出人手/人脸所处的位置(Z轴);同时,可见光图像传感器采集二维平面(X与Y轴)的人手/人脸信息(Vis Light);两颗图像传感器的信息汇总至专用的图像处理芯片,从而得到三维数据,实现空间定位。
TX红外光发射部分是整个3D视觉重要的组件之一,提供最核心的近红外光源,其发射图像的质量对整个识别效果至关重要。
采用结构光方案的3D视觉相比于TOF方案要复杂得多,主要是结构光方案需要采用pattern图像(如激光散斑等)进行空间标识,因此需要定制的DOE(衍射光栅)和WLO(晶圆级光学透镜,包括扩束元件、准直元件、投射透镜等)。
整个TX发射部分的工作原理如下:1)首先激光发射器VCSEL发射出特定波长的近红外光(一般为880nm/910nm/940nm),光束准直性好、光束横截面积窄的高斯光束。2)先经过光束整形器Beam Shaper形成横截面积较大的、均匀的准直光束。Beam Shaper主要包括扩束元件(Beam Homogenizer)和准直元件(Collection Lens),扩束元件的作用在于将激光扩大横截面积,从而使激光束的横截面积可以覆盖后面的衍射元件,准直元件的作用是将扩束之后的激光重新调成平行光。3)穿过Beam Shaper的激光随后经过DOE衍射光学元件形成特定的光学图案pattern。4)经过DOE形成的光学图案再经过最后的投射透镜(Projection Lens),便可以从TX发射部分发射出去。