正文
原则上，所有这些技术都可以小型化，以适应手机的尺寸，但在优化手机集成度和对于特定应用程序的使用方面，有些技术比其他技术更好。这是一个关键的问题：手机制造商必须将尺寸、成本、重量和热量保持在最低限度，以维持手机的基本规则——移动性和易用性。
在以下部分中，我们将深入探讨手机上的深度传感器的需求，然后介绍英特尔的立体视觉解决方案包括D4xx家族RealSense™深度传感器，它已经被优化应用于各种场景：室内和室外场景、手机、无人机、机器人、增强现实/虚拟现实（AR / VR）和安防监控。然后我们详细地解释深度性能的描述和量化标准。
4. 智能手机使用场景的需求
移动电话是集成技术的惊人壮举。当我们考虑在移动电话上增加深度传感器时，我们需要专注于几方面的权衡：1、大小；2、供电和散热；3、成本；4、针对预期用法的性能。所有这些都紧密地联系在一起，需要进行复杂的权衡分析。性能本身就是一个非常错综复杂的讨论。例如，一个最优的解决方案将同时具有高帧率实时的背景分割和3D捕获，即高x-y空间分辨率的良好背景分割，以及高分辨率（z轴）用于人脸认证和3D自拍照的三维深度。在理想的情况下，它还应该提供一个完整的硬件同步和像素匹配的校准映射，深度图像和颜色图像之间的校准，对良好的背景分割至关重要。在深度性能方面，我们注意到这本质上可以被分成两个问题：1、“深度相机能看到什么?”；2、“它能看到的误差是什么？”
结构光、ToF、立体深度相机技术在性能上都有权衡，所以了解他们能看到什么，不能看到什么是很重要的。例如，通过测试普通的墙壁开始进行分析是非常有用的（正如我们将在第6节中看到的那样），对于3D自拍来说，更重要的是能够看到所有可能出现在普通场景中的对象。因为面部可能有化妆，或者有手在画面里，或者珠宝丝绸装饰（如图3中的艾伦），重要的是传感器能够看到黑发、黑胡子、皮手、眼镜、吸收红外光线的衣服、闪亮的金属物体、珠宝、不同材料的帽子、口罩、各种皮肤颜色和化妆。许多早期的传感器在光秃秃的白人身上效果很好，这当然是不够的。“主动”（发射红外光进行投影）的解决方案依赖于看到反射的光束，许多这样的例子相当具有挑战性。在明亮的室外环境中尤其如此，因为传感器需要排除阳光的干扰才能看到反射的光束。通过使用940nm波段的红外光，采用全局快门传感器和时钟触发来控制发射的/探测到的光，增加激光发射器的功率，可以减轻太阳光的影响。除了功耗问题，后一种方法有与眼睛安全有关的硬性限制，这显然是最重要的。另一个问题是，是否存在同一时间使用超过一部手机的可用性，许多主动传感器技术受到信号交叉问题的影响，因为它们发出的光束包含了干扰其它手机的重要信息。然而，良好的立体视觉解决方案并没有遇到这些缺陷，因为它们能看到大多数物体，可以工作在被动模式下，以及在明亮的阳光下，甚至在水下也工作得非常好。
图6A 户外3D自拍，需要看到用户和背景。右图显示的点云是向下伸缩的，目的是显示网格线。这个照片是用微型RealSense D405模块制作的，可以用于移动电话
图6B 以RealSense D435相机为例，展示了一个传统的困难场景的深度图像，其中包括各种角度的深色地毯，黑色金属碗，高光塑料球，以及带有金属拉链的黑色皮革钱包
其它需要考虑的因素是使用者和场景运动的敏感性。为了对抗这种情况，传感器通常需要支持短曝光时间，并且对低光非常敏感。全局快门传感器是一个不错的解决方案，但它的代价是更大的像素和更大的成本，并导致尺寸更大的解决方案，特别是在镜头厚度方面，这对实现轻薄的移动电话至关重要。与大小有关也是基线的选择。对于基于三角测量原理的传感器，深度分辨率随着传感器之间的距离线性提高，但这显然增加了解决方案的尺寸，而且在移动电话中传感器的位置也有限制。再来看有效操作范围，用户当然希望有一个小的最短距离（也就是min-z），为了近距离特写效果，也有一个大的最大范围，这样他们也可以捕捉到更多的背景。主动的解决方案在近距离上做得很好，但通常不超过几米的距离，在这一点上，反射的红外光线模式变得太弱，无法看到。
另一类挑战与测量技术的相关工具有关。例如，一些几何图形或边缘可能会导致问题，并没有得到正确的解决。例如，ToF解决方案容易受到多径干扰的敏感性，这意味着反射的脉冲可以在多次反射后来自多个物体。比如表现在这样的工具上，如凸起的直角拐角被误识别为相当“圆润”。还有一个很大的问题存在于任何一种有反光的“猫眼”胶带的场景，在欧洲，这对于帽子或者衣服装饰并不罕见。而立体视觉传感器在这些情况下没有任何问题，但确实存在一个非常精确的周期模式的问题，在这种情况下，空间混叠会导致错误地报告深度值。另一个巨大的挑战是传感器的动态范围。重要的是，能够计算一个完整的场景各个部分的深度，即使在同一幅图中有大强度（反射率）和深度变化，比如脸部黑色化妆或墨镜，或者一个人站在明亮的阳光下并且帽子或下巴造成阴影。这对于主动（有源）系统来说尤其困难，因为图像亮度可以作为距离的平方，因此它可以看到非常强烈的距离变化。理想情况下，一个系统应该能够在距离范围很广的区域内捕捉深度，而不仅仅是在脸部的平面上。这类似于试图在黑暗中使用闪光灯拍照，图像的部分将会被看到，而在稍远的地方将会非常黑暗。在这些场景中，被动系统做得更好，因为它们依赖于环境照明，不受这种饱和度的影响，除非打开了闪光灯。
这就使我们认识到测量精度或者物体距离上的测量误差的重要性。对于所有的三角测量技术来说，很重要的一点是要知道，误差会随着距离的变化而不断增长。有利的推论当然是，接近的物体有更高的深度分辨率，这就是为什么三角测量在靠近物体时受到青睐的原因。当问题被问到“深度传感器的范围是什么？”“对于被动立体视觉的解决方案，人们可以回答“无限”，因为这些系统的有效范围将会非常遥远，就像人类可以看到遥远的月亮、太阳和星星一样。当然，重要的是要报告正确的深度值，但是这个最大范围的答案是针对于特定的应用。在3D中捕捉人脸需要非常高的深度分辨率，但是背景分割可以处理更多的深度错误。一般来说，所有的三角测量技术都随着更长的基线、更高的传感器分辨率、更小的视场（即光学变焦）而获得更小的深度误差，因此可以为特定的用途量身定制。此外，大多数深度传感器都能从平均测量值中获益，通常的应用场景允许这样的做法。
在下一节中我们看看英特尔RealSense™立体视觉深度摄像头可以提供完美的平衡解决方案和设计，来迎合手机集成和各种使用场景。
