正文
(3)
缺数据。
现在常见的方式基于仿真平台,例如通过遥操作,如VR眼镜、手柄等方式让机器人去学习。关注电子工程专辑过往机器人报道文章的读者应该知道,像Omnivision这样的虚拟平台已经具备相当高的仿真水平。
但其中仍然存在相较于真实世界的不同,比如熊蓉特别提到的“力触”(如机械臂在深筐抓取时拿起某个物体用多大的力——通常遥操作通常没有力反馈)。即便强如Isaac SIM,也需要解决我们常说的Sim2Real的问题。
和很多人想象的不同,谷歌Gemini机器人经过了长达12个月的遥操作数据收集,涉及设备、人员、标注的成本都很高,且异构迁移都也还存在挑战。
(4)前文已经提到的泛化与通用,真正在作业过程中还需要高精度、高可靠和高效率。“智能技术引入,现在面临的问题是可泛化、自适应性能力在提升,但精度、效率在下降。”(5)视-力-触传感器,和端侧计算控制器和操作执行器需要提升。
从总体上来看,或许要像许多人预想的那样:人形机器人进入寻常人家做家政这类场景,可能离我们还有段距离。确定性、安全性、成本都是问题。
大小脑融合,及其本质
上面这些挑战是让我们真正看到,即便在AI高速发展、AI与机器人结合的理论和逻辑相对充分的情况下,落到实处仍旧存在的问题的。虽说机器人领域内不同市场参与者看到的挑战是有差别、或不同角度的,但必然离不开感知、计算、控制、执行。所有的问题和挑战,也需要行业各环节参与者共同努力,才有机会解决。
这大概也是不少具身智能机器人仍停留在科研和学习应用的原因,所以我们也才说具身智能目前处在发展早期。Intel作为CPU、GPU、NPU等处理器芯片供应商,更关注的自然在于计算与控制。回看马小龙总结机器人发展的不同阶段这张PPT,不同板块采用不同的颜色,也是为了很大程度区分传统意义上,这些负载都跑在哪些处理器上。
深蓝色表示通常由CPU负责,紫色则表示需要用GPU加速。从Intel的三阶段划分解读,机器人正从以蓝色板块CPU计算为主,发展到当前CPU+GPU并重的阶段,甚至也可能需要浅蓝色“云脑”的辅助。而Intel所谓的“大脑”“小脑”也就很好理解了,如果硬要从处理器类型角度切分,可以相对狭义地把小脑理解为CPU或运动控制器,大脑理解为包含GPU与其他加速器等高并行计算能力的处理器。
小脑的工作在于运行底层操作系统、实时运动控制,基本要求是反应快、实时性强;而大脑的工作包括感知世界,接收各种传感器的数据,并基于算法做处理和后续的运动规划决策——可能是传统计算机视觉算法,也可能是AI大模型。
从严羽的主题演讲来看,说CPU是小脑、iGPU/NPU是大脑,实则是不准确的;比如他列举的视觉伺服应用上,酷睿Ultra的CPU部分,仅有1个E-core负责实时运动控制,其他CPU核心也和iGPU一起,都通过OpenVINO加速;当代CPU扩展指令也能做运动规划、AI推理加速等工作;
马小龙说传统的大小脑方案,小脑部分就是Intel的酷睿和灵动(Atom)处理器——市面上常见酷睿12、13代移动处理器;而现有解决方案中的大脑,常见NVIDIA Jetson Orin——前不久我们还上手
体验过Jetson Orin Nano
。大脑和小脑则藉由网络通信。这在Intel看来,“不是理想方案”,而是“无奈之举”。
实际上熊蓉谈到的一些挑战中,如精度、效率,以及端侧计算控制器待提升等问题,可能部分就是由大小脑分开的现状导致的。因为“大小脑双系统方案”带来的问题包括更高的硬件成本、功耗和尺寸、延迟、研发成本;在更具体的问题上,比如熊蓉还提到大小脑分开“难做传感器融合”,尤其当传感数据量很大时。
当大小脑通信要跨芯片、跨系统,的确会带来诸多负面影响——推介会现场讨论最多的是延迟和带宽问题:尤其实时性不理想时,都可能导致低精度、摔倒之类的问题发生。
这其实是个很符合直觉的思路:举例来说,“不管机器人是基于视觉的强化学习方案,还是基于模仿学习或大模型方案;视觉和运动控制都需要紧密衔接,视觉和运动控制需要低延迟的数据交互”——严羽谈道,“所以未来需要融合的方案。”
不过这里我们想特别提及的,是严羽在采访环节提到的,开发者面向大小脑分离的双系统时,需要“维护两套不同的代码,控制代码可能跑在Arm CPU上,也可以跑在x86 CPU上”——我们知道Jetson Orin作为SoC,里面带性能较弱的Arm CPU;加上“AI算法又要跑在GPU或其他模块”,这才是开发成本提升的关键。
所以Intel倡导的“大小脑融合”,就是全套由Intel提供的一体化计算方案,或者说加强了AI算力的酷睿Ultra处理器——其上既有CPU,也有GPU, NPU等计算单元,以“单系统”达成大小脑的“融合”。开发者若需要更高的AI算力,也能借助Intel Arc独显做算力扩展——从开发生态角度来看,相比独立的Jetson Orin是也更为统一的。
这些对开发者而言,的确是需要关注的核心问题。不过从商业逻辑角度看,透过现象看本质:我们认为,Intel推的“大小脑融合”理念,可能体现了Intel当下发展策略的两个关键(1)Intel宣传了很久的XPU策略:酷睿Ultra在PC和边缘市场,就在主打CPU+GPU+NPU组合,且强调AI算力;
(2)Intel要发展自家的AI生态,包括oneAPI, OpenVINO, IPEX-LLM都是其中的核心组成部分。而Jetson Orin是CUDA生态内的“大脑”,这显然不会是Intel期望看到的——这是Intel的视角。从开发者的角度来看,如果选择了Intel的小脑,那么同样选择Intel的大脑,就可以在统一的软件平台上去开发,从而降低开发和部署成本。
大小脑融合方案详解
如果你对Intel的AI PC、边缘、汽车生态发展思路有了解,自然就能立刻领会,Intel面向机器人所推的大小脑融合方案具体是什么样了。包括Intel在推介会上提的,面向机器人“构建开放平台”、与其他软硬件、ISV合作伙伴合作的思路,都和Intel现如今的其他业务发展方向如出一辙——有兴趣的读者可以去看看去年我们
谈过的Intel的企业AI战略
。