正文
在以往的蒸馏技术下,学生模型的表现与教师模型存在明显差距。但DeepSeek通过上述蒸馏方式,使小模型不仅继承了DeepSeek-R1的推理能力,在推理效率和资源占用方面也展现出优势。
据官方公众号,在开源DeepSeek- R1-Zero和DeepSeek-R1这两个660B模型的同时,DeepSeek利用R1的输出,蒸馏出6个小模型并开源给社区。
其中,32B和70B模型在多项能力上可对标OpenAI o1-mini。DeepSeek-R1-Distill-Qwen-32B在AIME 2024基准测试中实现了72.6%的Pass@1,优于其他开源模型。DeepSeek-R1作为开源模型,应用厂商能够充分发挥自身积累的场景知识和优质数据优势,打造出更适配下游应用的小模型。
我们认为,此版本标志着AI应用朝着全面普及化和高性能推理应用的方向迈出了重要一步。
图表2:蒸馏小模型超越 OpenAI o1-mini
分类来看,不同规格的模型有着不同的适用场景,我们总结来看其中1.5B / 7B / 8B:适用于本地部署,因其资源消耗较低,因此适合处理轻量级任务;14B / 32B:具备更强的推理能力,能够应对更为复杂的任务,例如代码补全、长文本问答以及多模态任务等;70B / 671B:性能表现更接近GPT-4级别,可进行更为复杂的推理和决策工作,主要面向大规模云端推理场景 。
AI+汽车电子:算法平权有望推动舱驾升级,国产芯片迎来新机遇
自DeepSeek发布开源模型以来,国内车企在智能座舱和智能驾驶两个方面展开了积极探索。
2月6日,吉利汽车宣布将DeepSeek-R1与自研的星睿AI大模型深度融合。极氪旗下自研的Kr AI大模型、东风猛士917智能座舱、长城Coffee Agent大模型等
也相继接入DeepSeek-R1大模型,进一步增强了车端与云端的AI能力。目前,这些应用场景主要集中在智能座舱领域,旨在提升座舱的人机交互体验。我们认为,智能驾驶领域也有望深度受益于DeepSeek,但进程相对较慢。这主要是因为DeepSeek属于大语言模型,而自动驾驶通常使用垂直大模型,如何实现两者的有效转变是车企需要深入思考的问题。
我们认为DeepSeek可能从以下方面影响汽车芯片投资机会:
1)DeepSeek推动智驾/智舱普及,硬件预埋促使汽车芯片进入高速增长阶段。
近年来,自动驾驶技术迭代迅速,从高精度地图发展到端到端大模型,再到如今智能驾驶达到高速NOA、城市NOA的水平,L3及更高级别自动驾驶有望加速实现。如今AI的迭代速度远超车企,汽车行业已进入软件定义汽车的时代。硬件预埋不仅可以收集数据用于训练大模型,还能通过OTA升级推送更优算法。因此,尽管算法仍需一定时间优化,但硬件高速增长已然来临。
比亚迪于2月10日召开智能化战略发布会,正式发布高阶智驾系统“天神之眼”。“
天神之眼”分为三个版本,其中天神之眼A、天神之眼B搭载于仰望、腾势及比亚迪的中高端车型;天神之眼C随首批21款车同步上市,涵盖7万级到20万级车型,全面覆盖不同消费层次的需求。“天神之眼”的技术亮点在于比亚迪独创的璇玑架构,该架构整合车端与云端AI,实现全栈自研全闭环端到端控制,将控制响应时延缩短至10ms。比亚迪还计划在2025年让至少60%的车型搭载高速NOA及以上的智驾系统,逐步推动高阶智驾技术的普及,并在未来推出更高级别的DiPilot 1000/2000,支持L3级自动驾驶。
我们认为国产车企今年底前有望跟进升规升配,汽车芯片在未来3年有望保持高景气。
2)提升车端端到端大模型性能,能让更多中低端车型部署端侧模型,利好国产平价芯片。
大模型技术用于智驾面临的挑战之一是线控底盘,底盘控制技术决定刹车、转向、减速和回避等能力。由于行车速度快,对响应及时性要求高,部署在车端的端到端模型决定了智驾性能。一些发力车端的车企,如理想,采用“端到端 + VLM”双系统。其中,VLM 模型参数规模为2.2B,部署在一颗Orin X车端芯片上,用于指导另一颗Orin X上的端到端模型。不过,这种方案并非最终解决方案,它反映出单个芯片支持的端到端模型能力存在不足,而DeepSeek的模型优化思路可用于提升既定算力下的推理性能。另一些发力云端的车企,秉持先在云端探索更强能力,再在车端实现降维的理念。鉴于云端本身具备良好的大模型能力,这类企业也可借鉴DeepSeek的蒸馏技术提升车载端到端模型性能。
DeepSeek 运用知识蒸馏技术,将复杂参数的大模型压缩为适合车端的轻量级小模型,在大幅降低车端算力需求的同时,保留了大部分性能。这使得智能驾驶对高算力硬件的依赖降低,有助于国产智驾SoC发挥自身优势,对在中阶算力有较多布局的国产芯片供应商是一大利好。武当C1200家族是黑芝麻智能专为多域融合、舱驾一体应用场景打造的高性能计算平台,具备高算力、低功耗、高可靠等优势。2月10日,比亚迪在智能化战略发布会上发布全民智驾战略,并推出天神之眼C高阶智驾三目版。同时,
地平线最新一代车载智能计算方案征程®6系列正式全球首发落地。