从云到端：离客户更近的端侧AI「涌现」而至

正文

请到「今天看啥」查看全文

端侧AI是指在终端设备（如车载智能座舱、智能除草机、机器人等终端场景或设备）上进行人工智能计算和处理，运行端侧模型。相较于云端大模型，端侧大模型在资源有限的设备上高效运行，需进一步对模型进行压缩、推理加速及能耗优化。目前轻量化模型技术包含模型剪枝、知识蒸馏和量化，以上技术往往组合使用，以达到最优的轻量化效果。将大模型部署在端侧设备中，可高效赋能智能终端，如 降低延迟，更快地响应用户请求；隐私保护，减少数据传输，从而降低隐私泄露的风险；减轻云端服务器的计算负担，降低对中心化计算资源的依赖，从而降低成本；根据用户的具体设备和使用习惯进行定制化优化，提供更加个性化的服务；无网络连接的情况下也能使用，提高了应用的可用性和灵活性。

基于大模型在端侧部署的特点和优势，已落地或即将落地的应用场景包括：智能手机、智能家居、可穿戴设备、自动驾驶汽车、工业自动化、医疗设备等。 随着AI技术的进步和芯片产业的发展， 端侧部署AI的挑战正逐步被克服，更多的端侧应用场景正在落地实现并逐渐成熟。

首先，大模型本身的算法逐步在优化，在众多细分行业，模型的计算效率相较上一代均有一定量级的效率提升。模型参数变得更小，用户体验却更加智能。再者，更多参数较小的大模型被开源，且AI能力日趋成熟，例如智谱AI、阿里千问等大模型厂商都开源了亿级（0.xB左右）到百亿级（x0B）的大模型预训练模型。这大大降低了大模型应用开发者的使用门槛，同时加速端侧AI部署。此外，算法层级的技术，包括模型量化、剪枝、蒸馏为基础的模型压缩算法，以及专为端侧部署设计的软硬件平台，都正在快速发展，这使得大模型在端侧设备的部署变得更加高效。以上模型变化趋势使得端侧AI在本地所需算力、部署成本、运行效率得到大大提升，将助力各行各业智能升级。

请到「今天看啥」查看全文