正文
规划研发了下一代技术
CloudMatrix。
简单来说,就是AI大模型预训练一定需要成百上千台服务器同时工作,这是一个大的集群,不能只从单个服务器节点性能来考虑,而是要从集群整体性能来考虑。
CloudMatrix技术将算力集群里面的CPU、NPU、DPU、存储和内存等资源全部互联和池化,从单体算力向矩阵算力演进,
构
建一切可池化、一切皆对等、一切可组合
的AI原生云基础设施,为企业提供澎湃的AI算力。
也就是说,算力集群里面任何一台服务器上面的CPU、NPU、存储等等,都是AI训练和推理可以调用的资源。
CloudMatrix架构还利用华为在通信技术全球领先这一点,通过超高带宽的Scale-Up网络实现从“传统以太网”向“共享总线网络”演进,把所有的硬件资源全部高速互联起来,计算集群内所有硬件资源全部实现对等连接,
再通过瑶光智能云脑对这些云上资源进行统一建模、灵活调度组合,按需提供给应用,覆盖大模型和小模型的训练和推理。
根据华为的测试,应用了CloudMatrix技术后,
盘古大模型在训练场景与传统架构相比,稠密模型可以提升20%的效率,稀疏模型可以提升60%的效率。
在推理场景性能也能提升30%。
第二点是
大模型技术中国在逐渐赶上来了,而且已经丰富多彩了。
根据不同的特色,现在我可以简单地把国产大模型分为几类:
1、有拼多多类型的,例如
最近这段时间火爆的是12月26日发布
的DeepSeek V3开源语言大模型,
它火爆倒不是因为性能大大
超过了
国外同行,而是同样性能下对算力的节省表现的不错;
2、还有经常出现
在各种全球大模型排行榜的,比如
通义千问、智谱清言等;
3、还有
日常普通人用的最多的,比如字节的豆包、月之暗面的kimi、百度的文心一言之类。
现在
在百度搜索栏操作,就调用了文心一言大模型的AI搜索能力。
2024年11月的日活使用量,豆包已经逼近900万,而在2024年大火的kimi日活也有300万了,注意这是日活,已经是很高的使用量了,而且还在迅速增长。
尤其是这个豆包,aicpb网站的排名说2024年11月的MAU(月活用户)人数已经5998万了,全球仅次于ChatGPT的2.8725亿排名第二。
4、基于行业场景,作用于改变业务流,提升生产力效率的行业大模型。
典型的如华为云的盘古大模型,科大讯飞的星火大模型等等,都在行业已经有不少应用。
这部分虽不为大众所熟知,却是扎扎实实带来行业变革,促进经济增长的“数智引擎”。
2024年11月18日,分析机构沙利文(Frost& Sulivan)发布了《中国行业大模型市场报告,2024》,其中提到华为云的盘古大模型,在行业大模型领域取得政务、工业、金融3个市场份额第一,其中政务大模型领域盘古大模型份额占50%,工业大模型领域盘古大模型占38%,金融大模型领域盘古大模型份额为33%。