专栏名称: 企业存储技术

企业存储、服务器、SSD、灾备等领域技术分享，交流 | @唐僧_huangliang （新浪微博）

相关文章推荐

萌宠萌 · 煮饭时想用电饭煲，却被猫给霸占了，而且看它表 ... · 16 小时前

萌宠萌 · 给猫梳毛的时候，因为这毛有点打结，结果就有了 ... · 16 小时前

萌宠萌 · 狗狗用体温在雪地里做窝，有人走近一看，瞬间鼻酸！ · 16 小时前

智利中文网 · 圣地亚哥宠物店“狂飙”：五年内数量翻倍，突破 ... · 昨天

萌宠萌 · 工作人员骑大熊猫遭游客举报，园长怒喷：就骑了 ... · 昨天

51好读 › 专栏 › 企业存储技术

都说是7B大模型，为什么人家只用CPU就能吐字飞快...

企业存储技术 · 公众号 · · 2024-07-16 07:40

正文

请到「今天看啥」查看全文

Core Ultra 7 U15

Intel Graphics

32GB LPDDR5x 6400

我使用的PC配置如上表，还不是之前AI PC测试中的最高配置。本次测试会直接跑在CPU核心上，如果给大模型发出字数较少的聊天，等待延时也基本能接受（跟独立GPU自然没法比）。 Token/s输出速度并没感觉比iGPU慢太多。与我在《 LLM大模型推理测试 & AI PC选型指南 (1) 》中测试的情况基本相符。

然后我又简单试了把LAG知识库，只导入了一个几MB的pdf，问点啥就要等好久了。此时普通PC的CPU核心确实体验不够好。参考之前测试的下图，一旦输入文字量多了，iGPU特别是Core Ultra的集显优势就会很大。至于知识库回复的质量嘛，跟我之前分享的PrivateGPT水平似乎差不多，看来RAG要想效果做好还是有些技术门槛的。