专栏名称: AIGC新智界
区块链/数字货币/比特币中文资讯,创立于2011年,200多位专栏作入驻平台,国内最大区块链资讯原创基地(公众号【原创】认证),我们为以下合作伙伴供稿:火币、OKCoin、BTC.com、BTCC、币看、BTC123、比特时代、挖币网
目录
相关文章推荐
51好读  ›  专栏  ›  AIGC新智界

DeepSeek的“服务器繁忙”让所有人抓狂,背后究竟是怎么回事

AIGC新智界  · 公众号  · 比特币  · 2025-02-13 17:45

主要观点总结

DeepSeek因服务器繁忙而引发用户困扰,尤其在发布新的语言模型R1后。该问题在全球范围内引起关注,并导致用户对AI顶流应用如ChatGPT的使用体验下降。文章详细分析了DeepSeek遇到的问题,包括服务器中断、API不可用、用户量激增以及推理算力需求爆炸性增长等。同时,讨论了DeepSeek与其他AI产品如OpenAI的合作和对比,强调了算力储备和优化在解决这些问题中的重要性。目前,DeepSeek正寻找解决方案并尝试与云服务厂商合作以应对该问题。

关键观点总结

关键观点1: DeepSeek服务器繁忙问题引发用户困扰

发布新的语言模型R1后,DeepSeek面临服务器繁忙问题,导致用户无法正常使用其功能。全球用户都对此表示不满,并对比ChatGPT等AI应用的稳定性。

关键观点2: DeepSeek与其他AI产品的对比

与OpenAI等相比,DeepSeek在算力储备方面有所不同。DeepSeek遇到用户增长迅速的情况,对应激情况的准备时间较少。DeepSeek在某些方面采用了创新技术以降低训练成本,但与OpenAI的成熟合作模式和标准化技术有所不同。

关键观点3: 算力储备和优化是解决卡顿问题的关键

专家分析指出,算力储备和优化是解决DeepSeek卡顿问题的关键。DeepSeek需要找到降低推理成本的方法,并优化卡的输出以降低单次输出token的数量。

关键观点4: DeepSeek正在寻找解决方案并与云服务厂商合作

为解决卡顿问题,DeepSeek正在与云服务厂商合作以提供模型部署服务。同时,开发者们也在尝试提供解决方案以改善用户体验。

关键观点5: 中国AIGC产业应用峰会回顾

峰会汇集行业专家和领军企业,共同聚焦AIGC领域,探讨行业的新思路和新模式。


正文

请到「今天看啥」查看全文



DeepSeek-V3与R1都是一个671B的模型,模型启动过程就是推理的过程,推理时的算力储备需要与用户量相衬,比如有1亿用户量就需配备1亿用户量的显卡,不仅庞大,且与训练时的算力储备独立开来,并不相关。从各方信息看,DS的显卡和算力储备明显不足,于是频频卡顿。


这种对比让适应了ChatGPT丝滑体验的用户并不习惯,特别是他们对R1的兴趣愈发高涨的当下。


卡,卡,还是卡


而且,仔细对比,OpenAI和DeepSeek遇到的情况是很不同的。


前者有微软做后盾,作为OpenAI的独家平台,微软Azure云服务搭载了ChatGPT、Dalle-E 2图像生成器、GitHub Copilot自动编码工具,此后,这一组合成为了云+AI的经典范式,并快速普及成为业界标配;后者虽是初创,却大部分情况下依靠自建数据中心,与谷歌类似,而不依赖第三方云计算提供商。硅星人查阅公开信息后发现,DeepSeek在任何层面都没有跟云厂商芯片厂商开启合作(虽然春节期间云厂商纷纷宣布让DeepSeek模型跑在其上,但他们并没有开展任何真正意义的合作)。


而且,DeepSeek遇到了史无前例的用户增长,这意味着它对应激情况的准备时间也比ChatGPT更少。


DeepSeek的良好性能来自其在硬件和系统层面做出的整体优化。DeepSeek的母公司幻方量化,早在2019年就花了2亿打造萤火一号超算集群,到22年就默默存储万张A100显卡,为了更高效的并行训练,DeepSeek自研了HAI LLM训练框架。业界认为,萤火集群可能采用了数千至数万张高性能GPU(如英伟达A100/H100或国产芯片),以提供强大的并行计算能力。目前萤火集群支撑了DeepSeek-R1、DeepSeek-MoE等模型训练,这些模型在数学、代码等复杂任务中表现接近于GPT-4水平。


萤火集群代表着DeepSeek在全新架构和方法上的探索历程,也让外界认为,通过这类创新技术,DS降低了训练的成本,可以仅需西方最先进模型几分之一的算力,就训练出与顶级AI模型性能相当的R1。SemiAnalysis经推算指出,DeepSeek实际拥有庞大的算力储备:DeepSeek共堆砌了6万张英伟达GPU卡,其中包括1万张A100、1万张H100、1万张“特供版”H800以及3万张“特供版”H20。


这似乎意味着R1的卡量比较充足。但实际上,作为推理模型的R1,对标的是OpenAI的O3,这类推理模型需要部署更多算力用于应答环节,但DS在训练成本侧节约的算力,与推理成本侧骤增的算力,孰高孰低,目前并不明确。


值得一提的是,DeepSeek-V3和DeepSeek-R1都是大语言模型,但运作方式有差。DeepSeek-V3 是指令模型,类似ChatGPT,接收提示词生成相应文本进行回复。但DeepSeek-R1是推理模型,用户向R1提问时,它会首先进行大量的推理过程,然后再生成最终答案。R1生成的token中首先出现的是大量的思维链过程,模型在生成答案之前,会先解释问题,分解问题,所有这些推理过程都会以token的形式快速生成。


在耀途资本副总裁温廷灿看来,前述DeepSeek庞大的算力储备是指训练阶段,训练阶段算力团队可规划,可预期,不容易出现算力不足,但推理算力则不确定性较大,因为主要取决于用户规模和使用量,相对来说弹性较大,“推理算力会按照一定规律增长,但随着DeepSeek成为现象级产品,短时间内用户规模和使用量爆炸性增长,这导致推理阶段算力需求爆炸性增长,所以出现卡顿。”


即刻上活跃的模型产品设计师,独立开发者歸藏认同卡量是DeepSeek卡顿的主因,他认为DS作为当前在全球140个市场下载量最高的移动应用,现在的卡无论如何都撑 不住,哪怕用新的卡也不行,因为“新的卡做云是需要时间”。


“英伟达A100、H100等芯片运行一个小时的成本有公允的市场价格,DeepSeek从输出token的推理成本上看是比OpenAI同类模型o1便宜90%以上,这个跟大家的计算偏差不大,因此模型架构MOE本身不是最主要问题,但DS拥有的GPU数量决定了他们每分钟最多可以生产提供的token数,即便可以把更多GPU用来做推理服务用户,而不用于预训练研究,但上限在那摆着。”AI原生应用小猫补光灯的开发者陈云飞持类似观点。


也有业界人士向硅星人提到,DeepSeek卡顿本质在于私有云没有做好。







请到「今天看啥」查看全文