一张顶20张H100！首款大模型专用ASIC挑战英伟达，哈佛辍学华人参与创办

正文

请到「今天看啥」查看全文

那么Sohu能威胁到英伟达的地位么？ ‍

考虑到Sohu更适合推理而不是训练，对于其他注重AI推理的芯片如 Groq 和 SambaNova 更是一种挑战，而不是威胁英伟达。

实在不行，老黄也可以使用钞能力把整个Etched买下来嘛 （手动狗头） 。

把Transformer烧录到芯片里

ASIC全称是应用 专用集成电路 （Application-Specific Integrated Circuit） ，相当于把某种特定的程序“硬件化”。并且只为一种任务优化，去掉不必要的功能，以达到比通用芯片更快并且功耗更低的目的。

如比特币后期，矿工们就抛弃了GPU，使用挖矿专用ASIC芯片能带来更多的利润。又或者手机里的视频解码芯片，通常也是一种ASIC。

具体到Sohu，就相当于 把Transformer网络架构“烧录”到芯片里 ，公司名称Etched也是取自“蚀刻”的意思。

Sohu由 台积电4nm工艺制造 ，只有1个核心，每张芯片配有144GB HBM3E高带宽内存。

一张芯片最高能支持100万亿参数大模型（现在根本还没有这么大的），支持MoE架构和各种Transformer变体，支持束搜索和蒙特卡洛树搜索解码。

基本上今天主流大模型需要的支持都考虑到了。

在Etched自己给出的测试结果中，Sohu比推理Llama-3 70B比H100快20倍以上， 具体设置如下：

请到「今天看啥」查看全文