专栏名称: GiantPandaLLM

专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创，每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你，大家一起共同进步(･ω<)☆

大语言模型推理，用动画一看就懂！

GiantPandaLLM · 公众号 · 3D · 2024-10-09 22:35

正文

模型就像个预言家，根据你输入的内容，预测下一个词会是什么，这个预测结果叫做 logits 。它代表了模型预测的当前下一个词在词表里的概率，模型的第一次前向推理称之为 prefill（装填）阶段，而后续的前向推理称之为decode（解码）阶段。

Sampler 就像从词表中抓阄，参考 logits 里指示的概率来选定下一个词。比如上述动图例子里，通过模型的四次前向推理，我们依次输出了 " promising

推荐文章

GiantPandaLLM · 图解Vllm V1系列6：KVCacheManager与PrefixCaching

昨天

GiantPandaLLM · 【博客转载】Row-Major VS Column-Major

2 天前

潮流先锋 · 预算不够买 ACRONYM 、Stone Island ？想乘上“机能风”买它就好丨老司机

8 年前

爱丽丝手札 · 不可思议！这家公司倒闭了，450万人抢着捐款，硬生生给救活了...

8 年前

美信全球 · 人民币汇率创9个月新高，换汇迎好时机，如何换最划算？

7 年前

马达+s+狐猴 · 汤显祖：关于爱情的演出与刑罚都无休无止

7 年前

网易蜗牛读书 · 集齐这四位大咖，我们将打开一本活的“台湾艺文志”

7 年前