主要观点总结
本文介绍了大模型在推荐系统中的应用，包括其对推荐系统的三个层次的影响，即改变知识学习方式、改造推荐系统本身和创造新的推荐内容。文章还讨论了推荐系统的未来发展，包括利用大模型进行推荐系统改造的三种阶段和推荐内容生成的应用。最后，文章强调了大模型时代对推荐系统工程师的挑战和机会。
关键观点总结
关键观点1: 大模型改变了推荐系统的知识学习方式，通过开放式学习获取更丰富知识。
传统深度学习推荐模型的知识学习是封闭式的，大模型的出现改变了这一状况，通过多模态大模型，推荐系统能够融会贯通开放世界中能获取到的几乎所有知识。
关键观点2: 大模型改造了推荐系统的智能体结构，带来效果提升的新范式。
大模型的结构与传统深度学习推荐模型区别甚大，本质上是生成式模型结构，能够在推荐模型遇到效果提升瓶颈时提供新的解决方案。
关键观点3: 大模型开始创造新的推荐世界，实现个性化内容生成。
大模型能够越过推荐环节，直接为用户创造个性化内容，这是大模型可能带给推荐系统最大的革命。
关键观点4: 推荐系统工程师需适应大模型时代的技术趋势，结合算法、工程与大模型的联合创新与优化。
大模型时代对推荐系统工程师提出了新的挑战，需要不断学习和适应新技术趋势，结合算法、工程与大模型的联合创新与优化，才能在下一步的竞争中领先。
正文
第一种是 LLM 生成 Embedding 后输入推荐系统
。对于 LLaMA 这样的开源大模型来说，我们可以知道模型所有的参数，也可以对模型进行改造，所以在预训练完成之后，大模型可以被当作一个多模态特征的编码器，把多模态特征转换成同一隐空间内的 Embedding，这样就可以与深度学习推荐系统无缝衔接。
第二种是 LLM 生成文字 Token 后输入推荐系统
。对于 ChatGPT 这样的闭源大模型来说，我们无法让模型直接生成 Embedding，而只能通过它的 API 生成 Prompt 对应的 token 序列。这时 token 序列就可以成为大模型向推荐系统传播知识的媒介。当然在推荐模型中 token 还是会被转换成 embedding 来参与特征交叉。
大模型知识喂给推荐系统的两种方案
本质上，多模态大模型这里被当做了一个功能强大的 encoder，过去我们想构造一个多模态推荐系统，还需要为相应的模态分别构建 encoder，现在一个预训练的多模态大模型，或者是成熟大模型公司的 api 就解决所有问题。具体的方案有很多，比如下图的 MoRec 使用 Switch 游戏的介绍图片和介绍文字构建多模态特征，进行游戏推荐。
MoRec 融合多模态特征的过程
比如在 MKGAT（Multi-modal Knowledge Graphs for Recommender Systems）方案中，把图片，文本描述信息，结构化信息等多模态的 Embedding 通过 FC layers 整合起来，形成更全面的关于物品内容的 Embedding 表达。MKGAT 其实是一个比较老的方案，当时的图片类信息还是采用 resnet 作为一个编码器，现在通用的做法就是替换成大模型把图片转换成 Embedding 或者图片描述型 tag 后输入推荐模型。
MKGAT 方案中的多模态 Embedding 融合方案
再比如快手的多模态推荐模型方案 EM3（End-to-end training of Multimodal Model and ranking Model）。可以看到其最大的特点是用多模态大模型抽取出用户行为历史物品和目标商品的内容特征，Embedding 化后供后续模型做特征交叉。值得注意的是，ID 型特征还保留在模型中，因为 ID 特征和多模态内容型特征是互补的关系，二者包含的信息是不可相互替代的。
快手的多模态推荐模型 EM3
总的来说，不管这些方案的结构是怎样的，训练方式是预训练还是 E2E 训练，我们只要记住一件事情就可以理解他们的核心思路，那就是他们无一例外都在利用多模态大模型的能力把多模态的信息转换成模型可以学习吸收的 Embedding 或者文字 token。也无论相关的学术词汇多复杂，比如知识增强，大模型知识图谱，大模型特征工程等等，都可以归为这一类，那就是利用大模型改变推荐系统学习知识的方式。
大模型改造推荐系统的第二个层级是对推荐系统本身推荐方式的改造，或者更具代表性的是对推荐模型本身的改造。这一大趋势携带着所有推荐系统工程师们的一个深切的希望——深度学习的红利逐渐枯竭之后，推荐模型新的发展范式到底在哪里？
对于这一新范式的追寻，其实也经历了三个小的发展阶段。第一个阶段是探索期，甚至带着点为了在推荐系统中应用大模型而应用大模型的追热点时期。这一阶段的典型产物是一堆有玩具性质的 prompt 推荐系统。比如亚马逊的研究人员给出的一个解决方案，PALR（Personalization Aware LLMs for Recommendation，个性化感知大语言推荐系统）。它的主要推荐流程是把用户的历史行为，和候选物品的相关信息统统通过 prompt 的方式输入给大模型，让大模型自己来进行个性化推荐
PALR 的基本推荐流程
它的一般流程是，大模型先利用用户的历史行为推断出用户的基本兴趣画像。如下：
然后，再把用户的画像、历史行为文字描述、候选物品信息输入大模型，给出最终的推荐列表，如下：
