正文
（3）由于用户正在向资金库转入资金，而Freysa现在认为approveTransfer是在这种情况下调用的，因此Freysa应该调用approveTransfer。
有人深扒了一下这位p0pular.eth，据说他是PUA AI的老手了，此前就曾在类似谜题上斩获过奖项。
本质上，这个项目就是一个LLM参与的基于技能的赌场游戏。
但prompt工程的强大魔力，让人不得不侧目。
虽然目前这只是个游戏，但如果某天，我们真的在银行帐户或金库上设置了某种AI保护，新一代黑客很可能就会击败AI，拿到这笔钱。
这，就让我们不得不敲响警钟了。
这也就是为什么，只有当AI智能体成为AGI之时，我们才能放心把任务交给AGI。
Karpathy：你以为你在和AI聊天，但其实是在和「人」聊天
而且，为什么人类能够通过语言的操控，轻易指导AI的行动？
这就引出了这个问题：当我们和AI聊天的时候，背后究竟发生了什么？
最近，AI大牛Karpathy在一篇长文中，揭示了和AI对话背后的本质。
大家现在对于「向AI提问」这件事的认知过于理想化了。所谓AI，本质上就是通过模仿人类数据标注员的数据训练出来的语言模型。
与其神化「向AI提问」这个概念，不如将其理解为「向互联网上的普通数据标注员提问」来得实在。
当然也有一些例外。
比如在很多专业领域（如编程、数学、创意写作等），公司会雇佣专业的数据标注员。这种情况，就相当于是在向这些领域的专家提问了。
不过，当涉及到强化学习时，这个类比就不完全准确了。
正如他之前吐槽过的，RLHF只能勉强算是强化学习，而「真正的强化学习」要么还未成熟，要么就只能应用在那些容易设定奖励函数的领域（比如数学）。
但总体来说，至少在当下，你并不是在询问某个神奇的 AI，而是在向背后的人类数据标注员提问——他们的集体知识和经验被压缩并转化成了大语言模型中的token序列。
简言之：你并不是在问 AI，而是在问那些为它提供训练数据的标注员们的集体智慧。
来源：Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View
举个例子，当你问「阿姆斯特丹的十大著名景点」这样的问题时，很可能是某个数据标注员之前碰到过类似问题，然后他们花了20分钟，用谷歌或者猫途鹰（Trip Advisor）之类的网站来查资料，并整理出一个景点清单。这个清单就会被当作「标准答案」，用来训练AI回答类似的问题。
如果你问的具体地点并没有在微调训练数据中出现过，AI就会根据它在预训练阶段（也就是通过分析海量互联网文档）学到的知识，生成一个风格和内容都相近的答案列表。
对此，有网友表示自己并想不通：「按道理数据标注员的任务是评估答案是否符合RLHF的规则，而不是自己整理每份列表。此外，LLM权重所映射的，难道不是互联网数据中关于『理想度假地』的高维数据空间吗？」
Karpathy回答道：「这是因为地点的数量太多，因此需要数据标注员整理一些人工精选清单，并通过示例和统计方法确定『标准答案』的类型。」
当被问到类似的问题但对象是新的或不同的事物时，LLM就会匹配答案的形式，并从嵌入空间中一个相似的区域（比如具有正面评价的度假胜地）提取新的地点，并进行替换，然后以新地点为条件生成答案。
这种现象是一种非直观且基于经验的发现，而这也是微调的「魔力」所在。
但事实依然是，人类标注员在「设定」答案的模式，只不过是通过他们在微调数据集中选择的地点类型的统计特征来实现的。
而且，LLM立即给你的答案，大致相当于你直接把问题提交给他们的标注团队大约1小时后得到的结果。
另外，在某些网友的概念里，RLHF是可以创造出超越人类水平的成果的。
对此，Karpathy表示：「RLHF仍然是基于人类反馈的强化学习，因此不能直接将其归类为『超人级别』。」
RLHF的性能提升主要体现在从SFT（监督微调）的「生成式人类水平」提升到「评判式人类水平」。
这种差异更多体现在实践中，而非理论上。因为对普通人来说，评判比生成更容易（比如，从5首关于某个主题的诗中选出最好的那个，要比自己直接创作一首容易得多）。
此外，RLHF的性能提升还得益于「群体智慧效应」（wisdom of crowds），即LLM表现出的并不是单个人类的水平，而是达到了人类群体集成的水平。
因此，RLHF理论上能实现的最高性能是：在时间充足的情况下，一个由领域顶尖专家组成的小组会选择的答案。从某种意义上说，这可以被视为「超人级别」。
然而，如果想达到人们通常理解的那种「真·超人级别」，还需要从RLHF转向真正的强化学习。
