主要观点总结
本文讲述了技术的发展以及人工智能的演变。从过去技术发展的历史背景到当前大语言模型的兴起，文章讨论了在AI时代教育的变革和人类的应对方式。提出了三个目标：挑战教育的极限、像文艺复兴时期的科学家一样思考、将AI作为良师但不依赖它，强调成为广谱型人才并超越工具依赖的重要性。
关键观点总结
关键观点1: 技术发展的历史背景
文章回顾了技术发展的历史，包括将过去25万年与系统的文字传播相比较，以及提到《人类简史》中关于人类进步与小麦驯化的观点。还介绍了从农耕社会到现代科技发展的过程。
关键观点2: 人工智能的兴起
文章讨论了人工智能的发展，特别是大语言模型的崛起。提到了大语言模型的训练方式、数据性质以及其与人类智能的对比。
关键观点3: AI时代的教育变革
文章讨论了AI时代教育的变革，提出了三个目标：挑战教育极限、像文艺复兴时期的科学家一样思考、将AI作为良师但不依赖它。强调了成为广谱型人才的重要性，并呼吁取消工具依赖。
正文
如果把我们自己看作一个智能体，把大模型视作另一个智能体，我们可以进行做一些横向比较。
这是大家熟悉的“人类”教育系统，是一条流水线：从小学到中学，再到大学，之后进行高等教育，走过独木桥再走纲丝，然后成为各行各业的专门人才——科学家、工程师、医生、律师、管理者等。这个流水线的特点是高度模块化、高度标准化，目的是提高效率。在AI时代，对个人来说，某些边界可能会有微调，有的人学习得更快，有的人则可以慢一点。从整体上来说，摆脱不了这个流水线，因为人的大脑就是要这么逐步在学习中提高。有研究表明，每一代人的IQ都比前一代略高，主要是抽象思维能力在逐步提升，这并非必然是因为我们变得更聪明，而是当代的技术文明的特点导致生存压力的结果，这个变化不但是缓慢的，也不可能跳过这个流水线。
当前的教育流水线培养出来的人才，通常在某一领域具备单一的专长，可能发表顶级期刊论文，掌握临近领域的知识。这是目前流水线成功培养的典型“产品“。如果某个人能在多个领域开花结果，那通常被认为是运气极好，甚至可以说是天赋异禀的例子。而极少数的一些天才，他们几乎是上帝的恩赐，比如达芬奇，比如冯诺依曼，后者是计算机领域的开山人物，也是博弈论，量子计算，细胞自动机等领域的开山人物。
还存在一种流水线，流程完全不一样。第一步就是背，再跟着做，最后进行“德育”修正，最后成品。这看似荒谬的流水线，正是大语言模型的训练方式。它的第一个任务是预训练，即不断“背诵”下一个词。大语言模型的背诵量极其庞大。例如，GPT-3训练时用了150万本书，而我自己在一年里最多读20本书，近几年忙起来，更是减少到5本。如果按照此速度计算，我一生最多读1000本书，而GPT-3仅用了3个月就“读完”了150万本书，而且最新模型的数据量还在不断增加，大概至少十倍，它的阅读量是惊人，把这些书背诵得非常好，是极其耗资源训练的过程。
本质上，大语言模型训练的这一步，是训练了一个程序，预测下一个字符：给定前面的X个字符，它会预测X+1的字符。这个预测不是随机生成字符，而是遵循文本中的统计规律。
第二步非常巧妙，让大模型学习多种任务，例如总结、问答、头脑风暴、信息提取等。这些任务是我们日常工作中最常见、最有用的类型。奇特的是，一旦模型学习了这些类型的能力，它可以将它们组合起来，应付日常工作和生活的需要。例如，如果收到一封邮件邀请我去参加什么会议，我要做的就是先总结，然后思考如何回复，大模型做完第二步训练，已经学会把这些类型的任务完美融合在一起做。
第三步相对简单，通过强化学习进行价值对齐，使其像一个乖巧的人类助手，确保输出有帮助、真实且无害。然而，问题在于，人类文本中充满了互相矛盾、甚至荒谬的观点。
例如，仍然有一些人坚信地球是平的，甚至创造出一套理论来解释重力。再比如训练语料中关于宗教中的不同观点，有的派别说，“只有我的上帝是上帝，你的不是”，而佛教说每个人都可以成佛，还有不同门派的无神论者，有的彻底不相信有神存在，还有像我这样的，觉得可能存在神，但现在没有证据。文本中参杂这些各种各样、互相矛盾的表述，更别提互联网上混乱的语料了。你如果问大模型，它能够面面俱到告诉你有哪些派别，但是在具体的案例里它自己的价值判断是什么呢？我理解 OpenAI 之类的模型目前还是偏“白左”的价值观，中国的大模型怎么样，我用得不多，没法评论。
这就是大模型训练的流水线，也是三个模块，打造了一个跟人类完全不一样的智能体，但是在讨论到底怎么看这个智能体之前，我们先讨论文本数据本身的性质。
数据反映的是世界，而世界万物的现象背后有两个根本的统计分布。
第一个是正态分布，如果多个因素共同叠加，就会呈现出钟形曲线。例如，身高符合正态分布，我肯定是三个方差之外的身高，我今天坐飞机时，看到前面有个庞然大物，居然是姚明，从身高上看，他就会处在正态分布中比我更远离中心的位置。
而另一个重要的分布是长尾分布
（注：更准确的应该叫幂律分布）
，只要当个体和个体之间进行纠缠、扰动、抱团，必然产生一个长尾分布。造成长尾分布的机理与正态分布不同，正态分布由中心极限定理所决定，而长尾分布背后的机理有好几种，比如优先连接：拥有更多粉丝的人的发言更容易被听到和点赞，所以粉丝会跟多；还有累积优势造成的正反馈，更有钱的人通过投资变得更加富有。
