正文
过去，计算机还无法自行生成内容，无法进行有智能的对话，比如在 VKontakte 和 Odnoklassniki 这些社交平台上，只有人类有能力提出对政府的异议。然而，如果网络空间被塞进了几百万个机器人程序，都能生成内容、进行对话，还能自行学习与发展，情况将会如何？这些机器人程序的设计者可能是外国人士或异见分子，希望传播不同于官方的想法，而且当局对此或许无计可施。就当局的立场而言，如果在授权机器人程序运作之后，这些程序收集了关于该国现状的各种信息，找出其中的模式，并逐渐自行发展出与政府不同的观点，情况岂不是更糟？
这就是一种一致性问题。虽然人类工程师可以尽最大努力打造出向政府看齐的人工智能，但鉴于人工智能具有自我学习与改变的能力，难保哪天走向政府不乐见的方向。特别有趣的一点在于，正如奥威尔在《一九八四》所解释的，极权信息网络常常都需要依赖双言巧语（doublespeak），例如一些极权国家的宪法会做出许多崇高的承诺，比如“人人均应享有思想及言论自由”“人人均应享有寻求、接收、传递、生产与散播信息的自由”“大众媒体之自由应受保障，不得实施审查制度”等等，但几乎没有人会天真到相信这些承诺的字面意义，而计算机并不懂这样的双言巧语。如果要求聊天机器人程序遵守极权国家的法律与价值观，它可能会在读了宪法之后，认定言论自由是该国的核心价值，而在该国的网络空间待上几天，观察整个国家信息领域发生的种种事情之后，这个聊天机器人程序就可能会开始批评该国的政权违反了言论自由这项核心价值。人类虽然也会注意到这些矛盾，但会因为恐惧而不敢明说。聊天机器人程序却是看到什么说什么，哪有什么不敢说的呢？人类工程师该怎样才能向聊天机器人程序解释，虽然宪法明文保障每位公民的言论自由，禁止实施审查制度，但聊天机器人程序其实不该相信宪法，也不能提理论与现实之间的差距？就像曾经有人跟我说的，在极权国家长大的人，相信问题会带来麻烦。但在训练算法的时候，如果要它相信“问题会带来麻烦”这种原则，算法又要怎么学习与发展？
最后，政府如果采取了某项极为失败的政策，后来又改变心意，常常就会把失败推到别人头上，掩饰自己的过错。而人类又常常是经过惨痛的教训，才能学会忘记那些给自己找麻烦的事实。但我们要怎样才能训练聊天机器人程序，要它赶快忘记那些今天被批得一文不值，但在短短一年前还是国家官方立场的政策？这将是极权政权难以应对的重大技术挑战，特别是在聊天机器人程序越来越强大，也越来越不透明的情况下。
当然，民主政权也会有类似的问题，聊天机器人程序可能会说一些政府所不乐见的话，或者提出一些危险的问题。如果微软或脸书工程师已经尽了最大努力，聊天机器人程序却还是散播种族歧视的言论，该怎么办？民主政权的优势，在于就算真的遇上算法不受控制的情况，处理起来也能够较有余裕。因为民主政体“藏在柜子里的骷髅”可能会少一些，所以就算碰上反民主言论，大体上也能够包容。但极权政权简直就像在柜子里藏了整个见不得光的墓园，因此完全无法承受任何批评，这种时候，会提出异议的机器人程序就会形成极为严重的挑战。
电影《1984》（1984）剧照
算法的傀儡
长期而言，极权政权还可能遇上更大的危险：算法并不是仅仅批评这些政权，而是直接控制了这些政权。纵观历史，专制者最大的威胁常常来自下属。第五章提到过，没有哪个罗马皇帝是被民主革命赶下台的，都是被下属推翻或成了傀儡。要是 21 世纪的专制者把太多权力交给计算机，就有可能成为计算机的傀儡。独裁者最不乐见的，就是创造出比自己更强大的或自己控制不了的力量。
