主要观点总结
开源词频数据库wordfreq宣布停止更新。该项目的创建者表示生成式AI污染数据、数据源变化及互联网现状的变化是该决定的主要原因。停止更新引发了网友的广泛讨论，涉及生成式AI的影响及互联网内容质量的扭曲等问题。
关键观点总结
关键观点1: wordfreq是一个基于Python的开源库，提供超过40种语言的单词频率数据。
允许用户轻松获取语言中单词的使用情况。
关键观点2: wordfreq停止更新的原因。
主要由于生成式AI污染数据、数据源难以获取和互联网现状的变化。
关键观点3: 生成式AI的影响。
生成式AI生成的文本污染了互联网，使得发现、研究和人类互联网更加难以找到。这也影响了研究项目如wordfreq的运行。
关键观点4: 互联网内容质量的扭曲。
由于谷歌等非正式SEO规则的影响，网络内容质量出现扭曲。表现为单句段落盛行、关键词过度重复，以及对内容“可索引性”的过度追求而牺牲了可读性。
关键观点5: 网友对wordfreq停止更新的看法。
网友认为这一现象反映了生成式AI技术的崛起给互联网带来的变化，包括生成式人工智能垃圾邮件的污染、数据抓取的问题以及互联网垃圾信息漫天飞的现状。
正文
Wordfreq 数据属于一份语言快照，反映的是 2021 年之前的各种在线资源。Wordfreq 作者表示，放弃对项目更新主要出于以下几个原因：
在 Robyn Speer 看来，已经没人能对 2021 年之后的人类语言使用情况做出可靠的归纳和分析了。
开放网络（通过 OSCAR）一直是 wordfreq 的重要数据来源之一。现如今，整个网络充斥着大语言模型生成的垃圾信息，这些垃圾信息并非由人撰写、没有传达任何信息。盲目将这些垃圾信息包含在数据当中，只会扭曲 wordfreq 所关注的词汇使用频率。
当然，wordfreq 以往的数据源中也同样存在垃圾信息，但其尚处于可管理的水平，而且通常可以被及时发现。大语言模型生成的文本则被伪装成真实语言，貌似能够反映背后的意图——可实际情况是，其既没有意图，输出结果又沸反盈天。
以 Philip Shapira 的报告为例，其中提到 ChatGPT（OpenAI 发布的高人气生成语言模型）对“delve”一词的痴迷程度远超正常人类的范畴，并导致其总体使用频率上升了整整一个数量级。
Robyn Speer 表示，“开放式网络抓取是该项目数据来源的重要组成部分，现在整个网络充斥着由大型语言模型生成的垃圾数据，这些垃圾数据并非由任何人编写，
无法传达任何信息
。将这些垃圾数据纳入数据会扭曲词频。”
“以前，尽管互联网上和 Wordfreq 使用的数据集中一直存在垃圾信息，但这些垃圾信息是可控的，而且通常可以识别。大型语言模型会生成伪装成真实语言的文本，尽管其背后没有意图，而且它们的输出随处可见，”她写道。
