我们分析了六百万字歌词，告诉你中国的Rapper唱的都是什么嘻哈

社会学了没 · 公众号 · 社会 · 2017-07-27 22:10

正文

请到「今天看啥」查看全文

频繁地抓取网站的页面，IP 很容易被封。于是写了个抓免费代理的爬虫，抓了八百多个代理 IP，够用了。

2.效率问题

10万首歌，即使是1秒一个请求，那得27个小时，我可等不了27个小时。于是我决定开10个线程，三小时程序就能跑完。

……

然后在三小时之后，我收获一个约100M，49419首歌的数据库。

看着这满满的记录，感受到蜜蜂辛勤搬运后看着蜂蜜的喜悦，我相信，关于HipHop歌词的秘密全部都包含在里边了。

接下来，就是一些数据清洗、处理、分析的工作。

虾米的歌词都是用户编辑上传的，格式不适用数据分析，所以我得把无用的符号、编曲、作词之类的信息除去，然后中英文各自分词。英文需要去停词（对数据分析无用的词，一般没有实际含义，如 is、on、at、which），大小写变换，以及词形变换。英语中词汇有单复数、各种时态，为了易于分析，需要还原为词干。另外不管是中文还是英文都需要词性标注，一般来说分析也就分析名词和形容词，这些现成的开源库使用。

总之，我都搞定了，以下就是分析结果。

歌词中的关键字

我们先看看大陆的 rapper 歌词里有都写啥关键词 ⇣

“世界”和“时间”占据首位，“老子”、“兄弟”、“baby”、“money”、“hiphop”、“real” 等词倒是让 rapper 的形象呼之欲出。rapper 的歌词里频繁提到“音乐”、“歌词”、“旋律”、“歌曲”，可见他们对自己的音乐非常在乎。嘻哈音乐由于有 freestyle 的文化，对亲自写词有要求，否则就不 “ real ” ，从节目中他们对偶像 rapper 的 diss 也能看出来。

接着，我们来看看与其他几个国家和地区的关键词对比↓