专栏名称: 社会学了没
社会有学问,一个有趣、专业、接地气的泛社会兴趣社区。今天,你社会学了没?
目录
51好读  ›  专栏  ›  社会学了没

我们分析了六百万字歌词,告诉你中国的Rapper唱的都是什么嘻哈

社会学了没  · 公众号  · 社会  · 2017-07-27 22:10

正文

请到「今天看啥」查看全文



频繁地抓取网站的页面,IP 很容易被封。于是写了个抓免费代理的爬虫,抓了八百多个代理 IP,够用了。


2.效率问题


10万首歌,即使是1秒一个请求,那得27个小时,我可等不了27个小时。于是我决定开10个线程,三小时程序就能跑完。


……


然后在三小时之后,我收获一个约100M,49419首歌的数据库。


看着这满满的记录,感受到蜜蜂辛勤搬运后看着蜂蜜的喜悦,我相信,关于HipHop歌词的秘密全部都包含在里边了。



接下来,就是一些数据清洗、处理、分析的工作。


虾米的歌词都是用户编辑上传的,格式不适用数据分析,所以我得把无用的符号、编曲、作词之类的信息除去,然后中英文各自分词。英文需要去停词(对数据分析无用的词,一般没有实际含义,如 is、on、at、which),大小写变换,以及词形变换。英语中词汇有单复数、各种时态,为了易于分析,需要还原为词干。另外不管是中文还是英文都需要词性标注,一般来说分析也就分析名词和形容词,这些现成的开源库使用。


总之,我都搞定了,以下就是分析结果。


歌词中的关键字


我们先看看大陆的 rapper 歌词里有都写啥关键词



“世界”和“时间”占据首位,“老子”、“兄弟”、“baby”、“money”、“hiphop”、“real” 等词倒是让 rapper 的形象呼之欲出。rapper 的歌词里频繁提到“音乐”、“歌词”、“旋律”、“歌曲”,可见他们对自己的音乐非常在乎。嘻哈音乐由于有 freestyle 的文化,对亲自写词有要求,否则就不 “ real ” ,从节目中他们对偶像 rapper 的 diss 也能看出来。


接着,我们来看看与其他几个国家和地区的关键词对比↓


看起来 rapper 的生活差不多,无论大陆还是台湾,都喜欢喊 “baby”,身边都有一群“兄弟”和“朋友”,有“梦想”,平时都在唱 “hip hop” ,有“烦恼”了就骂骂街。







请到「今天看啥」查看全文