【含代码】Python爬虫实战：爬取全站小说排行榜

正文

请到「今天看啥」查看全文

看到这么一大条就对喽，对比一下网页源码，发现是一致的。

这步观察很重要，因为这就说明该网站没有使用AJAX异步加载，否则就要开始抓包的工作了，这个我们留着分析动态网站时候再说。建议大家在没有更好的方法时使用。之前记得确实有直接判断的方法，然而一不小心忘记了，有知道的读者还请发给我哦。

我们现在得到了网站的response，接下来就是对我们想要获取的数据进行解析、提取，但等等，考虑到我们要爬取大量小说，不搞一个数据库存储真是太失败了，作者推荐MongoDB数据库，属于NOSQL类型数据库，以文档存储为主，这里用来爬小说真是太适合不过了。但安装起来需要一定的程序，想要试着做做的骚年可以参考一下下载和安装教程，参考链接：http://blog.csdn.net/u011262253/article/details/74858211，在安装好后为方便启动，可以添加环境变量，但这里有个坑，你要先打开mongod(注意是mongodb，别一上来就打开mongo)，然后需要准确添加dbpath路径，不然打开很容易就会失败，上图上图：

失败状态

成功状态

添加路径后成功连接，出现waiting for connections on port 27017，则表示数据库连接成功，而后就不要关掉这个终端了，只有保持数据库是连接的，才可运行MongoDB数据库（不然报错你都不知道自己是怎么死的）

好了，连接好数据库后，我们将数据库与编辑器进行交互链接，位置很隐秘，在File>>Settings>>Plugins下添加组件Mongo Plugin，没有就下载一个：

盗个图

我们在编辑器内编写代码，引入Python专门用来与MongoDB交互的模块pymongo，然后在最上面链接MongoDB数据库的端口，默认是27017，我们先创建一个叫做reading的数据库，然后在reading内新建一个叫做sheet_words的数据表，代码如下：

我们先找一个叫做《修罗武神》的小说来练练手，个人来讲，我很讨厌看小说时来回的翻页，有时候还跳出广告，这时候我还得返回去重新翻页，作为一名懒得不行的懒人，我想到要是把整部小说放进一个文档里再看不就好了么，但要是一章一章的复制粘贴我想还是算了吧，这时候你就知道爬虫是有多么便捷了。好，现在我们要做的是把《修罗武神》这部小说完整的爬取下来，并在数据库中备份。我们回到刚才停留的地方，在得到response后，我们应该选用一种方法来解析网页，一般的方法有re,xpath,selector(css),建议新手使用xpath而不是re,一是因为re用不好很容易导致错误，“当你决定用正则表达式解决问题时，你有了两个问题。”，相比较xpath才是步骤明确，十分稳妥；二是在Firefox，Chrome等浏览器中可以直接复制xpath路径，大大的减少了我们的工作量，上图：

请到「今天看啥」查看全文