一个全球最大成人网站的爬虫

正文

请到「今天看啥」查看全文

简介

• 项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接

• 项目爬的是PornHub.com，结构简单，速度飞快

• 爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络，所以相对慢一点。

• 10个线程同时请求，可达到如上速度。若个人网络环境更好，可启动更多线程来请求，具体配置方法见 [启动前配置]

环境、架构

开发语言: Python2.7

开发环境: MacOS系统、4G内存

数据库: MongoDB

• 主要使用 scrapy 爬虫框架

• 从Cookie池和UA池中随机抽取一个加入到Spider

• start_requests 根据 PorbHub 的分类，启动了5个Request，同时对五个分类进行爬取。

• 并支持分页爬取数据，并加入到待爬队列。

使用说明

启动前配置

• 安装MongoDB，并启动，不需要配置

• 安装Python的依赖模块：Scrapy, pymongo, requests 或 pip install - r requirements . txt

请到「今天看啥」查看全文