运用 Redis 构建分布式爬虫，抓妹子图

正文

请到「今天看啥」查看全文

}

2：加任务队列

计算并发送请求获取根页面的html从中匹配到img的地址发送到本地redis中。

def push_redis_list () :

r = Redis ()

print r . keys ( '*' )

for i in range ( 100 ) :

num = 5100 + i ; #抓取的取件仅在5100--5200之间

url = 'http://www.meizitu.com/a/' + str ( num ) + '.html'

img_url = requests . get ( url , timeout = 30 )

#print img_url.text

#time.sleep(10)

img_url_list = re . findall ( 'http://pic.meizitu.com/wp-content/uploads/201.*.jpg' , img_url . text )

print

请到「今天看啥」查看全文