利用python爬取人人贷网的数据

正文

请到「今天看啥」查看全文

1．直接抓取数据。

2.模拟浏览器抓取数据。

3.基于API接口抓取数据

综合分析，我决定用第2种方法"模拟浏览器登录"，那得找好相应的python包，网上有：mechanize，selenium等等。

1.mechanize包的尝试

br.select_form(nr = 0) # Find the login form
br['vb_login_username'] = '你的用户名'
br['vb_login_password'] = '你的注册密码'

这段代码中老是遇到问题，第一，select_form中的nr怎么找，第二，在人人贷网站源代码中如何找所谓的'vb_login_username'，'vb_login_password'的专有名词。

其实我在代码测试中还是找到对于的nr=0，但是找了好久找不到对应的'vb_login_username'。（个人不太懂html，学的比较菜，有兴趣的可以尝试一下）。后来听朋友说可以试试selenium。

前面废话说了一大堆，都是我学的比较菜，也就是我的经验之谈。

2.selenium包的尝试（重点）

请到「今天看啥」查看全文