一个爬虫项目送给大家！使用electron实现爬虫！实用的不行！

正文

请到「今天看啥」查看全文

最后突然想到，网站一般通过区分浏览器访问和机器访问来反爬，如果我就是用浏览器访问的呢？所以想到了electron，并且这东西可以编译成windows、mac软件直接安装在电脑本地，再也不用在我的小水管上爬了，简直完美。

大概思路

• 初始化项目

npm install -g vue-cli
vue init simulatedgreg/electron-vue electron-spider
# Install dependencies and run your app
cd electron-spider
yarn # or npm install
yarn run dev # or npm run dev

• 主要页面

由于是例子，直接改生成项目里的 landingPage.vue 页面了，我们爬一下 掘金 ，直接上代码吧

大致思路，用 webview 打开需要爬取的网址，该 webview preload 一个js文件，该文件可以访问新页面并且进行dom读取等操作（类似在浏览器控制台里执行js）。通过electron的相关进程直接通信的api和事件，进行数据传输，主页面拿到数据后可以存储起来或者做别的事。

请到「今天看啥」查看全文