正文
下面我们讲讲爬虫的基本结构和简单实现。这篇文章我不准备详细地讲具体怎么写爬虫，只是先用一个非常简单的实现，给大家看看爬虫是个什么样子。详细的内容我们后面一个一个慢慢说。
一、爬虫的基本结构
让我们忽略掉来自各种各样的资料对于爬虫结构的描述，把问题尽可能地描述简单一点。前面说到，爬虫是一个获取正常浏览器可以获取的数据的自动化获取程序。那么，从这个功能出发，我们需要干的事情其实就两件事情：找到我们需要的网页，然后把他们一个一个处理一遍。（这句话很重要，我们在后面的后面讲到海量数据爬取策略的时候还要回到这句话。）那么问题就来了：一，怎么找到我们需要的网页的那个入口？二，怎么处理我们需要处理的网页？
对于单个页面来说，入口的来源有两种，一种是已知地址，比如我们院的网站的教学研究人员：教学研究人员；
另外一种是你可以通过前面爬下来的网页中获取入口，比如这个页面上所有老师的个人主页。这一点很重要，后面我们在把小爬虫逐步变大的时候还要反复回到这里。
好的，后面的部分，让我们通过解决第二个问题（处理网页）的过程，顺便看看怎么解决第一个问题（获取更多入口）。我们一起开看看一个单页爬虫是怎么实现的。
二、爬虫实例：简单的单页爬虫
好了，现在我们要处理网页了。可是网页要怎么处理呢？让我们回忆一下我们使用浏览器的过程：你先把一个地址复制进浏览器的框框里面，或者点开一个链接；然后浏览器的进度条跑一下（有可能快也有可能慢），然后我们就在浏览器里面看到了数据。首先，进度条跑的过程完成了一个对网页的请求，然后浏览器把请求下来的数据进行处理，然后就输出出来。这是一个极其简化但是不太准确的对于浏览器工作原理的描述。那么爬虫和浏览器有什么不同呢？一般来说，我们是只需要解析网页，而不需要渲染浏览器环境的；另外，我们需要特定网页的特点数据，因此要用一定的方式把数据组织并储存起来。所以，爬虫的核心模块有三个：请求、解析、储存。
首先我们给一个入口：教学研究人员。
这就是我们今天要处理的目标网页。我们今天要实现的目的就是把这个页面上所有老师的姓名和个人主页的链接（也就是可能的下一次爬虫的入口）提取出来。下面开始写爬虫吧~
1、请求
这里我们使用的package是requests。这是一个第三方模块（具体怎么下载以后再说），对HTTP协议进行了高度封装，非常好用。所谓HTTP协议，简单地说就是一个请求过程。我们先不管这玩意是啥，以后再讨论。这个部分，我们要实现的目的是把网页请求（或者说下载）下来。
首先我们导入
requests
：
import requests
