第一章 网络爬虫入门思维导图

网络爬虫又称为“网络蜘蛛”，是一个用实现自动采集网络数据的程序。

网络爬虫按照系统结构和工作原理的不同，大致可以分为四类: 通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫。

每个独立的搜索引擎都有自己的爬虫程序，爬虫程序每天连续地爬取相关网站，提取信息保存到索引数据库中，如 Google 爬虫 Googlebot、百度爬虫 Baiduspider、必应爬虫Bingbot 等。此外，有些搜索引擎对应不同的业务还有不同的爬虫，如百度图片爬虫Baiduspider-image、百度新闻爬虫 Baiduspider-news 等。搜索引擎在用户输入搜索信息后并不是直接搜索整个互联网，而是对预先建立好的索引数据库进行检索。

爬虫程序首先要做的工作是爬取网页，即获取网页的源代码。源代码里包含了网页的有用信息，所以只要把源代码爬取下来，就可以从中提取想要的信息。 爬虫程序向网站的服务器发送一个HTTP 请求，服务器返回给爬虫程序包含所需数据的 HTIP 响应(即网页源代码)。Python 提供了许多与网络爬虫相关的库，其中，在爬取网页方面有urllib、requests、selenium 库等。

爬取网页后，接下来就是解析网页了。解析网页是用户根据网页结构，分析网页源代码，从中提取想要的数据。它可以使杂乱的数据变得条理清晰，以便用户后续处理和分析.解析网页万能的方法是正则表达式，但是构造正则表达式比较复杂且容易出错，所以Pvthon 根据网页节点属性、CSS 选择器及XPath 语法提供了网页的解析库，如beautifulsoup4、lxml库等。使用这些库，用户可以高效快速地解析网页。

解析网页提取数据后，一般要将提取到的数据保存起来以便后续使用。保存数据的方式有很多种,可以将其简单保存到JSON或CSV文件中,也可以保存到数据库中,如MySOI和MongoDB 等。

虽然互联网世界已经通过自己的规则建立了一定的道德规范 (Robots 协议)，但法律部分还在建立和完善中。从目前的情况来看，如果抓取的数据用于个人使用或科学研究，那么基本上是不违法的;但如果数据用于其他用途，尤其是转载或商业用途，那么根据爬取网站数据的不同情况有不同的后果，严重的将会引起民事纠纷甚至触犯法律。

Robots 协议(又称“爬虫协议”)的全称是“网络爬虫排除标准”(Robots exclusionprotocol)。网站管理者可以通过它来表达是否希望爬虫程序自动获取网站信息的意愿。