事实上，大部分人都不需要学爬虫，因为他们工作的公司有自己的数据库，里面有数据，可以帮你进行商业分析。

何时使用爬虫软件呢？

如果在办公室里没有您所需要的数据，您就得从网上收集一些数据，这时就可以利用爬行器模拟浏览器打开网页，获得我们想要的那部分信息，从而提高工作效率。

I.爬虫概念：

Web爬行器(又称网页蜘蛛、网络机器人)是模拟客户机发送网络请求、接收请求响应、

一种根据特定规则，自动获取因特网信息的程序。

二.爬虫分类：

1.普通爬虫：一般用于搜索引擎。

2.主题爬虫：特定站点的爬虫。

三.Robots协定：

该站点通过Robots协议告诉搜索引擎哪些页面是可以获取的，哪些是无法获取的。