爬虫技术抓取网站数据 想要用python做爬虫，是使用scrapy框架还是用requests、bs4等库？

想要用python做爬虫，是使用scrapy框架还是用requests、bs4等库？

我个人推荐scrapy。实施起来太方便了。我觉得这个框架太棒了，我不需要写任何代码。是爬虫写的。让我们分享一下我自己的使用过程。

最近，我看到我想爬诗歌。就在不久前，我学会了如何爬诗。我想我会把它和scratch结合起来做一个爬虫。想一想就开始，目标网站的首选是诗网。我更喜欢辛弃疾，所以我以辛弃疾的诗为对象。

当然，我们还需要将爬网结果存储在服务器中。在这里我选择mongodb。这部分也很方便。只需编写一个类将数据写入mongodb。

爬虫技术抓取网站数据 爬虫python有什么用 普通人学python有意义吗

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。