淘宝反爬虫太厉害了 学习python爬虫要着重学习MySQL吗？

学习python爬虫要着重学习MySQL吗？

我不认为学习Python crawler和学习mysql之间有什么关系。当我们学习crawler时，我们不能理解mysql，或者我们不能理解python对mysql的操作。让我们看看Python crawler的整个过程。

从上面的流程来看，在数据存储方面，我们会存储数据，也就是说在数据存储方面，我们会涉及到mysql、文件等类型的操作。所以，即使我们不了解mysql，我们也可以让爬虫程序下一步运行。然后对网络上的数据进行爬网。

java和python在爬虫方面的优势和劣势是什么？

Python

强大的网络功能，模拟登陆，解析JavaScript，缺点是网页解析Python编写程序非常方便，著名的Python爬虫有scratch等

Java

Java有很多解析器，对网页的解析支持非常好，缺点是网络上有很多Java开源爬虫，比如nutch，中国有优秀的webmagicjava解析器，比如Htmlparser和jsoup，可以满足Java和python的通用需求。如果需要模拟登陆和反采集，选择python更方便。如果需要处理复杂的网页，解析网页内容生成结构化数据或精细解析网页内容，可以选择Java。

淘宝反爬虫太厉害了 常见的反爬虫机制 python爬虫反爬怎么处理

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。