大数据 用Python写爬虫，用什么方式、框架比较好？
用Python写爬虫，用什么方式、框架比较好？
我更多地使用我自己的刮痕。当然，较小的项目是直接请求的。数据库，再看需求，小项目直接用SQLite，MySQL和mongodb也可以
关于Python爬虫，有很多第三方库，比如scratch等，小编写了一系列的文章，关于爬虫，可以参考学习，[大数据开发工件-Scratch spider框架（代码输入部分）-今天的标题]https://m.toutiaocdn.com/i6612149341303865859/？app=newsuarticle×tamp=1599008220&useuunewustyle=1&reqid=202009020857002103422021488be6&groupid=6612149341303865859&ttfrom=copylink&utmsource=copylink&utmmedium=toutiaoios&utmcampaign=clientushare
首先，我们需要弄清楚我们能看到的所有网页，无论是文本，图片或动画，用HTML标记，然后浏览器会以视觉和美学的方式向我们展示这些标记。如果我们想做网络爬虫，那么我们的爬虫就没有视觉，只有逻辑，只有爬虫眼中的HTML标签，而其他东西在爬虫眼中，表达式都是浮云，所以爬虫其实是在读HTML标签（这里涉及的一个知识点就是获取HTML标签）。一个需要使用的库是请求库（通过web请求获取HTML元素），然后从HTML标记中提取它们想要的内容。这是一个网络爬虫。逻辑就这么简单。如果您有使用python的经验，建议您使用crawler框架scratch
大数据 python爬虫库有哪些 python爬虫要学什么框架
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
