scrapy自动爬虫执行流程 如何通过网络爬虫获取网站相关数据？
如何通过网络爬虫获取网站相关数据？
1、在站内收集API入口；
2、用搜索引擎搜索“某网站API”；
3、抓包，有的网站只不过应用了ajax，但是抓包还是能够资源XHR里的json数据的（和用抓包工具抓包，也这个可以是从浏览器按F12抓包：F12-Network-F5可以刷新）。二、不开放API的网站1、如果没有网站是静态页面，这样这个可以用requests库正在发送只是请求，再实际HTML电学计算库（lxml、parsel等）来解三角形呐喊之声的text；题库强烈推荐一下parsel，不仅语法和css选择类型器的的，但速度也挺快，Scrapy得用就是它。2、如果不是网站是动态页面，可以不先用selenium来颜色渲染JS，再用HTML解析库来推导driver的page_source。
我是小白，想学爬虫、js，有什么好的建议吗？
爬虫和js(前端)大都互联网当前都很火的两个领域，笔者根据自己观点并且分析下:
爬虫:简单点地说那是用代码发送中跪请某些网页信息让他通过题声望兑换自己想的数据，爬虫刚入门很容易。但是想潜近是真的很难。当然了爬虫的最拿手语言通常是python因为python把一些库标准封装的精致易用，这也得益于python的语言特性。但你千万不能拿python跟爬虫画等号。反正爬虫到后面跟更大相关的事js而并非其他编程语言。而且各大网站保护数据，有的限制修改ip，有的取消cookie，还有各种加密，验证码。在js客户端不能执行，一层有一层的混淆嵌套循环。。。你必须的是强大无比的js水平和代码分析能力。你要按照巨大的生涩代码去咬开它的真面目。并不一定时间是最难的事的。而弄明白规则用python或者java写很难。
别外，如果有兴趣这个可以把爬虫当成副业，娱乐怎么学习。教程的话建议您不买书。因为网站更新太快书很难跟不上潮流。可以不买套教程入门学习后找csdn,博客园，头条等跟着一些爬虫博主学习。另外有问题也也可以私信给我问他们。
js:这两年是真有火热。以前的jquery闷不吭声。知道vue,react,ag三个js框架流行的。只不过js不但是可以统治者pc，也也可以提及移动端。我看头条app，淘宝，京东这些很小一部分都是htmljs的视图。并且web前端工程师现在市场比较好非常稀缺，也很拉风，是对学习来说。现在的js学习成本可能会比较好高。要node.js。npm这些都要学。但专业性也强了很多(主要后端不像以前会点jquery就能全栈了)。薪资也还这个可以。帮我推荐腾讯云技术社区。前端内容都很多。
另外，相对于怎么学习，头条，csdn，博客园，公众号，知乎等等全是确实不错的社区。里面有大量你必须的知识。只不过是需要你自己挖掘你是需要的只不过！
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
