常见的反爬虫机制 如果爬虫和API都会对服务器造成很大压力，为什么在反爬虫的同时会鼓励开放API？

如果爬虫和API都会对服务器造成很大压力，为什么在反爬虫的同时会鼓励开放API？

爬虫是不可控的（被动的），API是可控的（主动的），这应该很容易理解。

主动API开放的目的是什么？不是因为有利可图。例如，微信和twitter的开放api就是为了利用第三方应用来增强用户粘性。第三方应用程序也更容易通过大型平台获得用户。因为这是有利可图的，所以解决服务器压力问题是值得的。当然，这也是基于第三方提出的合理要求。如果大量无意义的API调用是由第三方进行的，那么也应该被禁止。问题中提到的无限twitter API是一个伪命题。Twitter有一个get application rate limit status API，让应用程序知道当前可以发出多少请求。

这个问题也可以反过来问。既然有一个开放的API，为什么要努力编写爬虫程序呢？它只是试图获取一些其他人不想提供给您的信息，或者绕过API的访问限制。面对这些情况，网站开发者难道不想反爬虫吗？

常见的反爬虫机制 服务器爬虫 如何解决反爬虫

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。