导读:事实上,大部分人都不需要学爬虫,因为他们工作的公司有自己的数据库,里面有数据,可以帮你进行商业分析。何时使用爬虫软件呢?如果在办公室里没有您所需要的数据,您就得从网上收集一些数......
"https":"https://12.34.56.79:9527",
}
3.cookie和session。
3.1cookie与session之间的差异:
a.cookie数据被存储在客户的浏览器中,session数据被放置在服务器上。
b.cookie并不安全,因为其他人可能会对存储在本地的cookie进行cookie欺骗分析。
c.session在一个特定的时间内保存到服务器上。随着存取增加,服务器的性能将会被占用。
一个cookie不能保存超过4K的数据,而且许多浏览器限制一个站点最多可以保存20个cookie。
3.2爬虫处理cookie和session:
a.带cookie.session的好处:
申请页面后的功能是登录。
b.带有cookie.session的缺点:
一组cookie和session常常对应于一个用户,请求过快,请求次数过多,服务器很容易将其视为爬虫。
c.使用原则:
尽量不要在没有cookie的情况下使用cookie,但要获得登录后的页面,我们必须用cookies发送请求。
版权声明:本文由用户自发贡献,观点仅代表作者本人,本站不承担相关法律责任。如有侵权/违规内容本站将立刻删除