酷米网

python爬虫教程 python爬虫万能代码实战案例

作者:程程 时间:2021-12-23 15:42:22 浏览量:1469
导读:事实上,大部分人都不需要学爬虫,因为他们工作的公司有自己的数据库,里面有数据,可以帮你进行商业分析。何时使用爬虫软件呢?如果在办公室里没有您所需要的数据,您就得从网上收集一些数......

四.初始使用Requests:

1.发送网络请求,并返回响应数据。

2.发送简单请求:response=requests.get(url)

2.1response常用方法:

response.text。

respones.content。

response.stat.us_code。

response.request.headers。

response.headers。

2.2response.text与response.content之间的差异:

a.返回不同的数据类型,response.text返回str类型的数据,response.content返回的是bytes类型。

解码类型不一样,response.text的解码类型是基于HTTP头部对响应的编码,即推测出的文本编码。

response.content未指定解码类型。

c.建议使用response.content.deocde()来获得答复。

2.3通过header发送请求:

a.请求为何要带header?

要模拟浏览器请求以获得与浏览器一致的内容。

a.header格式:词典。

使用:requests.get(url,headers=headers)

2.4带参数发送请求:

版权声明:本文由用户自发贡献,观点仅代表作者本人,本站不承担相关法律责任。如有侵权/违规内容本站将立刻删除