源码网站都有哪些 python爬虫有多少种方式?只会最简单的正则表达式,还有其他什么工具吗?
浏览量:1569
时间:2021-04-03 17:21:55
作者:admin
python爬虫有多少种方式?只会最简单的正则表达式,还有其他什么工具吗?
本文介绍了一种简单的方法—beautifulsoup,它利用beautifulsoup将爬虫获取的HTML页面转换成树状结构,然后根据需要提取标签的内容和属性,而不需要正则表达式。接下来,我将简要介绍beautifulsoup的安装和使用,实验环境win10python3.6pycharm5.0,主要内容如下:
1。安装BS4,安装成功后可以直接在CMD窗口中输入“PIP Install”命令进行测试。为了更好地说明这个问题,我们假设爬网数据如下,内容相对简单:
网页对应的源代码结构如下:
根据网页结构,解析代码如下。在这里,我在本地打开HTML文件,如果爬虫请求相应的页面(请求。获取(URL)),解析方法相同:
程序截图如下,数据获取成功:
至此,我们用beautiful soup完成了网页内容的解析过程,整个过程不需要正则表达式。一般来说,这种方法很简单。对于普通的简单页面来说已经足够了(但是,正则表达式被广泛使用,因此建议仔细研究它们)。网上也有相关的教程和资料。如果你感兴趣,你可以搜索他们。希望以上分享的内容能对您有所帮助。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。