源码网 网页不能查看源代码,这种网页怎么爬取?
浏览量:2674
时间:2021-03-24 22:03:52
作者:admin
网页不能查看源代码,这种网页怎么爬取?
否无法查看源代码页,请单击F12。
或:
1。抓取包,找到真正的网址,模拟发布或获取;
2。使用硒幻影或火箱或铬。
怎么获取网页源代码中的文件?
网页的源代码是父网页的代码。网页中有一种称为iframe的节点,相当于网页的子页。其结构与外部网页完全一致。框架源代码是子网页的源代码。另外,网易云爬行推荐使用selenium,因为我们在做网易云爬行热评操作时,此时请求的代码是父网页的源代码。此时,我们无法请求子网页的源代码,也无法获取需要提取的信息。这是因为在为selenium打开页面之后,默认操作是在父帧中,此时,如果页面位于中,则也存在子帧,而子帧无法获取子帧中的节点。你需要使用开关到框架()切换帧的方法。此时,请求的代码从网页源代码切换到框架源代码,然后我们可以提取所需的信息。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。