监控名片 如何使用爬虫监控一系列网站的更新情况？

如何使用爬虫监控一系列网站的更新情况？

您的监视器肯定会指定数据。不可能说页面日期会被更新

首先为网站的目标数据编写爬虫程序并存储，然后定期爬网。每次爬网时，都可以进行符号比较，比如第一条消息的文本或链接地址

当你打开网页时，状态码是200，刷新时状态码会变为304

但是如果你经常爬网，响应码应该总是200

已经做过几次大规模服务器了监控方面，下面推荐几种监控软件和辅助软件。

1. ZABBIX是一个古老的经典监控软件。它是一种企业级分布式开源监控方案。它可以实时监控从数千台服务器、虚拟机和网络设备收集的数百万个指标。

提供图形操作界面，可以轻松添加监控指示灯和报警指示灯。支持邮件、微信等提醒通知

2。普罗米修斯是近年来最流行的监控系统。Prometheus是Soundcloud开发的开源监控报警系统和时间序列数据库（TSDB）。用go语言开发的Prometheus是googleborgmon监控系统的开源版本。

其优点是重量轻、配置简单、使用方便、报警模板丰富。

以上是两种监控软件，以下是一些辅助监控软件。

1. Grafana监控显示界面，在我们得到监控数据后，我们可能需要将数据显示给领导。Grafana就是这样一个软件，开源，免费，模板丰富。它可以直接与ZABBIX Prometheus和MySQL数据库连接。

2. 钉子机器人。如何处理服务器报警，当然要发消息通知运维人员。指甲机器人提供了这样的功能。直接在美甲组中创建机器人将为我们提供一个restful界面，我们可以直接发送post请求。原生Linux由curl直接发送，Prometheus提供直接对接的插件。

监控名片 销售数据分析报表模板 监控设计方案模板

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。