2016 - 2024

感恩一路有你

linux统计ip访问次数 海量数据算法:如何从超过10G的记录IP地址的日志中,较快的找出登录次数最多的一个IP?

浏览量:1696 时间:2021-03-17 06:05:14 作者:admin

海量数据算法:如何从超过10G的记录IP地址的日志中,较快的找出登录次数最多的一个IP?

答案太复杂了。如果仔细计算,IP地址是4字节,最多是4G。打开16GB阵列。每个IP的32位索引由4个字节组成,是数组的索引。数组中的每个元素都是32位整数,它记录并自动增加与索引对应的IP出现次数。如果你读10GB,你就能知道谁的日志最大。你不用教我怎么找到最大的,是吗?

这样,如果磁盘足够快,数据应该在30秒内发送出去。

php如何统计ip在log文件中出现次数并排名?

读取日志,遍历,前三段作为数组键,匹配一次,对应的键值累加。

示例:

foreach($log as$VAL){

if(in) array($VAL,array Keys($array)))$array[“192.168.1”

}]这只是一个想法。如果192.168.1.12需要处理,取前三段,否则无法匹配。以上代码仅供参考,希望能对您有所帮助。

linux统计ip访问次数 awk统计出现次数 统计ip访问量前10的ip

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。