ip地址的四个部分组成 海量数据算法:如何从超过10G的记录IP地址的日志中,较快的找出登录次数最多的一个IP?
浏览量:1184
时间:2021-03-13 06:26:29
作者:admin
海量数据算法:如何从超过10G的记录IP地址的日志中,较快的找出登录次数最多的一个IP?
答案太复杂了。如果仔细计算,IP地址是4字节,最多是4G。打开16GB阵列。每个IP的32位索引由4个字节组成,是数组的索引。数组中的每个元素都是32位整数,它记录并自动增加与索引对应的IP出现次数。通过这种方式,您可以读取10GB日志并找出谁是最大的。你不用教我怎么找到最大的,是吗?
这样,如果磁盘足够快,数据应该在30秒内发送出去。
IP正则表达式?
10.0.0.0-10.255.255.255常规:^10()。([2][0-4]D |[2][5][0-5]|[01]?D个?(d))d){3}。。。。 3。。。 3。。。。 172.16.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0。。。。。。。。 172.172.16.16.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0。。。。 172.172.31.31.255。255.255该[1][1][6 6-9][2][6-9][2[6-9][6-9][2][[1][3][2][3[2[2[2[2][0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0[第5条][5] [5][5][5][5][5][5][5][5][2][2][2][2][2][2所以
@“^10()。([2][0-4]D |[2][5][0-5]|[01]
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。