hadoop二次排序 一道java面试题,20亿数字的文本排序,如何取前100?
浏览量:1688
时间:2021-03-14 05:18:01
作者:admin
一道java面试题,20亿数字的文本排序,如何取前100?
既然是java题,这就是经典的topk问题。先取前100个数,建立一个最小堆,剩下的数依次从堆顶插入元素,同时调整堆。最后堆中的100个元素即为结果。空间复杂度为k,时间复杂度为nlogk
hadoopmapreduce结果默认按什么排序?
需要对不同分区中的数据进行排序和分组,默认情况下,是按照key进行排序和分组。
hadoop二次排序 hadoop词频排序 hadoop中排序函数
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。