hadoop Hadoop的原理?
浏览量:1630
时间:2021-03-11 17:19:31
作者:admin
Hadoop的原理?
首先,Hadoop框架要求程序员将函数分为两部分,即映射和归约函数。Map stage:输入由Map函数处理得到中间结果,并通过Hadoop框架分配给不同的reduce。归约阶段:通过归约函数对中间结果进行处理,得到最终结果。以wordcount为例。在map阶段,map函数在每个单词后面加1;在reduce阶段,reduce函数在同一个单词后面加1。Hadoop框架的排序和分配也可以由用户定义的函数控制。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。