11promax hive执行作业时reduce任务个数设置为多少合适？

hive执行作业时reduce任务个数设置为多少合适？

设置减速器的数量会极大地影响执行效率配置单元执行减速机. 字节/减速机（默认值为1000^3）

2配置单元执行减速机. max（默认值为999）计算减速器数量的公式非常简单：n=min（参数2，总输入数据/参数1）。通常，需要手动指定减速器的数量。考虑到map级的输出数据量通常远小于输入级的数据量，即使没有设置减速器的数量，也有必要重置参数2。根据Hadoop的经验，参数2可以设置为0.95*（集群中tasktracker的数量）。正确的reduce任务数应为0.95或1.75×（节点数×）mapred.tasktracker.tasks任务. 最大参数值）

11promax 11和max哪个好 Mask_reduce_

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。