hadoop hadoop执行总是有一个reduce失败，求解？

hadoop执行总是有一个reduce失败，求解？

这取决于要回滚的减速器级别。map成功执行后，Hadoop会启动整个作业对应的reducer，会有reduce阶段。如果失败了，就不会成功。然后，如果设置运行10个reduce任务，Hadoop将把map的输出分成10个部分，这些部分将由10个reduce任务处理。一般来说，在判断Mr成功之前，必须有10项任务是成功的。但是，10个reduce任务不一定只运行10个物理任务。如果有多个插槽，则每个任务可能有多个正在运行的尝试。如果只有一次尝试失败，就不会有任何影响，因为每个任务只需要一次成功的尝试

hadoop hadoop处理流程 hadoopjobidlocal

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。