Hadoop中的Speculative Execution定义及用处是什么

　　1、Speculative Execution定义： 在Hadoop中，推测执行（Speculative Execution）是一种机制，用于处理节点执行速度不均或出现故障的情况，通过在其他节点重复执行已经在运行的任务来提高整体任务的完成速度。

　　2、任务监控： ResourceManager监控所有任务的进度，如果某个任务的执行速度明显低于平均水平，系统会启动该任务的副本在其他节点上执行。

　　3、资源管理： 确保启动副本任务的节点有足够的资源，这样不会影响到集群中其他任务的正常执行。

　　4、任务完成决策： 无论原任务还是副本任务，哪个先完成就采用哪个的执行结果，未完成的任务将被终止。

　　5、配置控制： 管理员可以通过配置MapReduce的参数来启用或禁用推测执行功能，或者调整其行为。

很赞哦！

python编程网提示：转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部)，获取技术资料请到公众号(底部)。同行交流请加群