0
点赞
收藏
分享

微信扫一扫

设置hadoop Job允许map task失败的比例


故事背景:


hadoop任务分为map task和reduce task,当map task执行失败后会重试,超过重试次数(mapred.map.max.attempts指定,默认为4),整个job会失败,这是我们不想看到的。


解决办法:


hadoop提供配置参数“mapred.max.map.failures.percent”解决这个问题。如果一个Job有200 个map task,该参数设置为5 的话,则单个 job最多允许10 个map task(200 x 5% =10)失败,这是我想要的。


把下面配置放到mapred-site.xml文件中,重启jobtracker(hadoop-daemon.sh stop/start jobtracker ),这下大家满足了吧^_^


 



<property>
    <name>mapred.max.map.failures.percent</name>
    <value>5</value>
  </property>

 


 


PS:reduce task有类似配置mapred.max.reduce.failures.percent

 

举报

相关推荐

0 条评论