Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
错误原因:内存溢出 解决方案: 在yarn-site.xml中做如下配置:
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/hadoop/app/tmp</value>
</property>
注意:value是自己新建的一个tmp目录,自己建一个tmp目录即可