0
点赞
收藏
分享

微信扫一扫

Hadoop出现DataXceiver error processing WRITE_BLOCK operation

Separes 2022-06-28 阅读 56

Hadoop出现DataXceiver error processing WRITE_BLOCK operation_xml

字面理解为文件操作超租期,实际上就是data stream操作过程中文件被删掉了。以前也遇到过,通常是因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。

修改
1、datanode所在的linux服务器提高文件句柄参数;

2、增加DataNode句柄参数:dfs.datanode.max.transfer.threads

修改hdfs-site.xml

<property>
<name>dfs.datanode.max.transfer.threads</name>
<value>8192</value>
</property>

举报

相关推荐

0 条评论