首先我们去测试HDFS的写性能,可以看到,我们向HDFS集群写入10个128M的文件
去测试
然后我们看,这里我们用到的是这个tests.jar这个命令的jar包来进行测试的,可以看到他会把多个文件,
通过多个maptask,进行上传,上传的过程中,他会记录,上传文件的大小以及,上传文件的时间,这样,就能得出
这个上传的速度了,大小 除以 时间对吧.
然后平均速度,这里有两种算法,一种是:
每个maptask记录,文件的大小,上传时间,然后会总到reducetask,
然后,这里reducetask会把所有的文件的大小,除以总的时间这样算出一个平均速度.
然后还有一种是:就是每个maptask的平均速度 去除以 所有的的maptask的个数...这样得出的一个平均速度
原则上这两种算法的结果应该是差不多,如果相差的多的话,可能是其中的某台服务器的性能,跟别的服务器差别挺大.
