所用Hadoop版本为之前文章配置的2.7.5版本

hadoop的环境搭建完成之后，进行压力测试，测试我们的集群的读取和写入速度，网络带宽等一些基准测试。

1测试写入速度

在hadoop-2.7.5/share/hadoop/mapreduce/下有很多分布式计算程序

其中hadoop-mapreduce-client-jobclient-2.7.5.jar是可以用来进行基准测试的

向HDFS文件系统中写入数据,10个文件,每个文件10MB

执行测试命令之后会生产相关的测试log文件，我们将该文件放到export/serves目录下于是执行命令

cd /export/serves

然后执行

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

其中write代表写入测试，-nrFiles的参数为文件个数，-fileSize参数为单个文件大小

 执行结束可以看到很多统计到的信息，同样在WEB中也能看到生产的文件，文件存放到/benchmarks/TestDFSIO中

其中io_data中存放向hdfs写入的数据，io_write中为读取读取速度写入速度等报告。

通过

vim TestDFSIO_results.log

可以查看到

含有文件数量为10，总大小为10MB，每秒平均写入速度为28.22MB，执行花费时间为9.51s 

2测试读取速度 

在HDFS文件系统中读入10个文件,每个文件10M

adoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

将之前的write改为read

在web中会生成io_read

 生产数据仍然保存在TestDFSIO_results.log 中

 每秒平均读速度为598.77MB，总共花费2.73秒

3清除测试数据

执行

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -clean

就会看到数据已经清除但是TestDFSIO_results.log文件仍然存在

但在web中/benchmarks目录下文件已经消失

查看原文