0
点赞
收藏
分享

微信扫一扫

HBase与MapReduce


HBase API操作

MapReduce

通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,
比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。

》 1.查看HBase的MapReduce任务的执行使用哪些jar

$ bin/hbase mapredcp

》 2.环境变量的导入
(1)执行环境变量的导入(临时生效,在命令行执行下述操作)

$ export HADOOP_CLASSPATH='${HBASE_HOME}/bin/hbase mapredcp'

(2)永久生效:
并在hadoop-env.sh中配置:(注意:在for循环之后配)
Mapreduce需要读写Hbase中的数据,则Hadoop必须知道Hbase的jar

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*

同步到其他节点

Mysync /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh


由于修改了hadoop的配置信息,所以需要重启hadoop,zk,hbase

为了使用使用hbase shell方便,才在hadoop102的/etc/profile中 配置

##HABSE_HOME
export HABSE_HOME=/opt/module/hbase
export PATH=$PATH:$HABSE_HOME/bin

##HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

##ZK_HOME
export ZK_HOME=/opt/module/zookeeper-3.4.10
export PATH=$PATH:$ZK_HOME/bin

再使用scp复制到hadoop103,hadoop104

sudo scp  /etc/profile  root@hadoop103:/etc/
sudo scp /etc/profile root@hadoop104:/etc/

再在hadoop102,hadoop103,hadoop104上执行

source /etc/profile

运行案例

运行官方的MapReduce任务

案例一:统计Student表中有多少行数据

$ /opt/module/hadoop-2.7.2/bin/yarn jar /opt/module/hbase/lib/hbase-server-1.3.1.jar rowcounter student

运行结果

org.apache.hadoop.hbase.mapreduce.RowCounter$RowCounterMapper$Counters
ROWS=2

案例二:使用MapReduce将本地数据导入到HBase

1)在本地创建一个tsv格式的文件:fruit.tsv

1001    Apple    Red
1002 Pear Yellow
1003 Pineapple Yellow

2)创建HBase表

hbase(main):001:0> create 'fruit','info'

3)在HDFS中创建input_fruit文件夹并上传fruit.tsv文件

$ /opt/module/hadoop-2.7.2/bin/hdfs dfs -mkdir /input_fruit/
$ /opt/module/hadoop-2.7.2/bin/hdfs dfs -put /opt/module/hbase/fruit.tsv /input_fruit/

4)执行MapReduce到HBase的fruit表中

$ /opt/module/hadoop-2.7.2/bin/yarn jar /opt/module/hbase/lib/hbase-server-1.3.1.jar importtsv \
-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit \
hdfs://hadoop102:9000/input_fruit

5)使用scan命令查看导入后的结果

hbase(main):001:0> scan "fruit"


举报

相关推荐

0 条评论