温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
Fayson的github：https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.文档编写目的
向Hive表加载数据主要有以下几种方式：
1.通过Insert的方式加载数据
2.从本地文件系统导文件到Hive表
3.从HDFS加载数据到Hive表
4.单个查询语句中创建表并加载数据
本文主要是通过实操的方式来介绍Hive的这几种数据加载。
- 内容概述
1.Insert加载数据的方式
2.Load本地数据
3.Load HDFS数据
- 测试环境
1.CentOS6.5
2.CM和CDH版本为5.13.1
2.测试环境
1.测试表结构
CREATE TABLE my_table(
KEY int,
value string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
CREATE TABLE my_table1(
KEY int,
age int
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
（可左右滑动）
2.测试数据
数据目录
数据文件内容：
[root@ip-172-31-6-148 data]# more a.txt
1,test
2,fayson
3,zhangsan
[root@ip-172-31-6-148 data]#
（可向右拖动）
3.test_user表数据
3.Insert方式加载数据
1.通过insert向Hive表中插入数据可以单条插入和多条插入
insert into my_table values(1,'fayson1'); #单条插入
insert into my_table values(2,'fayson2'),(3,'fayson3'); #多条插入
（可向右拖动）
2.使用追加的方式从其他表查询相应数据并插入到Hive表中
INSERT INTO my_table
SELECT id,name from test_user WHERE id > 3 and id < 5;
（可向右拖动）
使用追加的方式将test_user表中id大于3并且小于5的数据插入到my_table表中，执行结果如下：
3.使用覆盖的方式从test_user表查询相应数据并插入到Hive表中
INSERT OVERWRITE TABLE my_table
SELECT id,name from test_user WHERE id > 3 and id < 5;
（可向右拖动）
使用覆盖的方式将test_user表中id大于3并且小于5的数据插入到my_table表中，执行结果如下：
4.多表插入，将test_user表中的数据分别插入到my_table和my_table1中
FROM test_user
INSERT INTO my_table select id, name where id > 4 and id < 6
INSERT INTO my_table1 select id, age
where id > 4 and id < 6;
（可向右拖动）
将test_user表中id大于4并且小于6的数据，分别插入到my_table和my_table1中，执行结果如下：
4.Load本地数据文件
1.在命令行使用追加的方式Load本地数据文件到Hive表中
LOAD DATA LOCAL INPATH '/data/a.txt' INTO TABLE my_table;
（可向右拖动）
执行结果如下：
2.使用覆盖的方式Load本地数据文件到Hive表中
LOAD DATA LOCAL INPATH '/data/a.txt' OVERWRITE INTO TABLE my_table;
（可向右拖动）
执行结果如下：
5.Load HDFS数据文件
1.将文件put到HDFS的/data目录下
修改/data目录为hive用户
sudo -u hdfs hadoop fs -chown -R hive:hive /data
（可向右拖动）
2.在命令行使用追加的方式Load HDFS数据文件到Hive表中
LOAD DATA INPATH '/data/a.txt' INTO TABLE my_table;
（可向右拖动）
执行结果如下：
3.在命令行使用覆盖的方式Load HDFS数据文件到Hive表中
LOAD DATA INPATH '/data/a.txt' OVERWRITE INTO TABLE my_table;
（可向右拖动）
执行结果：
6.总结
- Load本地数据文件时需要注意文件目录和数据文件的权限，/data目录拥有其它用户的执行权限(x)，目录下的数据文件有读权限(r)，否则会抛如下异常：
“Invalid path ''/data/a.txt'': No files matching path file:/data/a.txt (state=42000,code=40000)”
- （可向右拖动）
- Load HDFS数据文件时需要登录Hive的用户是否有访问该文件的权限
- Load本地文件时是将数据拷贝至对应表的数据目录下，且文件名不变。
- Load HDFS文件到Hive表时，文件会被Move到对应表的数据目录下，且保持文件名。
- 使用Load命令时如果没有OVERWRITE，会直接APPEND到Hive表中，并且不会去除重复数据。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
