0
点赞
收藏
分享

微信扫一扫

hive集群部署

Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口来获取用户的指令然后对指令进行分析,解析出一个MapReduce程序组成可执行计划,并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理,获取最终的结果。元数据——如表模式——存储在名为metastore的数据库中。


hive的安装建立在hadoop集群之上,它可以安装在hadoop集群的任一个节点上(master或slave)。当然,也可以安装在集群之外,但需要能访问hadoop集群。

在实际部署中,一般用远程mysql存储metastore信息(mysql采用ha),然后在hadoop集群的一个节点上启动hive的metastore服务(例如master上),然后使用客户端访问hive。 1、hive服务端: 1) 配置: [hadoop@hadoop-master conf]$ vi hive-site.xml

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop-master:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive<value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
</configuration>



2)然后启动metastore服务:hive --service metastore &,发现多了一个runJar进程。

2、服务端访问: 在hadoop-master上直接通过命令访问hive: [hadoop@hadoop-master ~]$ hive Logging initialized using configuration in jar:file:/home/hadoop/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties hive> show databases; OK default src Time taken: 1.332 seconds, Fetched: 2 row(s)

3、客户端访问:(需要有hadoop环境) 1)配置好hadoop环境; 2)配置hive环境, 修改hive配置文件:

[hadoop@hadoop-slave conf]$ vi hive-site.xml
<configuration>
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop-master:9083</value>
</property>
</configuration>


3)在hadoop-slave上通过hive命令访问hive。






举报

相关推荐

0 条评论