0
点赞
收藏
分享

微信扫一扫

Sqoop部署及测试

何以至千里 2022-01-10 阅读 43
sqoop

前提在hadoop、hive、Zookeeper、hbase搭建好的环境下进行

修改配置文件

在sqoop根目录下的conf目录中。

1) 重命名配置文件

 $ mv sqoop-env-template.sh sqoop-env.sh

2) 修改配置文件

 sqoop-env.sh

 
 export HADOOP_COMMON_HOME=/opt/module/hadoop
 
 export HADOOP_MAPRED_HOME=/opt/module/hadoop

 
 export HIVE_HOME=/opt/module/hive

 
 export ZOOKEEPER_HOME=/opt/module/zookeeper
 export ZOOCFGDIR=/opt/module/zookeeper
 
 export HBASE_HOME=/opt/module/hbase

3.3 拷贝JDBC驱动

 拷贝jdbc驱动到sqoop的lib目录下,如:
 
 $ cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

3.4 验证Sqoop

 #通过某一个command来验证sqoop配置是否正确:
 
 $ bin/sqoop help
 
 出现一些Warning警告,并伴随着帮助命令的输出:
 
 Available commands:
 
  codegen       Generate code to interact with database records
 
  create-hive-table   Import a table definition into Hive
 
  eval        Evaluate a SQL statement and display the results
 
  export       Export an HDFS directory to a database table
 
  help        List available commands
 
  import       Import a table from a database to HDFS
 
  import-all-tables   Import tables from a database to HDFS
 
  import-mainframe   Import datasets from a mainframe server to HDFS
 
  job         Work with saved jobs
 
  list-databases     List available databases on a server
 
  list-tables      List available tables in a database
 
  merge        Merge results of incremental imports
 
  metastore      Run a standalone Sqoop metastore
 
  version       Display version information

测试Sqoop是否能够成功连接数据库

 $ bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password passwd
 
 #出现如下输出:
 
 information_schema
 
 metastore
 
 mysql
 
 oozie
 
 performance_schema
举报

相关推荐

0 条评论