hadoop客户端 环境操作IDEA maven项目对集群操作 创建目录--------》示例代码

maven环境搭建

​​http://maven.apache.org/download.cgi​​下载对应的maven

解压缩后，修改conf文件夹下的settings.xml文件

添加阿里云镜像源在<mirrors>中添加

<mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
</mirror>

IDEA新建一个maven项目 

　groupId一般分为多个段，这里只说两段，第一段为域，第二段为公司名称。域又分为org、com、cn等等许多，其中org为非营利组织，com为商业组织。举个apache公司的tomcat项目例子：这个项目的groupId是org.apache，它的域是org（因为tomcat是非营利项目），公司名称是apache，artifactId是tomcat。

然后在pom.xml文件中添加maven依赖

其中version是hadoop的版本，我用的是hadoop-3.2.1。如果是其他版本自行更改

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.2.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.2.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.2.1</version>
</dependency>

保存自动下载依赖。如果中途终端了，则点开idea右边的侧边栏 刷新一下重新下载依赖即可。

如果中途遇到了​​Error:java: 错误: 不支持发行版本 5​​

查看这篇文章进行修改即可

​

然后测试一下

新建一个类

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFSClient {
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
        Configuration conf=new Configuration();
//        conf.set("fs.defaultFS","hdfs://hadoop112:9000");
//        //1 获取hdfs客户端
//        FileSystem fileSystem = FileSystem.get(conf);

        FileSystem angel = FileSystem.get(new URI("hdfs://hadoop112:9000"), conf, "改成对应的用户名");
        // 2 在hdfs上创建路径
        angel.mkdirs(new Path("/demo/test"));

        // 3 关闭资源
        angel.close();
        System.out.println("over");
    }
}

如果成功，则可以在web管理页面可以查看到，新创建的文件夹 /demo/test