0
点赞
收藏
分享

微信扫一扫

hadoop2.2.0、HDFS的java访问接口

一叶随风_c94d 2022-05-01 阅读 76

4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的,HDFS 的操作代码也不例外。在开

发阶段,我们使用 windows 下的 eclipse 作为开发环境,访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。

要使用宿主机中的 java 代码访问客户机中的 hdfs,需要保证以下几点:

确保宿主机与客户机的网络是互通的
确保宿主机和客户机的防火墙都关闭,因为很多端口需要通过,为了减少防火墙配置,
直接关闭

确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6,宿主机使用 jdk7,那
么代码运行时会报不支持的版本的错误

宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用的是 root 用户,
那么 windows 也要使用 root 用户,否则会报权限异常

配置环境变量

 

 

连接hdfs

import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
 
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
 
public class java_hdfs {
    //自定义文件系统,类变量
    FileSystem fs=null;
    //预处理,@Test之前
    @Before
    public void inint() throws URISyntaxException, IOException, InterruptedException {
        fs=FileSystem.get(new URI("hdfs://192.168.18.129:9000"),new Configuration(),"root");
 
    }
}

 测试

 
import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
 
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
 
public class java_hdfs {
    //自定义文件系统,类变量
    FileSystem fs=null;
    //预处理,@Test之前
    @Before
    public void inint() throws URISyntaxException, IOException, InterruptedException {
        fs=FileSystem.get(new URI("hdfs://192.168.18.129:9000"),new Configuration(),"root");
 
    }
    @Test
    public void printFS(){
        System.out.println(fs);
    }
}
 

创建文件夹

 
 @Test
    public void test() throws IOException {
        //创建文件夹
        final String pathString = "/d1";
        boolean exists = fs.exists(new Path(pathString));
        if(!exists){
            boolean result = fs.mkdirs(new Path(pathString));
            System.out.println(result);
        }
    }
 
 

上传文件

 
@Test
    public void test2() throws IOException {
        //上传文件
        InputStream in = new FileInputStream("/root/install.log");
        OutputStream out = fs.create(new Path("/log123.log"));
        IOUtils.copyBytes(in, out, 1024, true);
    }
 

删除文件

 
 @Test
    public void test3() throws IOException {
        //删除文件
        boolean flag = fs.delete(new Path("/d1"), true);
        System.out.println(flag);
    }
举报

相关推荐

0 条评论