0
点赞
收藏
分享

微信扫一扫

Filebeat日志采集到Elasticsearch集群

前端王祖蓝 2024-01-31 阅读 9

远程 hadoop版本:Hadoop 3.0.0+cdh6.3.2

一、设置本地hadoop环境

1、下载hadoop

下载 hadoop-3.0.0.tar.gz ,并解压到 D:\BigData\ 并重命名为 hadoop,如下图所示:

2、配置环境变量

2.1 HADOOP_HOME

配置 HADOOP_HOME 环境变量:

2.2 HADOOP_USER_NAME

2.2.1 更改Winows用户名

2.2.2 设置HADOOP_USER_NAME环境变量

HADOOP_USER_NAME 本地操作远程HDFS的用户,不设置默认使用Windows的用户,当操作HDFS时会出现没有访问权限

或者在Java代码中设置变量:

System.setProperty("HADOOP_USER_NAME", "song");

3、winutils

从https://github.com/steveloughran/winutils下载针对Windows环境的Hadoop修正程序winutils(Hadoop-3.0.0对应路径https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 )替换本地hadoop的bin目录;

二、Intelj IDEA配置

1、安装 Big Data Tools

2、下载 HDFS 客户端配置

解压并存放于D:\BigData\hadoop\hadoop-conf;

3、配置 Big Data Tools

3.1 选择 HDFS

3.2 选择 HDFS 配置路径

3.3 验证


欢迎关注微信公众号:大数据AI

举报

相关推荐

filebeat->kafka>elk日志采集

0 条评论