配置Hadoop（保姆级教程）

一、准备工作

• 三台虚拟机
  • master
  • dy1
  • dy2

1、修改主机名

hostnamectl set-hostname (主机名)

2、添加ip地址与主机名的映射

vim /etc/hosts

添加配置如下
例:(虚拟机ip+主机名)
192.136.132.68 master
192.136.132.69 dy1
192.136.132.70 dy2

3、测试通过主机名是否能ping通

ping dy1
ping dy2

二、设置免密登录

1、执行命令

ssh-keygen -b 1024 -t rsa

弹出来的命令一路回车

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z4Q67SkP-1649008758807)(hadoop操作.assets/image-20220404012237104.png)]

2、返回根目录

cd

3、查看文件(包含隐藏文件)

ls -all

4、打开.ssh文件夹

cd .ssh

5、copy公钥

ssh-copy-id dy1
ssh-copy-id dy2

注意：把公钥复制过去后需要修改权限

chmod 600 authorized_keys

三、配置JDK（本人用的是11）

1、配置JDK环境变量

vim /etc/profile

2、添加如下配置

export JAVA_HOME=（你安装的jdk路径）
export JRE_HOME=$JAVA_HOME
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

3、更新profile文件

source /etc/profile

4、验证Java是否配置成功

java -version

四、配置hadoop

1、修改hadoop-env.sh

添加JDK环境变量

export JAVA_HOME=

2、修改yarn-env.sh

添加JDK环境变量

export JAVA_HOME=

3、core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://master:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<!--临时文件存放地址，需要自己创建文件夹并指定 -->
		<value>/opt/hadoop/hadoop/temp</value>
        </property>
</configuration>

4、hdfs-site.xml

<configuration>
     <property>
	     <name>dfs.replication</name>
	     <value>2</value>
     </property>
</configuration>

5、mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

6、yarn-site.xml

<configuration>
      <!-- Site specific YARN configuration properties -->
      <property>
	      <name>yarn.nodemanager.aux-services</name>
	      <value>mapreduce_shuffle</value>
      </property>
      <property>
	      <name>yarn.resourcemanager.address</name>
	      <value>master:18040</value>
      </property>
</configuration>

7、修改hadoop文件夹权限

chmod -R 777 hadoop

8、将配置复制到 从机 中去

scp -r /opt/hadoop dy1:/opt/hadoop	

scp -r hadoop文件夹地址 dy1:目标地址

9、格式化hadoop

hdfs namenode -format

10、启动

star-all.sh

五、验证

1、看是否启动成功

jps

2、关闭防火墙

systemctl stop firewalld.service

3、或者开放指定端口

4、查看防火墙状态

firewall-cmd --state

打开浏览器

master:8088

master:50070