0
点赞
收藏
分享

微信扫一扫

CentOS7下Hadoop分布式环境搭建过程

沉浸在自己的世界里 2022-03-10 阅读 44


CentOS7下Hadoop分布式环境搭建过程_hadoop

先准备如下三台虚拟服务器

Hadoop中心服务器 192.168.31.160

节点Node1:192.168.31.161

节点Node2:192.168.31.162CentOS7下Hadoop分布式环境搭建过程_java_021、三台服务器均需要安装JDK8,然后配置环境变量

1)安装jdk rpm -ivh jdk-8u221-linux-x64.rpm 2)配置环境变量vi /etc/profile,将如下三行加到最后export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar3)使生效source /etc/profileCentOS7下Hadoop分布式环境搭建过程_hadoop_032、并且在每台节点上面全创建一个hadoop用户,设置用户密码(我这里三台均设置为hadoop)[root@Hadoop ~]# useradd -d /usr/hadoop hadoop[root@Hadoop ~]# chmod 755 /usr/hadoop[root@Hadoop ~]# passwd hadoopCentOS7下Hadoop分布式环境搭建过程_hdfs_043、均使用hadoop用户登录服务器,然后在主节点上设置ssh免密登录,保证能直接免密登录到三台节点上su - hadoopssh-keygenssh-copy-id localhostssh-copy-id 192.168.31.161ssh-copy-id 192.168.31.162CentOS7下Hadoop分布式环境搭建过程_hdfs_054、在三台服务器上传hadoop安装包,均解压hadoop包到/usr/hadoop目录,进行如下操作tar -zxf hadoop-3.1.2.tar.gz -C /usr/hadoop --strip-components 1vi ~/.bash_profile

追加export HADOOP_HOME=/usr/hadoopexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_YARN_HOME=$HADOOP_HOMEexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin source ~/.bash_profile使生效CentOS7下Hadoop分布式环境搭建过程_hdfs_065、使用hadoop用户登录到主节点,配置hadoop的相关配置文件[hadoop@Hadoop ~]$ vi ~/etc/hadoop/hdfs-site.xml

CentOS7下Hadoop分布式环境搭建过程_hdfs_071)hdfs-site.xml

  <property>    <name>dfs.replication</name>    <value>2</value>  </property>  <property>    <name>dfs.datanode.data.dir</name>    <value>file:///usr/hadoop/datanode</value>  </property>  <property>    <name>dfs.namenode.name.dir</name>    <value>file:///usr/hadoop/namenode</value>  </property>

CentOS7下Hadoop分布式环境搭建过程_hdfs_08

2)core-site.xml  <property>    <name>fs.defaultFS</name>    <value>hdfs://Hadoop:9000/</value>  </property>    <property>        <name>hadoop.tmp.dir</name>        <value>/usr/hadoop/tmp</value>    </property>CentOS7下Hadoop分布式环境搭建过程_hadoop_09

3)yarn-site.xml  <property>    <name>yarn.resourcemanager.hostname</name>    <value>Hadoop</value>  </property>  <property>    <name>yarn.nodemanager.hostname</name>    <value>Hadoop</value>  </property>  <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>CentOS7下Hadoop分布式环境搭建过程_hdfs_10

4)mapred-site.xml <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>  </property>    <property>        <name>yarn.app.mapreduce.am.env</name>        <value>HADOOP_MAPRED_HOME=/usr/hadoop/</value>    </property>    <property>        <name>mapreduce.map.env</name>        <value>HADOOP_MAPRED_HOME=/usr/hadoop/</value>    </property>    <property>        <name>mapreduce.reduce.env</name>        <value>HADOOP_MAPRED_HOME=/usr/hadoop/</value>    </property>CentOS7下Hadoop分布式环境搭建过程_java_11

5)hadoop-env.sh取消export JAVA_HOME注释,并修改 export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64 CentOS7下Hadoop分布式环境搭建过程_hadoop_12

6)workers 

CentOS7下Hadoop分布式环境搭建过程_java_13

7)接下来切换到root用户vi编辑/etc/hosts

CentOS7下Hadoop分布式环境搭建过程_java_14

8)创建datanode和namenode目录

CentOS7下Hadoop分布式环境搭建过程_java_15在主节点编辑完成之后,直接scp发送给Node1,Node2节点​scp ./etc/hadoop/* Node1:~/etc/hadoop/scp ./etc/hadoop/* Node2:~/etc/hadoop/

9)分别在 start-dfs.sh 和 stop-dfs.sh 中添加如下内容HDFS_DATANODE_USER=hadoopHDFS_DATANODE_SECURE_USER=hdfsHDFS_NAMENODE_USER=hadoopHDFS_SECONDARYNAMENODE_USER=hadoop​别在 start-yarn.sh 和 stop-yarn.sh 中添加如下内容​YARN_RESOURCEMANAGER_USER=hadoopHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=hadoopCentOS7下Hadoop分布式环境搭建过程_hadoop_16

6、hadoop服务启动以及相关操作hdfs namenode -format然后start-dfs.sh,start-yarn.sh或者直接start-all.sh启动hadoopjps查看状态,或者http://192.168.31.160:9870查看集群状态

CentOS7下Hadoop分布式环境搭建过程_hadoop_17

7、mapreduce样例测试

[hadoop@Hadoop ~]$ hadoop fs -mkdir /test                      [hadoop@Hadoop ~]$ hadoop fs -put /usr/hadoop/test.log /testCentOS7下Hadoop分布式环境搭建过程_hadoop_18CentOS7下Hadoop分布式环境搭建过程_hdfs_19hadoop fs -ls -R /hadoop fs -cat /output01/part-r-00000CentOS7下Hadoop分布式环境搭建过程_hdfs_20

CentOS7下Hadoop分布式环境搭建过程_hadoop_21

举报

相关推荐

0 条评论