0
点赞
收藏
分享

微信扫一扫

安装Hadoop

橙子好吃吗 2022-04-13 阅读 96
hadoop

安装Hadoop

 

一、filezilla上传hadoop安装包,配置文档(hadoop2.2.0伪分布式搭建.txt)

 

二、解压hadoop安装包

 

#解压

 

tar -zxvf hadoop-2.2.0-64bit.tar.gz

 

三、修改配置文件(5个) 路径:/opt/hadoop-2.2.0/etc/hadoop

 

第一个:hadoop-env.sh

 

#在27行修改

 

export JAVA_HOME=/opt/jdk1.7.0_76

 

第二个:core-site.xml

 

<configuration>

 

<!-- 指定HDFS老大(namenode)的通信地址 -->

 

<property>

 

<name>fs.defaultFS</name>

 

<value>hdfs://localhost:9000</value>

 

</property>

 

<!-- 指定hadoop运行时产生文件的存储路径 -->

 

<property>

 

<name>hadoop.tmp.dir</name>

 

<value>/opt/hadoop-2.2.0/tmp</value>

 

</property>

 

</configuration>

 

第三个:hdfs-site.xml

 

<configuration>

 

<!-- 设置hdfs副本数量 -->

 

<property>

 

<name>dfs.replication</name>

 

<value>1</value>

 

</property>

 

</configuration>

 

第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

 

<configuration>

 

<!-- 通知框架MR使用YARN -->

 

<property>

 

<name>mapreduce.framework.name</name>

 

<value>yarn</value>

 

</property>

 

</configuration>

 

第五个:yarn-site.xml

 

<configuration>

 

<!-- reducer取数据的方式是mapreduce_shuffle -->

 

<property>

 

<name>yarn.nodemanager.aux-services</name>

 

<value>mapreduce_shuffle</value>

 

</property>

 

</configuration>

 

四、将hadoop添加到环境变量

 

vim /etc/profile

 

export JAVA_HOME=/opt/jdk1.7.0_55

 

export HADOOP_HOME=/opt/hadoop-2.2.0

 

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

source /etc/profile

 

五、格式化HDFS(namenode)第一次使用时要格式化

 

hadoop namenode -format

 

六、启动hadoop

 

先启动HDFS

 

start-dfs.sh

 

再启动YARN

 

start-yarn.sh

 

3.7验证是否启动成功

 

使用jps命令验证

 

27408 NameNode

 

28218 Jps

 

27643 SecondaryNameNode

 

28066 NodeManager

 

27803 ResourceManager

 

27512 DataNode

 

#查看java的版本

 

java -version

举报

相关推荐

Hadoop - 安装

hadoop安装

Hadoop安装

hadoop -hive 安装

linux安装hadoop

Linux安装hadoop

Ubuntu安装Hadoop

0 条评论