0
点赞
收藏
分享

微信扫一扫

大数据环境---hadoop的安装

非凡兔 2022-07-12 阅读 80


   接着上一篇,趁着这个势头继续整理!  经常听说大数据,所以hadoop已经可谓如雷贯耳了。 早前曾经对于hadoop进行过一些安装。但是当时基础太过薄弱,因此效果甚微。 如今重新进行学习,并做好笔记!

    安装过程:

          首先解压并配置环境变量。 这个详细过程就不记录了。 记录一下配置的环境变量吧!

          

大数据环境---hadoop的安装_hdfs

   配置过程:

     1.首先配置hadoop的环境配置文件(因为它也是基于java的)

                  

大数据环境---hadoop的安装_hadoop_02

                  

大数据环境---hadoop的安装_hadoop_03

       2.配置core-site.xml文件:

             

大数据环境---hadoop的安装_hadoop_04

             

大数据环境---hadoop的安装_hdfs_05

   3.配置yarn-site.xml:


大数据环境---hadoop的安装_hdfs_06

          

大数据环境---hadoop的安装_hdfs_07

    4.配置slaves以及master:

            

大数据环境---hadoop的安装_xml_08

            

大数据环境---hadoop的安装_hdfs_09

            

大数据环境---hadoop的安装_hdfs_10

            

大数据环境---hadoop的安装_hdfs_11

            注意,这里的名称均为节点中的主机名。

    5.配置hdfs-site.xml:

        

大数据环境---hadoop的安装_xml_12

        

大数据环境---hadoop的安装_hadoop_13

  6.配置mapred-site.xml:


大数据环境---hadoop的安装_hadoop_14

       

大数据环境---hadoop的安装_xml_15

      最后,将整个配置好后的文件分发到整个集群中的每个机器中。由于配置了ssh免密登陆,所以这个步骤还是很轻松的。。。!!

       如: 

大数据环境---hadoop的安装_hadoop_16

hadoop的运行:

      1.在主节点中格式化: 

大数据环境---hadoop的安装_hdfs_17

         然后启动hadoop集群: 命令: sbin/start-all.sh;   该文件位置相对于hadoop文件的根路径位置如图:

         

大数据环境---hadoop的安装_xml_18

         在各个节点执行jps可看到相关信息。

         成功的标志: 

大数据环境---hadoop的安装_hadoop_19

                             

大数据环境---hadoop的安装_hadoop_20

使用hadoop:

      

大数据环境---hadoop的安装_hadoop_21

大数据环境---hadoop的安装_xml_22

大数据环境---hadoop的安装_xml_23

   

大数据环境---hadoop的安装_xml_24

背景知识:


大数据环境---hadoop的安装_hadoop_25

      hadoop的本质: 一个分布式系统基础架构。 它的核心是:hdfs 以及 mapreduce.

大数据环境---hadoop的安装_hdfs_26

   

大数据环境---hadoop的安装_xml_27

大数据环境---hadoop的安装_hadoop_28

   更多的详细信息我想在hadoop官网应该可以找到答案。 

举报

相关推荐

0 条评论