0
点赞
收藏
分享

微信扫一扫

大数据环境---zookeeper的安装


    最近由于实践需要,进行了大数据相关环境及实践,特此记录。

zookeeper:

         百度百科释义:

大数据环境---zookeeper的安装_服务器

    不难看出,它的本质:一个服务,分布式应用程序协调服务。   (或者说一套协议)。

大数据环境---zookeeper的安装_zookeeper_02

   具体的细节就不去看了,否则今天下午乃至本周恐怕都看不完,更别说理解了。  

   总之吧,它为基于硬件环境的集群提供了思路!! 我想这个是我对它的理解了

物理环境准备:

    centos7光驱,虚拟机软件,本机的内存要求(最低要求8g)。

过程:

      具体的创建过程就不记录了,网络上一搜一大把。但是有必要记录一下联网的阶段:

    

大数据环境---zookeeper的安装_zookeeper_03

    其中三种模式分别的区别在于:

       NAT网络地址转换协议,我们通常连入互联网便是基于这个。  它的功能相当于我们使用手机接入家用的路由器中,这个时候如果我们的电脑也是接在该路由器上的,那么手机与电脑处于同一个“局域网”内,具有相同的网关。二者可以通过路由器分配的ip地址进行相互访问!!    但是使用虚拟机时,电脑主机充当了路由器的功能,电脑主机在该端口(默认vMnet8端口)的Ip地址即是虚拟机主机的网关。  二者仍然可以相互通信。   因此,这也就造成了该局域网内的其它终端并不能访问到虚拟机。

       桥接模式有点类似于虚拟机主机绕过物理主机的网关,直接连接到路由器的情况。  那么该局域网内的其它主机也能够相互访问虚拟机!

       仅主机模式与桥接模式类似,大概的区别是它不能与本物理主机所创建的其它虚拟机通信。。

  Ok,接着就是一路安装系统!!!

  centos7默认联网功能是关闭的,所以启动系统之后要去打开联网功能!!  此外,在复习计算机网络的知识中我们直到,在一定程度上,ip地址与主机名具有相同的效力!  所以为了我们的方便还需要修改一下主机名。  这个前提就是,ip地址得在允许的范围内与主机名固定。  为了完成这个效果,有两种解决方法,一是采用静态ip的方式,但是会增加配置成本;  二是修改主机的dhcp分配的过期时间!   我采用的是第二个解决方法。  详细如下:

  修改主机名: 

     

大数据环境---zookeeper的安装_主机名_04

 开启联网权限:

     

大数据环境---zookeeper的安装_主机名_05

大数据环境---zookeeper的安装_服务器_06

 重启生效。 同时修改主机dhcp的过期时间。

大数据环境---zookeeper的安装_服务器_07

大数据环境---zookeeper的安装_主机名_08

  然后启动。

大数据环境---zookeeper的安装_zookeeper_09

   重复以上步骤,创建其它的虚拟机,作为集群的物理机。

 zookeeper的安装准备:

    1.  net-tools安装,其介绍:

大数据环境---zookeeper的安装_主机名_10

       安装:

   

大数据环境---zookeeper的安装_主机名_11

大数据环境---zookeeper的安装_主机名_12

  2,配置主机名:

       在每个虚拟机的hosts文件中配置主机名与ip的映射。

       比如:

       

大数据环境---zookeeper的安装_zookeeper_13

       

大数据环境---zookeeper的安装_服务器_14

  3.关闭防火墙:

       

大数据环境---zookeeper的安装_服务器_15

  4,时间同步,物理上保证时区一致。 协议上采用ntp协议。ntp基于客户机服务器的方式实现。因此:

      

大数据环境---zookeeper的安装_主机名_16

、  安装ntp并相应的运行服务器与客户机:

       ntp简介(百度释义):

          

大数据环境---zookeeper的安装_服务器_17

     

大数据环境---zookeeper的安装_服务器_18

     

大数据环境---zookeeper的安装_主机名_19

     

大数据环境---zookeeper的安装_服务器_20

     

大数据环境---zookeeper的安装_zookeeper_21

          

大数据环境---zookeeper的安装_服务器_22

  

大数据环境---zookeeper的安装_zookeeper_23

   ok,基本ntp的背景知识就这些了。

  接下来作为ntp服务器启动:

        

大数据环境---zookeeper的安装_服务器_24

   ntp客户机时间同步的启动:

        

大数据环境---zookeeper的安装_主机名_25

5.配置ssh免密登陆。 设置这个是为整个集群协作的方便。

    相关背景:

          

大数据环境---zookeeper的安装_服务器_26

    

大数据环境---zookeeper的安装_服务器_27

  

大数据环境---zookeeper的安装_zookeeper_28

大数据环境---zookeeper的安装_zookeeper_29

    上面这个帖子十分贴切的解决了我的疑惑!! ssh 与 ssh-keygen的关系。 正如接口与实现类的关系!

具体的操作:

     

大数据环境---zookeeper的安装_主机名_30

     

大数据环境---zookeeper的安装_zookeeper_31

    

大数据环境---zookeeper的安装_zookeeper_32

大数据环境---zookeeper的安装_主机名_33

   当其它虚拟机上具有本虚拟机的公钥时,就可以通过本虚拟机免密登陆到该虚拟机中。 原理类似。。。

6.安装jdk。  (略,作为一名java学习者,安装这个已经不是什么新鲜玩意了)。

 正式安装Zookeeper:

      1.配置zookeeper的主机名称映射到集群中的各台机器。  

          

大数据环境---zookeeper的安装_zookeeper_34

         2.解压并配置:

            在解压文件夹中,对zookeeper进行配置:

       将配置文件中的zoo_sample.cfg 复制一份为 zoo.cfg:

大数据环境---zookeeper的安装_zookeeper_35

          进行配置:

            

大数据环境---zookeeper的安装_zookeeper_36

    最后在当前目录的一级父目录建立 zkdata文件夹和zkdatalog文件夹。  其中,在zkdata中新建myid文件,内容为所配置的序号。 如1,2,3.    其余的虚拟机可使用 scp命令远程拷贝过去,只需修改其序号为配置文件的相应序好即可。!!!

    修改环境变量,生效并启动zookeeper:

         

大数据环境---zookeeper的安装_主机名_37

        对整个集群的每个机器进行启动:  

           

大数据环境---zookeeper的安装_zookeeper_38

          成功的标志:

大数据环境---zookeeper的安装_主机名_39

    背景知识:


大数据环境---zookeeper的安装_zookeeper_40

大数据环境---zookeeper的安装_zookeeper_41

大数据环境---zookeeper的安装_主机名_42

    最后补充一下自己的理解:

          zookeeper是基于java语言的。 java中利用配置文件进行解耦是一个十分常见的方式,因此这里的配置可完全类比到java的后台开发中进行理解。

          完成这一步,我们已经搭建起了一个主机的集群。 与服务器容器集群并不完全相同。 至少在权限方面还是有很大的不同的。

 

 

举报

相关推荐

0 条评论