在hadoop102上输入命令:
ssh-keygen -t rsa
会在家目录下面产生一个.ssh文件
cd /home/atguigu
ll -a
cd .ssh
在102上输入:
ssh-copy-id hadoop103
那么这时候去hadoop103机器的家目录下的.ssh目录下查看
/home/atguigu/.ssh
这时候也会生成一个authorized_keys文件,这个文件存储了hadoop102机器给他的公钥
同样在hadoop102上写:
ssh-copy-id hadoop104
这时候hadoop104机器上在
/home/atguigu/.ssh目录下也会有文件authorized_keys到此:在hadoop102机器上输入ssh hadoop103之后,是不需要输入密码就可以登录到机器hadoop103的。
其他机器103 104也是做同样的操作。省略
集群的群起启动:
之前一直使用的是bin目录下的yarn,现在使用sbin目录下的
这些是别人给我们写好的脚本文件来实现群起集群。
但是这些脚本文件不知道我们的namenode在哪,2nn,以及resourcemanager,所以我们要告诉他。
workers文件的位置:
分发脚本 xsync workers
现在就可以群起集群了
在nn所在的节点启动集群 start-dfs.sh
在rm所在的节点 start-yarn.sh
为了更方便,自己编写脚本实现群起集群。
为了更方便,自己编写脚本实现查看每个节点的启动的情况。
我们发现jps这个命令在jdk中