完全分布式部署Hadoop集群准备(一)

配置三台虚拟机

分别设置名称为testnote01,testnote02,testnote03

分别配置三台虚拟机的ip

192.168.18.50
192.168.18.51
192.168.18.52

主机名等信息,详情虚拟机克隆冲突解决

cat /etc/hosts   //修改为
192.168.18.50 testnote01
192.168.18.51 testnote02
192.168.18.52 testnote03

分别ping通三台主机,保证三台主机之间可以互相通信

修改windows的hosts文件,加上

192.168.18.50 testnote01
192.168.18.51 testnote02
192.168.18.52 testnote03

scp远程拷贝命令

远程拷贝其他主机上的文件

scp -r 目标文件的相对目录 远程主机的名称@远程主机ip/域名:远程主机的文件目录

从其他主机上拷贝文件到自己的主机上

scp 用户名@其他户籍的域名/ip:文件地址  自己主机的文件地址

ssh免密登录原理

A服务器生成一对密钥对:生成公钥和私钥

A服务器将公钥拷贝到B服务器上

A服务器通过ssh访问B,数据用私钥进行加密的

B服务器接受到数据后,通过拷贝的公钥对数据进行解密操作

B服务器再采用A钥加密将数据返回给A服务器

A服务器接受到数据后用私钥解密数据
回到根目录,查看ssh文件.没有的情况下.使用ssh命令登录下其他主机即可

保证.ssh目录下面为空.执行命令

ssh-keygen -t rsa

三次回车后

id_rsa为私钥 id_rsa.pub为私钥

ssh-copy-id testnote02
  ssh-copy-id testnote03

其他主机上显示公钥

完成之后对自己进行免密操作

ssh-copy-id testnote01

远程免密登录测试

查看登录过哪些主机

在testnote01上启动namenode

在testnote02上启动resourcemanager

都需要ssh,两个都耗费资源,所以要配置ssh

进入testnote02的.sh目录下

ssh-keygen -t rsa

三次回车

ssh-copy-id testnote01
ssh-copy-id testnote02
ssh-copy-id testnote03

rsync 远程同步

rsync远程同步工具:主要用于备份和镜像,具有速度快.避免复制相同内容和支持符合连接的优点

rsync和scp区别:rsync文件复制比scp快,rsync只对差异文件更新,scp是把所有文件复制过去

将三台机器安装rsync

yum install sync -y

基本语法

rsync  -rvl                 $pdir/$fname                       $user@hadoop$host:$pdir 
命令   命令参数   要拷贝的文件路径/名称   目的用户@主机:目的路径
r递归 v显示 复制过程 l拷贝符号连接

做一个小demo

只会更新里面内容