二、Hadoop运行模式
1)Hadoop官方网站:http://hadoop.apache.org
2)Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。
- 本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。
- 伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
- 完全分布式模式:多台服务器组成分布式环境。生产环境使用。
2.1 完全分布式运行模式(开发重点)
分析:
- 1.准备3台虚拟机(
关闭防火墙、静态IP、主机名称
) - 2.安装JDK
- 3.配置环境变量
- 4.安装Hadoop
- 5.配置环境变量
- 6.配置集群
- 7.单点启动
- 8.配置ssh
- 9.群起并测试集群
2.2.1 虚拟机准备
详见1.1、1.2两节。
2.2.2 编写集群分发脚本xsync
1)scp(secure copy)安全拷贝