Ambari离线安装部署指南

一、环境规划

一.二、电脑配置要求

若果说自己的电脑内存是16G，随便，4G + 4G + 4G 若果说自己的电脑内存是12G，4G + 2G + 2G 若果说自己的电脑内存是8G，2G + 1G + 1G， 这两个服务别安装了Ambari Metrics、 SmartSense 若果说自己的电脑内存是8G，4G， 这两个服务别安装了Ambari Metrics、 SmartSense

虚拟机磁盘空间至少 40G，磁盘空间虚拟机用多少占多少。

二、检查系统

三、禁用透明大页（huge pages）（所有节点上都要进行）

1. 查看状态

   • 命令 ： cat /sys/kernel/mm/transparent_hugepage/enabled

2. 出结果为[always]表示透明大页启用了。[never]表示透明大页禁用

3. 修改文件 vim /etc/grub.conf 向其中追加属性

   • 命令 ： echo transparent_hugepage=never >> /etc/grub.conf

4. 不重启情况下生效

   • 命令 ： echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

5. 再查看状态

四、关闭防火墙

1. 禁止下次开机启动， 并不会关闭防火墙

   • 命令 : chkconfig iptables off

2. 关闭防火墙

   • 命令 ： service iptables stop

   • contos7 关闭防火墙命令 sudo systemctl stop firewalld.service

五、开启httpd服务

1. httpd 是一个 web应用服务软件， 相当于是 Tomcat ， linux 自带的

2. 如果没有 httpd 自己安装一个

   • 命令 ： yum –y install httpd –y 是否是自动安装

3. 修改 vim /etc/httpd/conf/httpd.conf

   • 删除ServerName localhost:80注释

     #ServerName www.example.com:80（一边情况下不用管）

4. 启动 httpd

   • 命令 ： service httpd start

   • 设置 httpd 开机启动，并不会启动这个服务

   • chkconfig httpd on

六、关闭SELINUX 安全服务

1. 修改 vim /etc/selinux/config 下的 属性 SELINUX= disabled

七、修改yum配置文件

1. 修改 vim /etc/yum.conf 文件

   Plugins=1

   修改为

   Plugins=0

   红旗系统默认为1

八、开启mysql设置权限

1. 搜索 mysql 软件

   • 命令 ： yum search mysql

2. 安装 mysql server 服务

   • 命令 ： yum -y install mysql-server.x86_64

3. 安装 mysql 客户端

   • 命令 ： yum –y install mysql.x86_64 （ 一般安装好服务客户端就安装好了）

4. 设置 mysql 服务开机启动

   • 命令 ： chkconfig mysqld on

5. 启动 mysql 服务

   • 命令 ： service mysqld start

6. 命令行连接mysql 服务

   • 命令 ： mysql

   • ==> mysql -hlocalhost –uroot –p

     参数 –h mysql 服务在哪台主机上面

     参数 –u 连接 mysql 的用户名

     参数 –p 密码

7. 创建 一个 名称是 ambari 的数据库

   • 命令 ： CREATE DATABASE ambari DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

8. 权限设置

   • 备注：

     % 允许所有主机远程连接 mysql 服务

     . 允许访问所有数据库的所有表

     root 连接 mysql 服务的时候使用的用户名

   • 允许所有的主机使用 用户 root和密码 123456 去访问所有数据的所有密码。

   • 命令 : grant all privileges on . to 'root'@'%' identified by '123456';

   • 命令 ： flush privileges;

   • 允许单个主机（localhost）使用 用户 root和密码 123456 去访问所有数据的所有密码。

   • 命令 : grant all privileges on . to 'root'@'cdh1' identified by 'root';

   • 命令 : flush privileges;

9. Windows 工具连接mysql

   • 不允许 Windows 远程连接mysql

      

   • 不允许 不适用免密 访问mysql 服务 

   • mysql 授权会影响到 系统库 mysql 的user 表记录

   •  localhost root // mysql –uroot –p

   • gz001 root 123456 // mysql -hgz001 –uroot –p123456

     127.0.0.1 root // mysql –h127.0.0.1 –uroot –p

     % root 123456 // 允许远程主机 mysql –h127.0.0.1 –uroot –p123456

   九、各个机器ssh无密码登陆

   十、Python2.6.6编码集

   • import sys

     reload(sys)

     sys.setdefaultencoding('utf8')

   十一、设置时钟同步

   1. 同时查看 3 台主机的时间

      • 命令 ： date

   2. 每台机器上都执行，手动同步时间

      • 命令 ： date –s “2020-09-21 10:49:00”

   3. 设置每台机器都自动启动ntpd时间同步服务

      • 命令 ： chkconfig ntpd on

   4. vim /etc/ntp.conf 追加加修改以下内容:

      • restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

        server 127.127.1.0 # local clock

        fudge 127.127.1.0 stratum 10

      • 启动 ntp

      • 命令 ： service ntpd start

   5. 其他节点作为ntpd客户端配置

      • vim /etc/ntp.conf 添加修改以下内容:

        server 192.168.137.101

        restrict 192.168.137.101 nomodify notrap noquery

        server 127.127.1.0 # local clock

        fudge 127.127.1.0 stratum 10

      • 启动 ntpd 服务

      • 命令 ： service ntpd start

   6. 执行 ntpdate -u 192.168.137.101（主节点IP）

九、配置离线RPO源

1. 升级openssl

   版本为openssl-1.0.1e-16或以上

   yum upgrade openssl或执行rpm包

十、制作centos yum本地源

1. 制作ambari本地源

   • 解压 ambari-2.0.0-centos6.tar.gz 到 /var/www/html/

   • 命令 ： tar -zxvf ambari-2.0.0-centos6.tar.gz

2. 制作hdp本地源

   • 解压 HDP-UTILS-1.1.0.20-centos6.tar.gz 、 HDP-2.2.4.2-centos6-rpm.tar.gz 到 /var/www/html/ ，其中解压HDP-UTILS-1.1.0.20-centos6.tar.gz 时要在 /var/www/html/ 目录下新建一个 HDP-UTIL 文件夹，在这个文件夹中解压。

   • 备注： /var/www/html/ 相当于 Tomcat 的 webapp 目录

3. .repo3个配置文件3台主机上面都需要

   • 命令 ： cd /etc/yum.repos.d

   • 三个配置文件路径 ： D:\java\1笔记资料及资源\大数据Hadoop\ambanir一键部署\ambari\repo

4. 刷新 yum缓存

   • 命令 ： yum clean all

   • 命令 ： yum makecache

十一、安装

1. 仅在第一台主机上面安装

   • 自动安装

   • 命令 : yum -y install ambari-server

2. 3台主机上面安装

   • 命令 : yum -y install ambari-agent

3. 确保 JDBC 在这几个目录下面:

   mysql-connector-java-5.1.17.jar

   /usr/share/java/ // 没有创建

   /var/lib/ambari-server/resources

   /usr/lib/ambari-server

   执行命令

   ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/ mysql-connector-java-5.1.17.jar

   不执行上面的命令， 会报异常

   

   4、手动执行 /var/lib/ambari-server/resources/ 目录的 Ambari-DDL-MySQL-CREATE.sql

   文件来创建表以及表关系

十二、运行配置ambari

1. 命令 ： ambari-server setup

2. *1*

   Using python /usr/bin/python

   Setup ambari-server

   Checking SELinux...

   SELinux status is 'enabled'

   SELinux mode is 'enforcing'

   Temporarily disabling SELinux

   WARNING: SELinux is set to 'permissive' mode and temporarily disabled.

   OK to continue [y/n] (y)? y

   *2.*

   Customize user account for ambari-server daemon [y/n] (n)? 默认n

   *3.*

   Adjusting ambari-server permissions and ownership...

   Checking firewall status...

   Checking JDK...

   [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

   [2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

   [3] Custom JDK

   ==============================================================================

   Enter choice (1): 3

   WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.

   WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.

   Path to JAVA_HOME: /usr/java/jdk1.8.0_25 选择3输入本地java_home

   *4.*

   Enter advanced database configuration [y/n] (n)? y

   Configuring database...

   ==============================================================================

   Choose one of the following options:

   [1] - PostgreSQL (Embedded)

   [2] - Oracle

   [3] - MySQL

   [4] - PostgreSQL

   [5] - Microsoft SQL Server (Tech Preview)

   [6] - SQL Anywhere

   ==============================================================================

   Enter choice (1): 3 选择3设置mysql数据库

   Hostname (localhost): 链接地址

   Port (3306): 端口

   Database name (ambari): 数据库名

   Username (ambari): 用户名

   Enter Database Password (bigdata): 密码

   Configuring ambari database...

   Copying JDBC drivers to server resources...

   Configuring remote database connection properties...

   *5.*

   WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

   Proceed with configuring remote database connection properties [y/n] (y)? Y

十三、启动 ambari

1. 命令 ： ambari-server start

2. 完成后运行 ： rpm -ivh gotop-2.2.0.0-1.el6.x86_64.rpm –replacefiles

3. 启动报错

   

   /var/log/ambari-server/ambari-server.log

   /var/log/ambari-server/ambari-server-check-database.log

   

   /etc/ambari-server/conf/ambari.properties 文件中，关于mysql的配置错，mysql访问端口应该为3306。错误配置如下：

   server.jdbc.driver=com.mysql.jdbc.Driver ​ server.jdbc.database=mysql ​ server.jdbc.rca.url=jdbc:mysql://nssa-sensor1:3306/ambari ​ server.jdbc.rca.driver=com.mysql.jdbc.Driver ​ server.jdbc.url=jdbc:mysql://nssa-sensor1:3306/ambari

   

   *前端访问*

   http://192.168.137.101:8080/#/login用户名/密码 admin/admin

   

   至此，Ambari Server 就安装完成了。

   到这一节，我们将可以真正地体验到 Ambari 的用武之地，以及它所能带来的方便之处。

   登录 Ambari 之后，点击按钮“Launch Install Wizard”，就可以开始创建属于自己的大数据平台。

   

    

    

    

   Use Local Repository

   

    

   Provide your SSH Private Key

   

    

    

    

    

    

    

    

    

    

    

    

    

    

    

    

   yum -y install snappy-devel