大规模并行分析(MPP)数据库(Analytical Massively Parallel Processing (MPP) Databases)是针对分析工作负载进行了优化的数据库:聚合和处理大型数据集。MPP数据库往往是列式的,因此MPP数据库通常将每一列存储为一个对象,而不是将表中的每一行存储为一个对象(事务数据库的功能)。这种体系结构使复杂的分析查询可以更快,更有效地处理。
这些分析数据库将其数据集分布在许多机器或节点上,以处理大量数据(因此得名)。这些节点都包含自己的存储和计算功能,从而使每个节点都可以执行查询的一部分。
1、硬件环境检测
1.1、内存
内存最小值:16GB
推荐值:128GB以上
1.1.1、查看内存大小命令:
# grep MemTotal /proc/meminfo
swap 分区大小推荐为 16 GB。
1.1.2、查看swap命令:
# grep SwapTotal /proc/meminfo
1.1.3、建立swap分区
创建swap分区的前提条件:
需要有一块没有使用完的硬盘,并且剩余磁盘空间应大于要建立swap分区的大小。
1、创建17G的空文件 dd if=/dev/zero of=/opt/swapfile bs=1M count=17408
#此处设置为17G,如下:
dd if=/dev/zero of=/opt/swapfile bs=1M count=17408
2、格式化为交换分区 mkswap /opt/swapfile
3、设置权限 chmod 600 /opt/swapfile
4、挂载交换分区 swapon /opt/swapfile
如果guazai交换分区出现如下参数错误,
swapon: stat 失败:swap: 没有那个文件或目录,
解决办法:
重新制作为交换分区
/sbin/mkswap /opt/swapfile,
然后继续挂载交换分区即可
/sbin/swapon /opt/swapfile
5、查看交换分区大小 free
如果要去掉新增加的swap文件,使用 swapoff /opt/swapfile即可。
操作完整命令:
[root@oracle u01]# dd if=/dev/zero of=/opt/swapfile bs=1M count=17408
[root@oracle u01]# chmod 600 /opt/swapfile
[root@oracle u01]# swapon /opt/swapfile
[root@oracle u01]# free -h
total used free shared buff/cache available
Mem: 31G 2.1G 19G 102M 9.4G 28G
Swap: 16G 0B 16G
[root@oracle u01]# vim /etc/fstab
...
/opt/swapfile swap swap default 0 0
或参照swap分区操作
1.2、CPU
因本次安装实在x86架构下安装下载的安装包为X86_64,故CPU 架构只支持 x86_64。
查看 CPU 架构命令:
# uname -m
1.3、硬盘
每台主机最少需要 300MB 来安装 MPP 数据库集群软件。生产环境中,需根据实际 数据量大小选择合适的硬盘空间,推荐至少 16GB 以上。
查看硬盘存储命令:
# df -h
2、软件环境检测
2.1、操作系统
操作系统最低支持:
- CentOS 6.0 或者更高
- Red Hat Enterprise Linux(RHEL)6.0 或者更高
- Linx 6.0 或者更高
- iSoft Server OS 4.2 或者更高
- Kylin 3.2 或者更高
使用下面命令查看当前操作系统版本:
# cat /etc/redhat-release
# cat /etc/linx-release
凝思系统查看命令# cat /etc/kylin-releas
麒麟操作查看命令
2.2、内核版本
请自行参考安装文档,只要操作系统版本支持,则内核也基本支持
内核版本查看命令:
uname -r
2.3、依赖包
KADB_MPP数据库需要安装如下依赖包
bash ed json-c openssh openssh-clients perl sed sysstat tar vim-minimal zip xfsprogs zlib
以上依赖包均整合在 MPP 数据库安装包钟,无需额外安装。如果依然存在依赖包缺失 的情况centos系统使用 rpm 包方式安装相应的依赖包:
# rpm -ivh package_name
在凝思系统下也可以使用 deb 包方式安装相应的依赖包:
# dpkg -i package_name
2.4、文件系统推荐
推荐使用 XFS 文件系统。XFS 主要特性包括以下几点:
数据完全性:采用 XFS 文件系统,宕机发生后,首先,由于文件系统开启了日志功能, 所以磁盘上的文件不会因意外宕机而损坏。不论目前文件系统上存储的文件与数据有多少, 文件系统都可以根据所记录的日志在很短的时间内迅速恢复磁盘文件内容。
传输特性:XFS 文件系统采用优化算法,日志记录对整体文件操作影响非常小。XFS 查询与分配存储空间非常快。XFS 文件系统能连续提供快速的反应时间。
可扩展性:XFS 是一个全 64-bit 的文件系统,它可以支持上百万 T 字节的存储空间。 对特大文件及小尺寸文件的支持都表现出众,支持特大数量的目录。 最大可支持的文件大 小为 263 = 9 x 1018 = 9 exabytes,最大文件系统尺寸为 18 exabytes。 XFS 使用高的表 结构(B+ 树),保证了文件系统可以快速搜索与快速空间分配。XFS 能够持续提供高速操作, 文件系统的性能不受目录中目录及文件数量的限制。 传输带宽:XFS 能以接近裸设备 I/O 的性能存储数据。在单个文件系统的测试中,其 吞吐量最高可达 7GB 每秒,对单个文件的读写操作,其吞吐量可达 4GB 每秒。
通过下面命令制作 XFS 文件系统。
使用 root 用户: mkfs.xfs devname
例如:
# mkfs.xfs /dev/sda3 或 # mkfs -t xfs /dev/sda3