1. 概述
1.1 目标
很多想要自建云平台的小企业，没有云平台的建设经验，不知道搭建云平台需要哪些软硬件资源，怎么规划，具体怎么落地。本文将专门针对中小企业介绍一种最具性价比的云平台搭建方案，这也是大型云平台采用最广泛的方案之一。
本案例将以20台物理服务器，采用本地硬盘部署ceph分布式存储集群，构建计算+存储超融合的云平台，满负载时能运行800台虚拟机（6核、14GB内存、300GB磁盘）这样的规模展开介绍。
本文将选用StarVCenter软件为例，来介绍私有云的具体部署实施过程。20台服务器节点及以下，StarVcenter无需license授权，因此我们这样的规模可以放心使用。
1.2 方案优缺点
优点：性价比最高，无需额外存储设备，存储容量和性能均可轻松扩展，物理机宕机时虚拟机自动飘移，虚拟机能在不同物理机上自由迁移（不停机），虚拟机磁盘精简（实际用多少占多少）。
缺点：分布式存储集群对网络环境的带宽及稳定性要求较高，对服务器及供电稳定性要求较高，对运维人员技能及操作规范有一定要求。
1.3 名词解释
资源池：一套StarVCenter软件管控下的所有软硬件资源的集合。
计算集群：一组配置相近、型号相同、物理位置相邻的物理服务器的集合，一个资源池下可用划分成多个计算集群。
管理网：管理网是安装各节点操作系统时设置的“IP网络”，主要用于用户访问管理界面，和管控节点向计算节点发送管控指令等管理操作。
业务网：业务网是用于虚拟机之间、虚拟机与平台之外的计算机之间通信的网络。其物理结构由各节点的“业务网网卡及其相连的二层物理链路”构成，业务网网卡充当二层通路，不设置IP地址。
存储网：计算节点访问存储（含虚拟机磁盘I/O）所走的“IP网络”，通常用万兆网。外接SAN存储通过SAN网络连接到物理服务器的HBA卡上，用于服务器与后端存储阵列之间通信。
StarVE：StarVCenter定制虚拟化专用操作系统，StarVCenter所有软件包，都集成在StarVE中。
管控节点：整个资源池的控制中心，用于控制调度整个资源池的资源。
计算节点：负责运行虚拟机机的物理服务器，管控节点同时会用作计算节点。
部署节点：集群安装方案中，需要选择其中一台服务器作为部署节点来部署集群。
主存储：用于存放虚拟机磁盘镜像，同一集群的计算节点都将挂载共享存储。
镜像存储：用于存放操作系统ISO镜像、虚拟机模板镜像、驱动工具包等，供整个资源池共享。
CEPH：一种分布式存储软件系统，能通过多台服务器的本地磁盘构建存储集群，I/O性能可随节点数增加而增加。
CEPH monitor节点：ceph分布式存储集群的管理监控中心，一般设置为3个节点。
2. 硬件设备清单
超融合架构中的硬件规划原则：
（1）每节点硬件配置尽量保持一致；
（2）单个超融合集群节点数越多性能越好；
（3）数据磁盘数越多性能越好，CPU和内存配置随磁盘数量和容量递增；
（4）缓存磁盘容量规划原则：每块数据磁盘+100GB，可由多块SSD磁盘构成，预留够后期扩展空间。
（5）缓存磁盘和数据磁盘无须做raid，因此使用raid直通或单盘raid0即可。
（6）配备独立万兆网络作为存储网（建议不上连至汇聚交换机），随节点数增加，存储网交换机的交换容量越大性能越好。
实际生产环境硬件配置参考：http://www.starvcs.com/doc/vcenter/suggest.html
3. 部署结构规划
3.1 标配方案
本案例中，所有设备及线路均采用了双冗余方式，任意设备、链路、及配件故障，均不会对虚拟机运行产生影响。在确保存储网具备万兆带宽的情况下，超融合结构相比SAN存储结构，计算和读写性能将得到更好的表现。
按照上图规划，20台服务器全部用作计算节点，同时所有节点作为分布式存储的数据存储节点。其中第1-3台用于管控集群节点，第4、5两台用于数据库节点，第6台用于辅助存储节点。
为了安全考虑，采用管理网、业务网、存储网三网物理分离结构，每组网络采用双链路聚合，交换机均开启生成树。
按上图规划，在布线阶段管理网、业务网、存储网的3组交换机需要做“堆叠”，之后进行链路聚合（例如：存储网交换机1的第1个口和存储网交换机2的第1个口做端口聚合。）
管理网交换机配置为“access”模式，业务网交换机上需要配置为“trunk”模式，并允许所有VLAN通过，这样多个虚拟子网就可以通过不同的vlan进行隔离。
注意：本方案中，我们假定网卡按插槽顺序为从上往下数，网口按识别名编号为从左往右数。曾经发现有服务器不是这样的，所以这里要特别注意布线人员与安装系统人员对网卡须序和网口顺序要保持一致的认知！
3.2 减配方案
如果你的预算或硬件资源有限，或者在某些方面要求不高，你可以在以下方面进行减配：
- 双链路变单链路（适用于测试环境）
管理网、业务网、存储网，将各网的交换机由2台减配为1台，同时将所有服务器的千兆网卡和万兆网卡由2块减配为1块。
优点：网络结构变更单了，部署运维也相应简单了。
缺点：任意一条管理网链路断开会导致对应物理机上的虚拟机暂时无法操作管理，不影响虚拟机运行；任意一条业务网链路断开，会导致对应物理机上虚拟机网络服务中断；任意一条存储网链路断开，会导致对应物理机上虚拟机磁盘I/O阻塞或报错。
- 万兆网变千兆网（适用于测试环境）
存储网由两台万兆交换机减配为两台千兆交换机，同时去掉万兆网卡，原千兆网卡规格改为2块（4网口），去掉pcie-ssd硬盘。
优点：成本降低约10%-15%。
缺点：分布式存储整体I/O性能将下降到标配方案的20%以下。
- 服务器配置降低
服务器减配后配置如下：
减配后，系统盘不做raid，直接用一块盘即可。管理网接入千兆网卡的1、2两个网口，业务网接入千兆网卡的第3、4两个网口，存储网接入万兆网卡的两个网口。
优点：成本降低约30%。
缺点：满负载时能运行的标准虚拟机由800台降为550台。
4. IP及主机名规划
20台服务器的主机名配置为starve001、starve002…starve020。
管理网IP地址将配置在物理服务器管理网网卡上（按规划为千兆网卡第1个网口），从starve001到starve020依次为172.18.1.1到172.18.1.20。业务网所承载的“虚拟子网”之间通过VLAN进行隔离。
5. 安装部署
5.1 上架与布线
按照“部署结构图案例”图所示，将服务器、交换机、存储上架后，进行布线连接。
注意：本方案中，我们假定网卡按插槽顺序为从上往下数，网口按识别名编号为从左往右数。曾经发现有服务器不是这样的，所以这里要特别注意布线人员与安装系统人员对网卡须序和网口顺序要保持一致的认知！
5.2 安装StarVE操作系统
从StarVCenter官网下载starve4-x86_64-StarVCenter-mini-xxx.iso，然后刻录安装光盘或U盘（推荐使用官网提供的rufus工具刻录）。
按以下步骤依次安装20台服务器：
将光盘或U盘插入服务器，进入BIOS设置。
5.2.1 Bios设置
- 在bios中开启虚拟化(VT)支持。
- 按规划将服务器本地两块1.2TB的sas硬盘配置为raid1（不同服务器配置有差异，参考厂商指导手册）。
- 设置为从光驱/U盘启动。
在第一个画面选择“Install StarVE4”，稍后进入系统安装图形界面，如下图：
5.2.2 选择安装类型
点击【SOFTWARE SELECTION】进入软件选择界面：
（说明：部署节点安装完成后，可通过浏览器打开“http://部署节点ip:9000”，从部署界面添加多台‘Basic节点’，并将这些节点以“多管控节点集群”的模式批量部署）。
我们将第1台服务器作为部署节点，选择“Deployment node”类型，第2台～第20台，都选择“Basic node”类型。
第1台节点选择，如下图：
第2-20台节点选择，如下图：
点击【Done】铵钮确认选择。
5.2.3 选择磁盘
点击【INSTALLATION DESTINATION】选项，按照规划，此处选择做raid1后的磁盘作系统盘。点击【Done】，然后选择【Accept Changes】。如下图：
说明：按照规划starve004和starve005规划为数据库节点，因此这两台节点我们采用人工分区的方式，预留出大于200GB的空间不分区，后面将使用这部分“未分配空间”作为数据库的数据存储空间。
注意：采用人工分区时，请勿修改任何默认的类型选项，先通过“自动创建分区”方式创建，然后再调整分区容量。
5.2.4 配置主机名、IP
20台服务器的主机名配置为starve001、starve002…starve020。
管理网IP地址将配置在物理服务器千兆网卡（两块千兆网卡任选其一均可，此处为按规划为千兆网卡的第一个网口，此处我们选择第一个网络设备即可）上，从starve001到starve020依次为172.18.1.1到172.18.1.20。
1．配置主机名
点击【NETWORK & HOSTNAME】，打开配置界面，在“Host name”栏输入主机名。
2.配置IP地址
（提示：这里配置1个IP即可。集群部署期间，此IP将被默认识别为管理网IP，自动移植到管理网网桥‘br-mgmt’上。）
点击【Configure】按钮，选择【IPv4 Settings】，将“Method”设置为【Manual】。
点击【add】，输入IP、掩码、网关，点击【Save】，如下图：
点击【OFF】按钮使其为【ON】状态启用网卡，然后点击【Done】，如下图：
点击【Begin Installation】按钮开始部署。
点击【ROOT PASSWORD】设置root账户密码。
约需要10分钟完成安装，安装完成后，点击【reboot】重启系统。
按照上述方法完成所有服务器的操作系统安装，并确保所有服务器之间IP互通。
5.3 部署StarVCenter集群
通过浏览器(推荐Google Chrome)打开WEB部署界面，访问地址为：http://部署节点IP地址:9000（此处为h ttp:// 172.18.1.1:9000）如下图：
点击【开始】进入“添加主机”页面，输入20台服务器的管理网IP，(此处实际的起始IP为172.18.1.1，结束IP为172.18.1.20，为便于演示，我们先添加前6台节点），进行部署，如下图：
说明：确认所有服务器之间IP地址互通，再添加主机。
将所有服务器添加至部署界面后，确保“管理网IP”栏中所有节点状态均为“在线”（图标为绿色），如下图：
5.3.1 配置分布式存储
在顶部导航栏中点击【配置分布式存储】，进入配置界面，如下图：
说明：系统检测到添加的节点满足分布式存储部署条件时，将自动选择最优的分布式存储配置方式。这里所有节点均可作为分布式存储节点，选择每个节点的第二块磁盘（固态硬盘）作为缓存磁盘，其它磁盘作为数据磁盘，点击“确定”即可。
5.3.2 指定网卡用途
在顶部导航栏中点击【指定网卡用途】，进入配置界面，如下图：
说明：这里所有服务器网卡配置完全一样，因此采用批量配置。
勾选“starve001节点”作为模板，然后点击“配置”按钮，如下图：
然后点击表头处的选择框（此时为批量配置模式），进入“选择绑定模式及用途”界面，如下图：
按照网络规划，将两块“千兆”网卡的第1个网口（eno1，enp1）进行绑定，操作方法：点击eno1的“绑定”铵钮，然后选择enp1作为绑定对象，绑定模式选择为“主备模式”），绑定完成后，将其勾选为“管理网”。
将两块“千兆”网卡的第2个网口（eno2,enp2）进行绑定，操作方法：点击eno2的“绑定”铵钮，然后选择enp2作为绑定对象，绑定模式选择为“SLB模式”），绑定完成后，将其勾选为“业务网”。
将两块“万兆”网卡的第1个网口（enq60s0f1,enq75s0f1）进行绑定，操作方法：点击enq60s0f1的“绑定”铵钮，然后选择enq75s0f1作为绑定对象，绑定模式选择为“SLB模式”），绑定完成后，将其勾选为“存储网”。
说明：
管理网也可选择为“SLB模式”，可以在极限情况下支撑更大的传输带宽。
业务网和存储网也可选择为“TCP模式”，这种模式需要在交换机端将两条链路对应网口进行端口聚合（LACP模式），相比SLB模式，其负载均衡效果更好。
点击【确定】返回上级页面，此时看到所有节点的网络配置状态变为“已配置”。
5.3.3 配置镜像存储
在顶部导航栏中点击【配置镜像存储】进入辅存配置界面。
按照规划，从主机列表中选择“starve006”作为辅存节点。再从下拉列表中选择存储设备（这里为根分区），最后点击【下一步】，如下图：
5.3.4 配置数据库集群
在顶部导航栏中点击【配置数据库集群】，进入配置界面。
按照规划，选择“starve004”作为数据库主节点，再从下拉列表中选择存储设备（此处为系统盘sda上预留的未分配空间）。
按照规划，选择“starve005”作为数据库备节点，再从下拉列表中选择存储设备（此处为系统盘sda上预留的未分配空间）。
按照IP规划数据库集群浮动IP地址设置为172.18.1.201，点击“确定”按钮，如下图：
5.3.5 配置管控集群
点击顶部导航栏中【配置管控集群】，进入配置界面：
按照规划，选择starve001、starve002、starve003这3个节点作为管控集群节点，配置管控集群浮动IP地址为172.18.1.200，点击“确定”按钮，如下图：
5.3.6 一键部署
点击顶部导航栏中“一键部署”，进入部署界面。
点击“开始一键部署”开始执行部署，如下图：
注意：此处建议配置标准钟源地址，若无可用时钟源，务必确保镜像存储节点的系统时钟与标准时间一致。
等待部署完成，界面将显示系统的访问地址。如下图：
5.3.7 验证安装
点击提示的链接地址即可打开管理界面(推荐Google Chrome)，如下图：
采用默认业务操作员账号登录：user/user，进入“资源管理”>“存储”菜单，我们能看到超融合部署创建的CEPH存储，如下图：
6. 初始化资源池
系统部署完成后，首次使用需要先初始化存储（本方案中使用超融合则不需要）、网络池和模板库，之后就可以进行800台虚拟机的创建了。
6.1 初始化网络池
首先我们按照IP地址规划初始化VLAN池和子网。后期使用过程中按实际需求添加子网。
6.1.1添加VLAN
进入“资源管理”>“网络”菜单，选择“VLAN池”选项卡，点击【新增VLAN】按钮，输入超始VLAN号100，结束VLAN号109，点击【确定】按钮后提示添加成功。如下图：
按规划先添加100-109，共同10个VLAN号，后期有需要再添加即可。
6.1.2 创建子网
进入“资源管理”>“网络”菜单，选择“子网”选项卡，点击【创建子网】按钮，弹出界面如下图：
我们将要添加的10个子网，分别命名为：10-0-0、10-0-1、10-0-2、10-0-3 … 10-0-9。网桥选择默认的br-vm即可，VLAN号按IP地址规划对应。
点击【确定】按钮后提示添加成功。
6.1.3 初始化IP地址池
进入“资源管理”>“网络”菜单，选择“IP地址池”选项卡，点击【新增IP】按钮，弹出界面如下图：
6.2 初始化模板库
StarVCenter的官网提供通用的虚拟机模板供用户下载，如下图：
我们可以将需要用到的虚拟机模板下载下来，上传到自己的StarVCenter中。这里先下载centos76mini-x68-template.qcow2，在StarVCetner管理界面进入“虚拟机管理”>“虚拟机模板”菜单，点击“上传模板”按钮，选择刚才下载的模板文件，选择对应操作系统，点击“确定”按钮开始上传，如下图：
说明：若StarVCenter官网模板库未提供你想要的模板，你也可以自己上传ISO光盘镜像，然后在“创建虚拟机”时选择“全新安装”的方式自定义安装虚拟机模板。
7. 创建虚拟机
接下来我们就可以随心所欲地创建规划的800台虚拟机了。
进入“虚拟机管理”>“虚拟机模板”菜单，在列表右侧操作栏点击“克隆虚拟机”，如下图：
在弹出框中输入虚拟机名称，其它选择默认第一个选项，如下图：
点击“下一步”按钮，选择CPU、内存、网卡规格等，如下图：
继续点击“下一步”按钮，确认虚拟机配置，然后点击“开始创建”按钮，开始创建虚拟机。
大约需要几秒到几十秒完成创建，进入“虚拟机管理”>“虚拟机”菜单中能看到刚创建的虚拟机，点击右侧操作栏的“启动”按钮，启动虚拟机。等虚拟机变成“运行”状态后 ，点击“连接”按钮可打开虚拟机的远程桌面，如下图：
虚拟机控制台打开后，输入模板默认账号密码root/123456登录操作系统，然后执行“ip a”命令，查看到IP地址已自动配置好，如下图所示：
后期如果资源不够用了，可以通过“扩充计算节点”功能增加计算节，不断提升集群的计算和存储能力。
