物理网络和基础网络
一个典型的数据中心内部的物理网络采用Spine-Leaf架构。表6-1给出了云数据中心解决方案中物理网络各类角色的含义和功能说明,业界推荐的组网方式如图6-1所示。
Fabric网络结构可以提供接入节点间的无差异互访。它可能包含一个或多个Spine-Leaf架构,具有高带宽、大容量和低网络时延等特点。3种Leaf节点(Server Leaf、Service Leaf和Border Leaf)在网络转发层面上并没有差异,仅仅是接入设备不同。由于采用了Spine-Leaf的扁平结构,整体网络东西向流量转发路径较短,转发效率较高。
扩展性方面,Fabric网络结构可以实现弹性扩缩,当服务器数量增加时,增加Leaf数量即可。当Leaf数量增加导致Spine转发带宽不足时,可相应增加Spine节点的个数。
对于Spine-Leaf架构的组网,对于Spine和Leaf,推荐如下。
· 对于Spine:Spine节点主要负责Leaf节点之间流量的高速转发。推荐单机部署,数量根据Leaf到Spine的收敛比(Leaf的下行总带宽和Leaf的上行总带宽的比值,不同的行业及不同的客户有各自的要求)来决定。一般来说,收敛比为1:9~1:2。
· 对于Leaf设备:Leaf节点主要负责Server的接入(业务服务器和VAS服务器)和作为南北向网关。Leaf可使用多种灵活的组网方式,推荐使用M-LAG双活方式部署,如果对可靠性或升级丢包时间等要求不高,也可以使用虚拟机框类技术,例如iCSS/iStack。每个Leaf节点与所有Spine节点相连,构建全连接拓扑形态。
Leaf和Spine之间建议通过三层路由接口互联,通过配置动态路由协议实现三层互联。路由协议推荐OSPF或BGP,关于路由协议选择的问题可参见本章后续内容。
推荐采用ECMP实现等价多路径负载分担和链路备份,参见图6-2。从Leaf通过多条等价路径转发数据流量到Spine,在保证可靠性的同时,也能提高网络的带宽。需要注意的是,ECMP链路须选择基于传输层(L4)的源端口号的负载分担算法,由于VXLAN使用的是UDP(UserDatagram Protocol,用户数据报协议)封装,因此VXLAN报文的目的端口号是4789不变,而VXLAN报文头部的源端口号可变,基于此来进行负载分担
设计数据中心的物理网络
路由协议选择
Underlay层的路由协议主要有OSPF和EBGP两种。通常来说,针对大多数情况,推荐OSPF作为路由协议的首选协议,只有在网络规模较大、需要分区部署,且需要BGP灵活的路由控制能力的情况下,才推荐使用EBGP。下面分情况说明。
1.Underlay路由选用OSPF
当Leaf节点规模小于100台时,推荐Underlay路由选用OSPF,此时路由建议规划如下。
对于单Fabric内部:Spine和Leaf节点的物理交换机上全部部署OSPF,只规划Area0,所有设备均处于Area0中,使用三层路由端口地址建立OSPF邻居,打通Underlay路由,network类型建议为P2P,如图6-3所示
对于多Fabric:在多Fabric场景下,如果多Fabric在Overlay层仍然是一个VXLAN域(即实际上为一个数据中心网络,通过一套管理界面进行管理,仅仅是划分了2个Fabric),则建议所有设备只部署一个OSPF进程。建议多Fabric之间的互联设备部署在OSPF Area0,Fabric1和Fabric2分别部署在Area1和Area2中,整体仍然是一个OSPF进程,打通Underlay路由,如图6-4所示
如果多Fabric在Overlay层是2个VXLAN域(即实际上为两个数据中心网络,通过两套管理界面进行管理,但两个数据中心网络需要进行互联),则建议在每个Fabric单独部署OSPF作为Underlay协议,Fabric之间的互联设备通过BGP进行路由交互。
OSPF路由协议部署简单,在网络规模不大时,协议收敛速度较快,是中小型数据中心网络Underlay的首选协议。另外,在Overlay层,当前绝大部分企业会部署基于BGP的EVPN协议作为Overlay的控制面,于是在Underlay路由选择OSPF后,OSPF的协议报文和BGP的协议报文处于不同队列中,VRP(Versatile Routing Platform,通用路由平台)和路由表项都互相隔离,这样就实现了Underlay和Overlay的故障域隔离。
2.Underlay路由选用EBGP
当Leaf节点规模大于100台时,由于网络规模较大,使用OSPF协议时,协议收敛速度和故障收敛速度均较为缓慢,所以推荐Underlay路由选用EBGP,此时建议路由规划如下。
对于单Fabric:Spine节点划分为同一个AS,每组Leaf节点分别划分为一个AS,Leaf节点和所有Spine节点之间部署EBGP邻居,如图6-5所示,整网通过EBGP实现三层路由互联。
服务器接入方案选择
出口网络设计
数据中心出口网络设计包括Border Leaf和出口路由器PE之间的连接与配置。目前BorderLeaf和PE之间的连接方式灵活多样,在设计时需注意考虑以下因素。
· PE路由器可以独立部署,但建议采用堆叠部署或通过E-Trunk、VRRP等机制部署,保障可靠性。
· PE和Border Leaf之间可以通过单L3接口、双L3接口(口字形接入)、四L3接口(交叉型接入)互联,如图6-10所示。
· Border Leaf建议采用双活技术(如M-LAG)或堆叠方式部署,Border Leaf与PE之间可通过三层路由接口或虚接口(如VBDIF接口和VLANIF接口)互联。