当SRS遇到K8s：如何构建海量推流源站？-CFANZ编程社区

当SRS遇到K8s：如何构建海量推流源站？_Nginx

Photo by Oscar Ivan Esquivel Arteaga on Unsplash

文 / 杨成立

本章描述了基于K8s，如何构建Origin Cluster支持超多推流场景。

Origin Cluster通过配置其他源站的信息，在本源站没有流时查询到流的位置，通过RTMP302定向到指定源站，具体原理可以参考#464。主要应用场景如下：

源站灾备：即使流比较少，也可以用两个源站，这样可以将流分散到不同的源站，避免源站出现问题时影响所有的流。
海量推流：单源站可以支持1000到3000路流，高码率的流支持的路数更少，有DVR和HLS时支持的路更少，源站集群有多个源站同时接收推流，可以支持10k~100k推流，参考规格。
复杂源站业务：源站除了支持推流和拉流，还有重要的功能是DVR、转码、转HLS，DVR和HLS涉及磁盘，转码涉及CPU，都是容易发生瓶颈的资源依赖，源站集群扩展能力更强。

当SRS遇到K8s：如何构建海量推流源站？_Nginx_02

在这个场景下，对比K8s和传统使用方式的差异：

对比	ECS	K8s	说明
申请ECS	手动	自动	部署时，ECS需要手动申请，K8s自动申请
安装包	脚本	镜像	Docker方式更优，版本管理，可Cache
看门狗	手动	自动	SRS异常退出由看门狗重新拉起，非K8s需要手动安装， K8s自动管理和拉起服务
更换ECS	手动	自动	ECS更换时，非K8s需要手动申请，修改SLB，安装服务，K8s自动迁移服务，更新SLB配置监听和保活等
配置	文件	Volume	ECS需要手动管理配置；K8s配置在ConfigMap，通过Volume挂载为配置文件，扩容时源站手动更新自动推送，边缘扩容自动更新
扩容	手动	自动	需要新开进程时，ECS需要申请部署和配置，K8s只需要修改Replicas数目即可(也可自动扩容)
发现	手动	自动	Origin变更IP时，ECS需要手动修改配置，K8s在迁移源站Pod时会保持，或自动更新
SLB	手动	自动	新增Origin时，ECS需要手动安装和更新配置，K8s自动安装，手动更新但自动推送配置
存储	手动	自动	扩容存储时，ECS需要手动安装和更新，K8s会自动更新，不影响业务

Step 1: 由于SRS和Nginx不在一个Pod可能也不在一个Node，需要创建依赖的PV(Persistent Volume)持久化卷，可购买NAS例如：

驱动类型(PV driver)：alicloud/nas
挂载点(PV server)，可在控制台创建、查看和复制：1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com
NFS版本(PV vers)：3

在NAS基础上可以创建PV，以及PVC：

pv-nas，从NAS存储创建的PV，支持多写和多读，Pod不使用存储后会回收，也就是删除这些数据。
pvc-nas，SRS和Nginx源站使用的PVC，具有读写权限。读取SRS的静态文件和HLS并分发。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolume
metadata:
 name: pv-nas
 labels:
   pv: nfs-pv
spec:
 capacity:
   storage: 100Gi
 storageClassName: nas
 accessModes:
    -ReadWriteMany
    -ReadOnlyMany
 persistentVolumeReclaimPolicy: Retain
 flexVolume:
   driver: "alicloud/nas"
   options:
     server: "1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com"
      path: "/k8s"
     vers: "3"
     options: "nolock,tcp,noresvport"
 
---
 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
 name: pvc-nas
spec:
 accessModes:
    -ReadWriteMany
 storageClassName: nas
 resources:
   requests:
     storage: 100Gi
 selector:
   matchLabels:
     pv: nfs-pv
EOF

Note:请将上面的挂载点(PV server)替换成你的。

Step 2: 创建SRS源站集群和Nginx源站应用和服务。

srs-origin-config: 创建一个配置k8s ConfigMap，存储了SRS Origin Server使用的配置文件。
socs: 创建一个Headless服务k8s service，基于Headless Service提供Origin服务，每个Origin都有自己的服务地址，例如srs-origin-0.socs，供内部Edge Server调用。
srs-origin: 创建一个有状态应用k8s StatefulSet，运行SRS Origin Cluster，HLS写入共享存储PV。
nginx-origin-deploy: 创建一个无状态应用k8s deployment，运行Nginx，将SRS静态文件写入PV，从共享存储PV读取HLS和静态文件。
srs-http-service: 创建一个服务k8s service，基于SLB提供HTTP服务，Nginx对外提供HLS服务。
srs-api-service: 创建一个服务k8s service，基于SLB提供HTTP服务，SRS第一个源站提供API服务，标签为statefulset.kubernetes.io/pod-name: srs-origin-0。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
 name: srs-origin-config
data:
 srs.conf: |-
   listen              1935;
    max_connections     1000;
   daemon              off;
   http_api {
       enabled         on;
       listen          1985;
    }
   http_server {
       enabled         on;
       listen          8080;
    }
   vhost __defaultVhost__ {
       cluster {
           origin_cluster  on;
           coworkers       srs-origin-0.socssrs-origin-1.socs srs-origin-2.socs;
       }
       http_remux {
           enabled     on;
       }
       hls {
           enabled         on;
       }
    }
 
---
 
apiVersion: v1
kind: Service
metadata:
 name: socs
spec:
 clusterIP: None
 selector:
   app: srs-origin
 ports:
  -name: socs-1935-1935
   port: 1935
   protocol: TCP
   targetPort: 1935
 
---
 
apiVersion: apps/v1
kind: StatefulSet
metadata:
 name: srs-origin
 labels:
   app: srs-origin
spec:
 serviceName: "socs"
 replicas: 3
 selector:
   matchLabels:
     app: srs-origin
 template:
   metadata:
     labels:
       app: srs-origin
   spec:
     volumes:
     - name: cache-volume
       persistentVolumeClaim:
         claimName: pvc-nas
     - name: config-volume
       configMap:
         name: srs-origin-config
     containers:
     - name: srs
       image: ossrs/srs:3
       imagePullPolicy: IfNotPresent
       ports:
       - containerPort: 1935
       - containerPort: 1985
       - containerPort: 8080
       volumeMounts:
       - name: cache-volume
         mountPath: /usr/local/srs/objs/nginx/html
         readOnly: false
       - name: config-volume
         mountPath: /usr/local/srs/conf
 
---
 
apiVersion: apps/v1
kind: Deployment
metadata:
 name: nginx-origin-deploy
 labels:
   app: nginx-origin
spec:
 replicas: 1
 selector:
   matchLabels:
     app: nginx-origin
 template:
   metadata:
     labels:
       app: nginx-origin
   spec:
     volumes:
     - name: cache-volume
       persistentVolumeClaim:
         claimName: pvc-nas
     containers:
     - name: nginx
       image: nginx
       imagePullPolicy: IfNotPresent
       ports:
       - containerPort: 80
       volumeMounts:
       - name: cache-volume
         mountPath: /usr/share/nginx/html
         readOnly: true
     - name: srs-cp-files
       image: ossrs/srs:3
       imagePullPolicy: IfNotPresent
       volumeMounts:
       - name: cache-volume
         mountPath: /tmp/html
         readOnly: false
       command: ["/bin/sh"]
       args: ["-c", "cp -R ./objs/nginx/html/* /tmp/html/; sleepinfinity"]
 
---
 
apiVersion: v1
kind: Service
metadata:
 name: srs-http-service
spec:
 type: LoadBalancer
 selector:
   app: nginx-origin
 ports:
  -name: nginx-origin-service-80-80
   port: 80
   protocol: TCP
   targetPort: 80
 
---
 
apiVersion: v1
kind: Service
metadata:
 name: srs-api-service
spec:
 type: LoadBalancer
 selector:
   statefulset.kubernetes.io/pod-name: srs-origin-0
 ports:
  -name: srs-api-service-1985-1985
   port: 1985
   protocol: TCP
    targetPort:1985
EOF

Remark:假设SRS源站有状态服务srs-origin配置的Replicas为2，则会生成两个源站srs-origin-0.socs和srs-origin-1.socs，若新增了源站比如Replicas为3，则需要在配置中加上srs-origin-2.socs。

Remark:我们启动了一个srs-cp-files的container，拷贝SRS默认的文件，参考#1603.

Note:Origin Server在集群内部提供流媒体源站服务，内部域名为srs-origin-0.socs和srs-origin-1.socs，EdgeServer会通过该域名连接到OriginServer。

Note:Nginx通过SharedVolume(PV)读取SRSOrigin生成的切片，对外提供HLS服务。

Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step 3: 创建SRS边缘配置、应用和服务。

srs-edge-config: 创建一个配置k8s ConfigMap，存储了SRS Edge Server使用的配置文件。
srs-edge-deploy: 创建一个无状态应用k8s deployment，运行多个SRS Edge Server。
srs-edge-service: 创建一个服务k8s service基于SLB对外提供流媒体服务。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
 name: srs-edge-config
data:
 srs.conf: |-
   listen              1935;
   max_connections     1000;
   daemon              off;
   http_api {
       enabled         on;
       listen          1985;
    }
   http_server {
       enabled         on;
       listen          8080;
    }
   vhost __defaultVhost__ {
       cluster {
           mode            remote;
           origin          srs-origin-0.socssrs-origin-1.socs srs-origin2.socs;
       }
       http_remux {
           enabled     on;
       }
    }
 
---
 
apiVersion: apps/v1
kind: Deployment
metadata:
 name: srs-edge-deploy
 labels:
   app: srs-edge
spec:
 replicas: 4
 selector:
   matchLabels:
     app: srs-edge
 template:
   metadata:
     labels:
       app: srs-edge
   spec:
     volumes:
     - name: config-volume
       configMap:
         name: srs-edge-config
     containers:
     - name: srs
       image: ossrs/srs:3
       imagePullPolicy: IfNotPresent
       ports:
       - containerPort: 1935
       - containerPort: 1985
       - containerPort: 8080
       volumeMounts:
       - name: config-volume
         mountPath: /usr/local/srs/conf
 
---
 
apiVersion: v1
kind: Service
metadata:
 name: srs-edge-service
spec:
 type: LoadBalancer
 selector:
   app: srs-edge
 ports:
  -name: srs-edge-service-1935-1935
   port: 1935
   protocol: TCP
   targetPort: 1935
  -name: srs-edge-service-8080-8080
   port: 8080
   protocol: TCP
   targetPort: 8080
EOF

Note:Edge Server的配置中，通过源站在HeadlessService注册的内部域名srs-origin-0.socs等等，连接到OriginServer。

Note:这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step 4: 大功告成。你可以推拉流了，其中HLS流可以从Nginx(80)播放，RTMP和HTTP-FLV从SRS播放：