如何确认集群规模?(假设:每台服务器8T磁盘,128G内存)
假设:计算
- 每天日活跃用户100万,每人一天平均100条:
100万 * 100 = 1亿条
; - 每天日志1k左右,每天1亿条:
1k * 100000000 / 1024 / 1024 = 约100G
; - 半年内不扩张服务器来算:
100G * 180天 = 约18T
; - 保存3副本:
18T * 3 = 54T
; - 预留20%~30%Buf =
54T/0.7 = 77T
; - 算到这里,总结下来:
数量为:77T / 8T ,约10台
。
但是实际上并不是说在这种情况下就要10台,还有考虑数仓分层
,数仓分层还要另外准备存储空间,那就不仅仅只要10台。但是还要考虑数据压缩
,把大量的数据尽量压小,100G的数据压缩下来可能就4~5G。所以针对这些情况那要在上面的计算基础上再进行运算。
通常情况下:
- 对于中小型公司,每天100G左右的数据量,半年内不扩容,一般3~5台服务器就够了;1-2年不扩容,可以提高到10台左右。
- 对于中型公司,10台服务器就能够满足正常的需求了。
以上内容是在尚硅谷学习中的学习笔记!