现有需求需要搭建大数据平台,为满足数据分析业务,初建平台前需要评估需要搭建的服务器数量。根据实际过程总结评估过程。
调研环境需求:
单台服务器配置128G内存,8T磁盘,PC Server;
调研业务需求:
每日活跃用户数100个,每一个人一天平均100w条,每条日志1k左右,保存副本量3个;
服务器数据量估算:
每日活跃用户数100个,每一个人一天平均100w条;100*100w条=10000w
每条日志1k左右,每天1亿条;10000 0000 /1024/1024=约100G
半年内不扩容服务器来算;100G*180天 = 约18T
保存3副本;18T*3 = 54T
预留20%~30%Buf = 54T*0.3+54=71T
根据上面计算结果,约71T/8T 约为9台服务器可支持半年业务数据,约20台服务器支撑2年的业务数据。
考虑数仓压缩后服务器数据量估算:
数据量可以压缩10倍,这样每天数据量=10G,半年需要2T,3副本需要6T,加上预留约8T,2年需要32T数据,因此一般10台服务器足够支撑2年的业务量数据