我们一般接触到的存储载体是机械硬盘HDD或固态硬盘SSD,其实HDD和SSD主要是针对经常访问的热数据存储处理的,而磁带、蓝光光盘等载体则常用于温、冷数据的存储,比如 Facebook(已于2021年10月改名Meta,由于本项目是在改名之前实施的,依然沿用Facebook的公司名称)数据中心就采用了蓝光存储。
Facebook是世界上最大的图片分享网站,保存了数目庞大的照片数据:
2013年活跃用户的数量达到11.5亿人,每天上传照片数量超过3.5亿张。
2015年活跃用户的数量超过15亿人,单日使用量突破10亿人次。
据2016年的统计数据累计上传照片数量就已经超过8000亿张。
对于每张照片,Facebook存储大小不同的四个版本(在某些场景下只需展示缩略图),这意味着:Facebook服务器上存储着3.2万亿张照片。
社交网站图片访问频率
下图是社交网站图片的访问频率随时间的变化趋势,刚上传后访问频率最高,后面逐渐降低,一年后就成了偶尔访问(即所谓的数据从热变冷)。存储载体也是分级存储,从全闪存、SSD到HDD、光盘。
Facebook搭建了Hadoop大数据平台来保存海量图像数据,用于满足用户实时访问图片的要求,这些数据保存在SSD或者HDD上。
作为Hadoop发生故障时的候补,在光存储系统上存储Hadoop的备份。
为了提升备份效率,使用里德-所罗门(Reed Solomon)编码方式在光盘上分散存储。
Facebook选择蓝光光盘
综合考虑成本、能耗等方面的因素,Facebook最终采用了蓝光光盘作为冷数据存储载体:
用户照片等数据需要长期保存,SSD、HDD载体成本高、寿命短。
与硬盘相比整体成本削减50%以上(成本包括:设备成本、能耗成本、网络成本、机房成本、人员成本、运营成本)。
耗电量降低80%以上:光盘库工作功耗远低于硬盘存储系统,不需要大量空调冷却系统。
可以去掉数据中心内的冗余设计:2套系统供电、2套UPS、自备电源、2套回路等等,数据中心大幅降低成本。
Facebook异地备份方案
在冷存储更新频度低的前提下,地理上分离的多个场所间进行数据容灾备份。
以冷数据为对象搭载异地备份(Geo Replication)功能。
通过数据中心间的容灾功能,可以去掉数据中心内的冗余。
Facebook已在Prineville的Forest City进行商用,Google已在Spanner上实现异地备份,实现高可用性的同时降低能耗。
蓝光存储的发展与未来
先看看蓝光存储技术路线图,2023年单盘可以到几TB容量。
未来的光存储技术
全息光存储技术:
美国InPhase(1.6TB/盘) 、日本日立(日立2TB-8TB/盘)、日本NHK。
双光束超分辨技术:
实验装置水平可实现单盘15TB容量;最新实验结果:9nm特征尺寸理论上可达单盘1PB。
多维玻璃存储技术:
英国南开普敦大学采用纳米晶玻璃材质的5D光盘,实现容量369TB/disc,存储寿命可超过亿年,实现永久存储。
总结
Facebook 蓝光存储数据中心的节能总结:
蓝光存储载体工作功耗低、耗电量降低80%以上。
不需要大量空调冷却系统。
通过数据中心间的容灾功能,去掉数据中心内的冗余(2套系统供电、2套UPS、自备电源、2套回路等等)。
平均PUE≤1.12,建成真正的数据中心绿色机房,符合发改高技[2021]1742号《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》要求。