"IT有得聊”是机械工业出版社旗下IT专业资讯和服务平台,致力于帮助读者在广义的IT领域里,掌握更专业、更实用的知识与技能,快速提升职场竞争力。 点击蓝色微信名可快速关注我们!
01存储之痛
STORAGE
存储系统几乎是所有应用系统不可或缺的组成部分,但让运维人员头疼的也正是存储系统。因为相比CPU和内存,存储空间的占用是唯一随着时间的流逝呈线性增长的,所以容易出现存储空间不足的问题。此外,由于数据的重要性,还需要考虑冗余备份和访问控制方面的安全策略。不仅如此,硬件设备从投入的那一刻就开始老化,淘汰老旧设备,引入新的设备,还会涉及数据的迁移和与应用程序的对接,更别提设备的临时罢工了(例如:硬件故障)。
对于上述这些问题,有些是无可奈何,例如:历史原因导致五花八门的存储形态,完全没法整合;有些是望而却步,例如:需要使用专用存储设备和管理软件(例如SAN),投入成本高,中小企业负担不起。如何寻求适合自己的存储系统,是众多企业不得不面对的问题。
用过OSS或S3的读者可能都浮现过这样的念头:能不能在自己的企业内部拥有一套这样的存储系统啊?!扁平化、吞吐快、空间无限、支持并发上传/下载、权限控制……这些商业化的云存储服务在用户的脑海中烙下了难以抹去的印记。
考虑到不同经历的读者对这些商业化云存储的了解程度各有不同,所以不妨不嫌麻烦地回到最早的存储系统,再来一步一步地分析,如此好用的云存储系统是如何演变来的。
02极具年代感的存储系统
STORAGE
存储介质的演进极具时代感:机械硬盘(温盘,1973)、磁带(80年代)、软盘(3.5吋,1987)、光盘(CD-ROM,80年代;DVD,90年代)、U盘(2002)、固态硬盘(SSD,2006)……
不仅如此,存储介质所依赖的文件系统也是不断地推陈出新:FAT(1980)、NFS(1985)、EXT(1992)、FAT32(1998)、NTFS(2000)、XFS(2001)、EXT4(2006)、HDFS(2008)……
与此同时,伴随着网络技术(90年代中期)、虚拟化技术(2006)和云技术(2011)的飞速发展,存储的方式也从传统的服务器存储到网络存储(90年代),以及后来的云存储(2010)、对象存储(2013)……
看似默默无闻的存储系统,竟然有着这么多的演变。这一切,都不禁让人好奇,存储系统为什么会变?以后还会怎么变?
03存储系统的演进历程
STORAGE
从看得见摸得着的硬盘,到看不见摸不着的各种云存储,在这之间到底发生了什么样的变化?又为什么会有这样演变呢?
节点能力的提升:从磁盘到磁盘阵列
磁盘阵列(RAID)是存储设备在设备层面的提升,其出现主要为了满足数据存储的完整性和扩展性。对于完整性,主要通过冗余校验机制来保证数据的完整性(其代价就是需要牺牲额外的磁盘空间);而对于扩展性,则完全依赖硬件特性(插槽和热插拔技术)来增加新的存储设备(磁盘)。
单/多磁盘系统到磁盘阵列的演变不是结构上的,而是节点上的。所以,磁盘阵列提高了整个存储系统在节点上的性能。而从系统的层面,还是需要从优化结构着手,构造分布式存储系统。这也是存储系统网络化的推动力。
存储与服务器剥离:存储网络化对于网络存储技术,业内提得较多的有:直连式存储(DAS,Direct-Attached Storage)、网络接入存储(NAS,Network-Attached Storage)和存储区域网络(SAN,Storage Area Network)。
实际上,DAS是依据连接方式划分的,而NAS和SAN是依据网络传输协议来划分的。
DAS的直连是指存储设备(单磁盘或阵列)通过接口(接口的演变顺序:IDE、SATA、SCSI)直接连接到服务器上的接入方式。
NAS和SAN的网络化程度比DAS更明显:NAS是将存储设备通过标准的网络拓扑结构连接到计算机网络中,充当网络上的一个文件系统,如图1所示。
图1 典型的NAS基础结构
而SAN则是将一组存储设备通过专门的网络连接到计算机网络中,充当网络上的一个存储设备,如图2所示。
图2 典型的SAN基础结构
读者只需简单区分这三种存储技术类型的差异即可:DAS和NAS主要用于文件的存储和共享(文件级);而SAN则主要用于基于块的存取,例如数据库系统。
抽象硬件管理:软件定义存储无论从存储设备本身还是从网络存储技术的发展,我们看到的是更多的、新的网络设备和连接硬件投入其中。虽然成本不断提升,但是否就能满足需求呢?如上所述,SAN支持的是块级的存取,而NAS支持的是文件级存取,这些都是在应用中经常遇到的需求,是否可以同时兼顾这两种需求呢?
历史经验告诉我们:在当硬件遇到瓶颈的时候,一定会用软件的方式来解困。软件定义存储(SDS,Software-defined Storage)是一种存储架构,用于将存储的管理和配置与底层物理硬件剥离,旨在使用动态、敏捷和自动化的解决方案替换静态和低效的硬件方案。
一切皆是对象:对象存储虽然对于软件定义存储的这些“雄心壮志”听起来很完美,但是落地的情况又是如何呢?在很长一段时间里,软件定义存储只是属于供应商操控的术语之一,其真正的突破却是从对象存储开始的。当前,对象存储服务几乎成了软件定义存储的代名词,虽然两者不是同一个层级的概念(软件定义存储是规范,而对象存储服务却是实现)。
对象存储(Object-based Storage),是一种新型的存储类型,综合了文件存储(NAS)和块存储(SAN)的优点,同时具有NAS的分布式数据共享和SAN的高速访问的优势。其中的对象由数据和元数据(Metadata)组成,可以抽象成任何内容,包括文件、信息块等。
04永无止境的存储系统
STORAGE存储系统作为应用系统的重要资源之一,经历了从单机存储到阵列、网络化、软件定义存储、云存储、对象存储等演变过程,其历程从侧面反应了应用系统的不断演变。
存储系统演变的目的还是为了满足应用系统的需要。换而言之,在应用系统不断演变的同时,也需要将诸如存储系统等基础设施纳入规划,让它们与业务系统一样保持先进。
免费直播课程
1月13日(周四)
从事IT研发和项目管理工作的
汪永松 老师为您带来免费直播课:
私有云存储系统搭建与应用
开放时间:2022年1月13日(周四)20:00主讲老师:汪永松课程类型:视频直播观看平台: 九州云播平台 当当直播平台 京东直播平台 机械工业出版社“IT有得聊”视频号
讲师介绍
汪永松
硕士
从事IT研发和项目管理工作
对Java技术和企业级框架有一定的研究。当前任职于安翰科技(武汉)股份有限公司,负责公司架构设计及项目开发。
分享内容
私有云存储系统搭建与应用